想必接觸過(guò)神經(jīng)網(wǎng)絡(luò)的童鞋們肯定都聽過(guò)一個(gè)術(shù)語(yǔ)：激活函數(shù)娄昆，但激活函數(shù)到底是個(gè)神馬東東喃？今天我們來(lái)扒一扒缝彬，let's begin...
1萌焰、基本知識(shí)點(diǎn)
????????首先，從機(jī)器學(xué)習(xí)的角度來(lái)看谷浅，神經(jīng)網(wǎng)絡(luò)可以看作是一個(gè)非線性模型扒俯，其基本組成單元就是具有非線性激活函數(shù)的神經(jīng)元，通過(guò)大量神經(jīng)元間的連接使得神經(jīng)網(wǎng)絡(luò)成為了一種高度非線性的模型一疯。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和學(xué)習(xí)過(guò)程撼玄，其實(shí)就是學(xué)習(xí)連接各個(gè)神經(jīng)元間的連接權(quán)重（參數(shù)）。那么不禁會(huì)產(chǎn)生幾個(gè)疑問(wèn)：什么是非線性墩邀？什么是神經(jīng)元掌猛？什么是激活函數(shù)？接下來(lái)為各位看官一一解答：
? ? ? ? 1.1眉睹、線性與非線性：針對(duì)線性和非線性的問(wèn)題荔茬，按個(gè)人理解需要從函數(shù)和模型兩個(gè)層面進(jìn)行解釋：
????????（1）函數(shù)層面來(lái)看，若滿足以下兩個(gè)條件：
????????????????（a）：竹海；
????????????????（b）：的導(dǎo)數(shù)為一個(gè)常數(shù)慕蔚；
? ? ? ? ? ?則表明該函數(shù)是一個(gè)線性函數(shù)，且線性函數(shù)的組合仍然是一個(gè)線性函數(shù)斋配，反之該函數(shù)則為一個(gè)非線性函數(shù)孔飒。
????????（2）從模型層面來(lái)看灌闺，最直接的劃分標(biāo)準(zhǔn)就是其決策邊界是否為一條直線，若模型的決策邊界為一條直線十偶，則該模型為線性模型菩鲜，反之則為非線性模型。線性模型中可以使用非線性函數(shù)來(lái)執(zhí)行決策分類惦积，例如logistic函數(shù)為一個(gè)非線性函數(shù)（導(dǎo)數(shù)不為常數(shù)嘛），但是logistic回歸模型則為一個(gè)線性模型（因?yàn)槠錄Q策分類邊界為這條直線）猛频。此外狮崩，線性模型的組合可能是一個(gè)非線性模型，例如單層感知機(jī)是一個(gè)線性模型鹿寻，而多層感知機(jī)則為一個(gè)非線性模型睦柴，因?yàn)樵诙鄬咏Y(jié)構(gòu)中每一層的自變量是受到前面各層權(quán)重值的共同影響。至此毡熏，還有一種區(qū)分模型線性與非線性的方法：若一個(gè)式子中自變量只受到一個(gè)參數(shù)的影響坦敌，那么此模型就是一個(gè)線性模型；若一個(gè)式子中的自變量受兩個(gè)及以上參數(shù)的影響痢法，那么此模型就是一個(gè)非線性模型狱窘。
? ? ? ? 通過(guò)對(duì)線性和非線性的解讀，其實(shí)可以有一個(gè)概括：神經(jīng)網(wǎng)絡(luò)中通過(guò)引入各種非線性函數(shù)并進(jìn)行網(wǎng)絡(luò)疊加财搁，使得單層的線性模型拼接成可以執(zhí)行非線性分類任務(wù)的非線性模型蘸炸。
? ? ? ? 1.2、什么是神經(jīng)元
? ? ? ? 神經(jīng)元（Neuron）是來(lái)源于生物學(xué)的一個(gè)概念尖奔，生物學(xué)家在20世紀(jì)初就發(fā)現(xiàn)了生物神經(jīng)元的結(jié)構(gòu)：一個(gè)神經(jīng)元常由多個(gè)樹突和一個(gè)軸突組成搭儒，樹突用于接收信息、軸突用于發(fā)送信息提茁，當(dāng)接收到的信息積累超過(guò)某個(gè)閾值時(shí)就將使神經(jīng)元處于興奮狀態(tài)并產(chǎn)生電脈沖淹禾，軸突尾部的神經(jīng)末梢與其他神經(jīng)元的樹突產(chǎn)生連接，并將電脈沖信號(hào)傳遞給其他神經(jīng)元茴扁。
? ? ? ? 神經(jīng)元作為構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元铃岔，其主要作用是：模擬神經(jīng)元的結(jié)構(gòu)和特性，接受輸入信號(hào)并產(chǎn)生輸出丹弱。神經(jīng)元的首次提出是1943年心理學(xué)家McCulloch和數(shù)學(xué)家Pitts根據(jù)生物神經(jīng)元的結(jié)構(gòu)提出的MP神經(jīng)元德撬，當(dāng)時(shí)的MP神經(jīng)元的激活函數(shù)為0/1階躍函數(shù)。一個(gè)典型的神經(jīng)元結(jié)構(gòu)如下圖所示：
? ? ? ? 表示神經(jīng)元接收到的輸入蜓洪，可以用
表示神經(jīng)元獲得的輸入信號(hào)的加權(quán)和，也稱為凈輸入（Net Input）坯苹，其中w稱為權(quán)重矩陣隆檀，b稱為偏置。凈輸入接下來(lái)將經(jīng)過(guò)一個(gè)非線性函數(shù)
得到神經(jīng)元的活性值a，這個(gè)非線性函數(shù)就稱為激活函數(shù)恐仑。
2泉坐、激活函數(shù)及其意義
? ? ? ? 激活函數(shù)在神經(jīng)元中起到了非常重要的作用，從最初的0/1階躍函數(shù)演化成為現(xiàn)在的非線性可導(dǎo)等具有良好數(shù)學(xué)性質(zhì)的函數(shù)裳仆。最開始驅(qū)使激活函數(shù)向前發(fā)展的原因就是XOR的問(wèn)題：針對(duì)數(shù)據(jù)可以線性可分的情況下腕让，使用線性激活函數(shù)是OK的，但針對(duì)異或這種無(wú)法線性可分的情況時(shí)使用線性激活函數(shù)就是無(wú)法執(zhí)行分類決策歧斟。如下圖：【以下圖片及內(nèi)容主要來(lái)源于https://www.zhihu.com/question/22334626進(jìn)行整理】
????????針對(duì)線性不可分的數(shù)據(jù)（以XOR為代表）常有兩種方法來(lái)解決：
????????第一：直接針對(duì)數(shù)據(jù)做線性變換静袖，例如提升數(shù)據(jù)維度（變成
）,則此時(shí)點(diǎn)在空間中的位置變化為下圖所示：
? ? ? ? 第二：引入針對(duì)激活函數(shù)進(jìn)行修改队橙，即引入非線性的激活函數(shù)（這些激活函數(shù)大家也稱為“空間魔法師”）坠陈。其設(shè)計(jì)過(guò)程暫且不論，但其根本目的就是將數(shù)據(jù)的原始空間進(jìn)行扭曲變形捐康，使得無(wú)法線性可分的空間變?yōu)榫€性可分【“數(shù)值上擠壓仇矾，幾何上變形”這句話很精辟呀】。如下圖所示：
? ? ? ? 經(jīng)過(guò)非線性激活函數(shù)后若未，原來(lái)不可分的二維空間進(jìn)行空間扭曲后就變成了線性可分的結(jié)果。
? ? ? ? 從上面的表述其實(shí)可以有一個(gè)概括：激活函數(shù)最根本的作用就是實(shí)現(xiàn)輸入到輸出的映射倾鲫，而在這個(gè)映射的過(guò)程中通過(guò)引入非線性因素使得神經(jīng)網(wǎng)絡(luò)具有了更強(qiáng)大的表達(dá)能力粗合，解決了線性模型不能解決的問(wèn)題。
3乌昔、激活函數(shù)的性質(zhì)
? ? ? ? 再次強(qiáng)調(diào)隙疚，激活函數(shù)在神經(jīng)元中有著重要的意義，使得網(wǎng)絡(luò)有了更加強(qiáng)大的表達(dá)能力磕道，為了使得這種表達(dá)能力最大化供屉，激活函數(shù)還需要具備幾點(diǎn)性質(zhì)：
? ? ? ? （1）連續(xù)并可導(dǎo)【允許部分點(diǎn)上不可導(dǎo)】的非線性函數(shù)；連續(xù)且可導(dǎo)保證了函數(shù)在其定義域內(nèi)的可利用性溺蕉，選擇非線性函數(shù)則是為網(wǎng)絡(luò)結(jié)構(gòu)引入了非線性因素伶丐，使得網(wǎng)絡(luò)具有更強(qiáng)大的表達(dá)能力。
? ? ? ? （2）函數(shù)本身及其導(dǎo)函數(shù)要盡可能簡(jiǎn)單疯特；函數(shù)本身及其導(dǎo)函數(shù)要盡可能簡(jiǎn)單是因?yàn)樯窠?jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中存在大量的梯度計(jì)算哗魂，選用簡(jiǎn)單的函數(shù)及導(dǎo)函數(shù)有利于提高網(wǎng)絡(luò)的計(jì)算效率。
? ? ? ? （3）激活函數(shù)的導(dǎo)函數(shù)值域要在一個(gè)合適的區(qū)間漓雅；激活函數(shù)的導(dǎo)函數(shù)值域在一個(gè)合適區(qū)間內(nèi)是為了保證訓(xùn)練過(guò)程的效率和穩(wěn)定性录别。
? ? ? ? 非線性激活函數(shù)的出現(xiàn)通過(guò)引入非線性因素使神經(jīng)網(wǎng)絡(luò)具有了更加強(qiáng)大的表達(dá)能力朽色，具有重要的意義。下一節(jié)我們就來(lái)看看有哪些常見(jiàn)的激活函數(shù)以及它們之間各自的優(yōu)缺點(diǎn)组题。
