以下內(nèi)容參考《機(jī)器學(xué)習(xí)》周志華（西瓜書）以及《機(jī)器學(xué)習(xí)公式詳解》datawhale（南瓜書）

神經(jīng)元模型

神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)谒兄，組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)路呜。

M-P神經(jīng)元模型：接受來自n個(gè)其他神經(jīng)元的輸出（作為輸入），通過帶權(quán)重的連接進(jìn)行傳遞、總輸入值與神經(jīng)元閾值做對(duì)比缸逃，然后通過激活函數(shù)處理輸出。

M-P神經(jīng)元模型

激活函數(shù)

激活函數(shù)：模擬神經(jīng)元興奮抑制狀態(tài)（10）。同時(shí)赵哲，非線性的激活函數(shù)使得深層神經(jīng)網(wǎng)絡(luò)理論上能夠逼近任意函數(shù)。（否則只是線性函數(shù)的組合）君丁。

常見的激活函數(shù)有：sigmoid枫夺，relu，tanh绘闷。（其他參考）橡庞。

激活函數(shù)

感知機(jī)與多層網(wǎng)絡(luò)

感知機(jī)

兩層神經(jīng)元組成，可以實(shí)現(xiàn)或印蔗、與扒最、非運(yùn)算

感知機(jī)

可以證明，如果兩類模式是線性可分的喻鳄，那么感知機(jī)的學(xué)習(xí)過程一定會(huì)收斂扼倘，否則感知機(jī)的學(xué)習(xí)過程將發(fā)生振蕩，無法求出合適解除呵。（如異或問題再菊，非線性可分）

多層網(wǎng)絡(luò)

層數(shù)更多，包括輸入層颜曾，輸出層與隱含層（隱層）纠拔，輸出層與隱含層都擁有激活函數(shù)。

一種常見的多層網(wǎng)絡(luò)：多層前饋神經(jīng)網(wǎng)絡(luò)（與下一層網(wǎng)絡(luò)全連接泛豪，無層內(nèi)連接以及跨層連接）

多層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意

誤差逆?zhèn)鞑ニ惴?/h2>

BP算法（BackPropagation）：適用于多層前饋神經(jīng)網(wǎng)絡(luò)稠诲、遞歸神經(jīng)網(wǎng)絡(luò)等。是一個(gè)迭代學(xué)習(xí)算法诡曙，基于梯度下降策略臀叙，以目標(biāo)的負(fù)梯度方向?qū)?shù)進(jìn)行調(diào)整。算法流程如下：

誤差逆?zhèn)鞑ニ惴?/div>

一個(gè)單隱層示例：

變量示意圖

是以網(wǎng)絡(luò)有個(gè)參數(shù)需要確認(rèn)（輸入層-隱層的權(quán)值价卤，隱層到輸出層的權(quán)值劝萤，隱層、輸出層的神經(jīng)元閾值）慎璧，根據(jù)梯度下降法床嫌，有

由于BP神經(jīng)網(wǎng)路表示能力強(qiáng)大，只需要一個(gè)包含足夠多神經(jīng)元的隱層厌处，多層前饋神經(jīng)網(wǎng)絡(luò)能夠以任意精度逼近任意復(fù)雜度的連續(xù)函數(shù)鳖谈，所以經(jīng)常遭遇過擬合，緩解策略有：

1 早停early stop：通過驗(yàn)證集估計(jì)誤差阔涉，誤差升高（或者持續(xù)升高）則停止缆娃。

2 正則化：目標(biāo)函數(shù)中增加描述網(wǎng)絡(luò)復(fù)雜度的部分，常見L1洒敏，L2正則化龄恋。

全局最小與局部極小

基于梯度的搜索實(shí)際指向的是局部極小疙驾，有一些方法來試圖跳出局部極小凶伙，接近全局最小（多啟發(fā)式）：

1 多組參數(shù)初始化它碎，從中選擇更接近全局最小的結(jié)果函荣。

2 模擬退火：有一定概率接受次優(yōu)解。

3 隨機(jī)梯度下降：有隨機(jī)因素扳肛，局部極小梯度可能不為0傻挂。

其他常見神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)

徑向基函數(shù)網(wǎng)絡(luò)：單隱層，使用徑向基函數(shù)作為隱層激活函數(shù)挖息，輸出層為隱層的線性組合金拒。

通常采用兩步訓(xùn)練過程訓(xùn)練：隨機(jī)采樣套腹、聚類等方法確定神經(jīng)元中心绪抛，BP算法確定參數(shù)

ART網(wǎng)絡(luò)

自適應(yīng)諧振理論網(wǎng)絡(luò)（競(jìng)爭(zhēng)型學(xué)習(xí)的重要代表），由比較層电禀，識(shí)別層幢码、識(shí)別閾值與重置模塊構(gòu)成，比較層負(fù)責(zé)接收輸入樣本尖飞，并傳遞給識(shí)別層症副，識(shí)別層每一個(gè)對(duì)應(yīng)一個(gè)模式類，神經(jīng)元數(shù)目可以動(dòng)態(tài)增長政基。

競(jìng)爭(zhēng)型學(xué)習(xí)：常用的無監(jiān)督學(xué)習(xí)策略贞铣，網(wǎng)絡(luò)的輸出神經(jīng)元相互競(jìng)爭(zhēng)，每一時(shí)刻僅有一個(gè)神經(jīng)元被激活沮明，其他神經(jīng)元抑制（勝者通吃原則）

競(jìng)爭(zhēng)方式：最簡單的是計(jì)算輸入向量與每個(gè)識(shí)別神經(jīng)元對(duì)應(yīng)的模式類代表向量的距離辕坝，越近越好。如果相似度大于識(shí)別閾值珊擂，則歸入此類圣勒，網(wǎng)絡(luò)更新费变。否則新增神經(jīng)元。

優(yōu)點(diǎn)：可以進(jìn)行增量學(xué)習(xí)或在線學(xué)習(xí)（因?yàn)楸３峙f知識(shí)記憶）圣贸。

SOM網(wǎng)絡(luò)

自組織映射網(wǎng)絡(luò)：競(jìng)爭(zhēng)學(xué)習(xí)型網(wǎng)絡(luò)挚歧，能將高維數(shù)據(jù)映射到低位空間，保持拓?fù)浣Y(jié)構(gòu)吁峻。

輸出神經(jīng)元：以矩陣方式排列在二維空間中滑负，擁有權(quán)向量。網(wǎng)絡(luò)接收輸入向量后用含，會(huì)確定輸出層獲勝神經(jīng)元矮慕。

SOM網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練過程：接收樣本，每個(gè)輸出神經(jīng)元計(jì)算樣本與自身權(quán)向量距離啄骇，最佳匹配單元與臨近單元的權(quán)向量將調(diào)整痴鳄。不斷迭代。

級(jí)聯(lián)相關(guān)網(wǎng)絡(luò)

結(jié)構(gòu)自適應(yīng)網(wǎng)絡(luò)的代表缸夹，兩個(gè)主要成分：級(jí)聯(lián)（建立層次連接的層級(jí)結(jié)構(gòu)）與相關(guān)（通過最大化新神經(jīng)元的輸出與網(wǎng)絡(luò)誤差之間的相關(guān)性來訓(xùn)練參數(shù)）

優(yōu)點(diǎn)：無須控制網(wǎng)絡(luò)層數(shù)痪寻、隱藏層神經(jīng)元數(shù)目，訓(xùn)練較快虽惭。

缺點(diǎn)：數(shù)據(jù)較小時(shí)容易陷入過擬合橡类。

Elman網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)之一。隱層的輸出作為下一時(shí)刻輸入的一部分芽唇。

Boltzmann機(jī)

基于能量的模型顾画，神經(jīng)元分為顯層（數(shù)據(jù)輸入輸出）與隱層（數(shù)據(jù)內(nèi)在表達(dá)）。神經(jīng)元都為布爾型匆笤。

基于能量的模型：為網(wǎng)絡(luò)狀態(tài)定義一個(gè)能量研侣，能量最小化時(shí)網(wǎng)絡(luò)達(dá)到理想狀態(tài)，網(wǎng)絡(luò)的訓(xùn)練即最小化能量函數(shù)疚膊。

深度學(xué)習(xí)

計(jì)算能力提升义辕、數(shù)據(jù)增長背景下的發(fā)展。

如深度信念網(wǎng)絡(luò)（DBN）寓盗，每一層為受限Boltzmann機(jī)灌砖，無監(jiān)督逐層訓(xùn)練手段（預(yù)訓(xùn)練+微調(diào)節(jié)省訓(xùn)練開銷）。

如卷積神經(jīng)網(wǎng)絡(luò)（CNN),權(quán)共享策略節(jié)省訓(xùn)練開銷傀蚌。