1/神經(jīng)網(wǎng)絡(luò)構(gòu)架:
前向神經(jīng)網(wǎng)絡(luò),典型代表CNN;循環(huán)神經(jīng)網(wǎng)絡(luò):典型代表RNN;對稱神經(jīng)網(wǎng)絡(luò):典型代表DBN
2/常見激活函數(shù):(激活函數(shù)不可以是線性的)
sigmoid函數(shù),tanh函數(shù),Relu函數(shù)https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.htmlhttps://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html
(各種激活函數(shù)的優(yōu)缺點比較參見: https://zhuanlan.zhihu.com/p/25110450)
(Relu函數(shù)可以逼近任意函數(shù)參見: https://zhuanlan.zhihu.com/p/23186434)
3/感知機與神經(jīng)網(wǎng)絡(luò):
可以看做線性的二分類神經(jīng)網(wǎng)絡(luò),尋找一個超平面將正負(fù)樣本分開
感知機的局限:(1)對特征工程要求過于苛刻(2)不能處理線性不可分的情況
神經(jīng)網(wǎng)絡(luò)需要解決的問題:(1)如何放寬特征要求(2)如何處理非線性可分的情況（加入隱藏層）
4/神經(jīng)網(wǎng)絡(luò)的BP算法:
參見:??? https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html
(上述鏈接可以作為一個參考)
關(guān)于BP算法的解釋參見:?? https://www.zhihu.com/question/24827633
5/神經(jīng)網(wǎng)絡(luò)的參數(shù)和超參數(shù):
參數(shù): 權(quán)重w ,偏移b
超參數(shù):(1). 學(xué)習(xí)率η，(2). 正則化參數(shù)λ嫡丙，(3). 神經(jīng)網(wǎng)絡(luò)的層數(shù)L，(4). 每一個隱層中神經(jīng)元的個數(shù)j泣棋，(5). 學(xué)習(xí)的回合數(shù)Epoch，(6). 小批量數(shù)據(jù)minibatch的大小畔塔，(7). 輸出神經(jīng)元的編碼方式潭辈，(8). 代價函數(shù)的選擇鸯屿，(9). 權(quán)重初始化的方法，(10). 神經(jīng)元激活函數(shù)的種類把敢，(11).參加訓(xùn)練模型數(shù)據(jù)的規(guī)模
