人工神經(jīng)網(wǎng)絡(luò)（artificial neural network）是感知器（perceptron）和激活（activation）函數(shù)的集合，網(wǎng)絡(luò)的隱藏層由多個感知器所組成读整，隱藏層提供非線性化拒逮，將輸入層映射為低維的輸出層罐氨。映射是累加輸入層與權(quán)重的乘積，再加上偏移值滩援。模型（model）就是網(wǎng)絡(luò)結(jié)構(gòu)的全部權(quán)重值（weight）和全部偏移值（bias）栅隐。
ANN
模型的訓(xùn)練過程，就是為了確定最合適的權(quán)重和偏移的值玩徊。在訓(xùn)練開始時租悄，模型的值會被隨機初始化。使用損失函數(shù)（loss function）恩袱，對比訓(xùn)練的結(jié)果與真值（ground truth）的差異泣棋。根據(jù)損失值，在步驟中憎蛤，參數(shù)不斷地被調(diào)整外傅。當損失值不能進一步下降時，訓(xùn)練被停止俩檬。在訓(xùn)練中，模型學(xué)習(xí)到數(shù)據(jù)的特征（feature）碾盟。特征是原始圖像的抽象棚辽。
在通用的逼近定理（approximation theory）中，神經(jīng)網(wǎng)絡(luò)可以近似任何函數(shù)冰肴。隱藏層也可以被稱之為全連接層（dense layer）屈藐。每一層都含有一個激活函數(shù)榔组。層的數(shù)量取決于問題的難度。
反向傳播：
- 隨機初始化參數(shù)联逻；
- 根據(jù)反向傳播原理搓扯，鏈式求導(dǎo)，獲得計算參數(shù)梯度的公式包归；
- 將其他參數(shù)锨推，帶入梯度公式，即w1的導(dǎo)數(shù)值公壤，由其他參數(shù)w決定换可；
- 獲得梯度值，再乘以學(xué)習(xí)率厦幅，下降的具體梯度值沾鳄；
- 參數(shù)值，減去梯度值确憨，完成梯度下降译荞；
