反向傳播算法(Back-Propagation algorithm, BP)
工作信號(hào)正向傳播：輸入信號(hào)從輸入層經(jīng)隱單元往踢，傳向輸出層，在輸出端產(chǎn)生輸出信號(hào)，這是工作信號(hào)的正向傳播。在信號(hào)的向前傳遞過(guò)程中網(wǎng)絡(luò)的權(quán)值是固定不變的排惨，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出碰凶，則轉(zhuǎn)入誤差信號(hào)反向傳播暮芭。
誤差信號(hào)反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間差值即為誤差信號(hào)，誤差信號(hào)由輸出端開(kāi)始逐層向后傳播欲低，這是誤差信號(hào)的反向傳播辕宏。在誤差信號(hào)反向傳播的過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)砾莱。通過(guò)權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更接近期望輸出匾效。
BP算法作為傳統(tǒng)訓(xùn)練多層網(wǎng)絡(luò)的典型算法，實(shí)際上對(duì)僅含幾層網(wǎng)絡(luò)恤磷，該訓(xùn)練方法就已經(jīng)很不理想面哼。深度結(jié)構(gòu)（涉及多個(gè)非線性處理單元層）非凸目標(biāo)代價(jià)函數(shù)中普遍存在的局部最小是訓(xùn)練困難的主要來(lái)源。
BP算法存在的問(wèn)題：
（1）梯度越來(lái)越稀疏：從頂層越往下扫步，誤差校正信號(hào)越來(lái)越心Р摺；
（2）收斂到局部最小值：尤其是從遠(yuǎn)離最優(yōu)區(qū)域開(kāi)始的時(shí)候（隨機(jī)值初始化會(huì)導(dǎo)致這種情況的發(fā)生）河胎；
（3）一般闯袒，我們只能用有標(biāo)簽的數(shù)據(jù)來(lái)訓(xùn)練：但大部分的數(shù)據(jù)是沒(méi)標(biāo)簽的，而大腦可以從沒(méi)有標(biāo)簽的的數(shù)據(jù)中學(xué)習(xí)游岳；
