<font color=blue> BP算法 </font>
M-P神經(jīng)元模型
在這個(gè)模型中，神經(jīng)元接收到來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號(hào)痹兜，這些輸入信號(hào)通過帶權(quán)重的連接進(jìn)行傳遞，神經(jīng)元接收到的總輸入值與神經(jīng)元的閾值進(jìn)行比較，然后通過"激活函數(shù)" 處理以產(chǎn)生神經(jīng)元的輸出贮尉。
激活函數(shù)
階躍函數(shù)：
階躍函數(shù)具有不連續(xù)奕枝、不光滑等不太好的性質(zhì)，因此實(shí)際常用Sigmoid函數(shù)作為激活函數(shù)麻献。
激活函數(shù)：
sigmoid函數(shù)的主要優(yōu)點(diǎn)是平滑，在每個(gè)x上都存在倒數(shù)猜扮。
BP算法（反向傳播算法）
思想：先將輸入示例提供給輸入層神經(jīng)元勉吻，然后逐層將信號(hào)前傳，直到產(chǎn)生輸出層的結(jié)果破镰；然后計(jì)算輸出層的誤差餐曼，再將誤差逆向傳播至隱層神經(jīng)元，最后根據(jù)隱層神經(jīng)元的誤差來對連接權(quán)和閾值進(jìn)行調(diào)整鲜漩。該迭代過程循環(huán)進(jìn)行源譬，直到達(dá)到某些停止條件為止。
BP算法的核心
BP算法中核心的數(shù)學(xué)工具就是微積分的鏈?zhǔn)角髮?dǎo)法則
z是y的導(dǎo)數(shù)且可導(dǎo)孕似，y是x的函數(shù)且可導(dǎo)踩娘，則
$\frac{{\partial z}}{{\partial x}} = \frac{{\partial z}}{{\partial y}} \cdot \frac{{\partial y}}{{\partial x}}$
BP算法的推導(dǎo)
整個(gè)算法的偽代碼如下：
