總覽
在本教程中毅整，我們將使用具有兩個輸入，兩個隱藏的神經(jīng)元绽左，兩個輸出神經(jīng)元的神經(jīng)網(wǎng)絡(luò)悼嫉。另外，隱藏和輸出的神經(jīng)元將包括偏差拼窥。
基本結(jié)構(gòu)如下：
為了獲得一些數(shù)字戏蔑，下面是初始權(quán)重蹋凝，偏差和訓(xùn)練輸入/輸出：
反向傳播的目標(biāo)是優(yōu)化權(quán)重，以便神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)如何正確地將任意輸入映射到輸出总棵。
對于本教程的其余部分鳍寂，我們將使用單個訓(xùn)練集：給定輸入0.05和0.10，我們希望神經(jīng)網(wǎng)絡(luò)輸出0.01和0.99情龄。
前進(jìn)通道
首先伐割，讓我們看看在上述權(quán)重和偏差以及輸入為0.05和0.10的情況下，神經(jīng)網(wǎng)絡(luò)目前預(yù)測的結(jié)果刃唤。
為此隔心，我們將通過網(wǎng)絡(luò)提供這些輸入。我們計算出每個隱含層神經(jīng)元的總輸入尚胞，使用激活函數(shù)(這里我們使用邏輯函數(shù))壓縮總輸入硬霍，然后對輸出層神經(jīng)元重復(fù)這個過程。
計算總誤差
現(xiàn)在笼裳，我們可以使用平方誤差函數(shù)計算每個輸出神經(jīng)元的誤差唯卖，并對它們求和以獲得總誤差：
該1/2包括在內(nèi)，以便我們以后區(qū)分該指數(shù)被取消躬柬。無論如何拜轨，最終結(jié)果還是要乘以學(xué)習(xí)率，因此我們在此處引入常數(shù)[ 1 ] 都沒關(guān)系允青。
向后通行
我們反向傳播的目標(biāo)是更新網(wǎng)絡(luò)中的每個權(quán)重橄碾，以便它們使實際輸出更接近目標(biāo)輸出，從而將每個輸出神經(jīng)元和整個網(wǎng)絡(luò)的誤差最小化颠锉。
輸出層
