基本思路：
1.定義神經(jīng)網(wǎng)絡：定義輸入層→定義隱藏層→定義輸出層→找到權重和偏差→設置學習率→設置激活函數(shù)
2.定義訓練網(wǎng)絡：根據(jù)訓練樣本給出輸出→根據(jù)輸出結果佩伤，計算誤差，根據(jù)誤差反向更新隱藏層權重
3.定義查詢網(wǎng)絡：預測新樣本的種類睡毒，即通過神經(jīng)網(wǎng)絡最終的輸出值。
4.定義主函數(shù)：各層數(shù)據(jù)的輸入→學習率的輸入→生成神經(jīng)網(wǎng)絡
5.計算查詢結果的正確率：每個數(shù)字得出的輸出值與正確值進行比較檩赢，得出正確率吕嘀。
程序分四個部分违寞，第一個部分數(shù)據(jù)讀取贞瞒，第二個部分是神經(jīng)網(wǎng)絡的配置，第三部分是神經(jīng)網(wǎng)絡的訓練趁曼，第四部分是神經(jīng)網(wǎng)絡的測試
BP神經(jīng)網(wǎng)絡是一個有監(jiān)督學習模型军浆，是神經(jīng)網(wǎng)絡類算法中非常重要和典型的算法，三層神經(jīng)網(wǎng)絡的基本結構如下：
? ?通過這個最簡單的bp神經(jīng)網(wǎng)絡挡闰，其實它的運行機理就是：一個特征向量的各個分量按不同權重加權乒融，再加一個常數(shù)項偏置，生成隱藏層各節(jié)點的值摄悯。隱藏層節(jié)點的值經(jīng)過一個激活函數(shù)激活后赞季，獲得隱藏層激活值，隱藏層激活值仿照輸入層到隱藏層的過程奢驯，加權再加偏置申钩，獲得輸出層值，通過一個激活函數(shù)得到最后的輸出瘪阁。
? ?激活函數(shù)可使用值域為（0撒遣，1）的sigmoid函數(shù)，也可使用值域為（-1管跺，1）的tanh函數(shù)义黎，兩個函數(shù)的求導都較為方便。
? ?假設我們試圖確定手寫圖像是否描繪為“9”豁跑。 設計網(wǎng)絡的一種自然方式是將圖像像素的強度編碼到輸入神經(jīng)元中廉涕。 如果圖像是64×64灰度圖像，那么我們將有4,096 = 64×64 個輸入神經(jīng)元（像素點），強度在0和1之間適當縮放狐蜕。輸出層將只包含一個神經(jīng)元壶愤，輸出小于0.5的值表示“輸入圖像不是9”，大于0.5的值表示“輸入圖像是9”馏鹤。
網(wǎng)絡的第一層為輸入層：輸入層包含編碼輸入像素值的神經(jīng)元征椒。我們的網(wǎng)絡訓練數(shù)據(jù)將由掃描的手寫數(shù)字的28×28像素圖像組成，因此輸入層包含784 = 28×28 個神經(jīng)元湃累。
網(wǎng)絡的第二層為隱藏層：我們用n表示這個隱藏層中的神經(jīng)元數(shù)量勃救，我們將試驗n的不同值。
網(wǎng)絡的第三層為輸出層：如果第一個神經(jīng)元激活治力，即輸出 ≈ 1蒙秒，那么這將表明網(wǎng)絡認為該數(shù)字是0。如此類推宵统。更準確地說晕讲，我們將輸出神經(jīng)元從0到9編號，并找出哪個神經(jīng)元來匹配數(shù)字的最大激活值马澈。?因為輸出層只有10種結果瓢省，所以為10。
現(xiàn)在設計好了神經(jīng)網(wǎng)絡痊班，如果要實現(xiàn)數(shù)字的識別勤婚，我們需要的第一件事是要學習的數(shù)據(jù)集即訓練數(shù)據(jù)集。
這里將運用MNIST數(shù)據(jù)涤伐。它包含60,000張圖像用作訓練數(shù)據(jù)馒胆，尺寸為28 x 28像素；10,000個圖像凝果，用作測試數(shù)據(jù)祝迂，尺寸為28 x 28像素。輸入像素是灰度器净，值為0.0表示白色型雳，值1.0表示黑色，在0到1之間灰度由淺變深掌动。我們將使用測試數(shù)據(jù)來評估我們的神經(jīng)網(wǎng)絡學會識別數(shù)字的程度四啰。?
過程：
訓練網(wǎng)絡：
1.正向傳播：針對訓練樣本給出輸出，定義輸入層與隱藏層之間的初始權重參數(shù)粗恢。
2.誤差反向傳播：針對輸出柑晒，計算誤差，根據(jù)誤差反向更新隱藏層神經(jīng)的誤差眷射，更新初始權重匙赞。
3.更新權重佛掖。
代碼及解釋：
代碼地址：https://gitee.com/li_zhao_ming/task/blob/master/shuju/shuzi.py
