試驗1
試驗1是我們用100個數(shù)據(jù)圖像,其中89個數(shù)據(jù)圖像作為訓(xùn)練集,11個為測試集矾柜。一開始跑的時候采用了單一變量法的原理阱驾,毫無方向的調(diào)參數(shù)。
前五次我以為權(quán)重那個次方對準(zhǔn)確率有影響怪蔑,于是以權(quán)重次方為因變量里覆,準(zhǔn)確率為自變量
然后發(fā)現(xiàn)這個因素并不是主要影響因素,所以決定不再考慮這個因素的變化缆瓣,設(shè)回原始值喧枷。再來考慮隱層層數(shù)的影響(這里為啥只考慮隱層,不考慮輸入和輸出捆愁,前面的代碼分析有提及http://www.reibang.com/writer#/notebooks/40513533/notes/60513797)
通過隱層的變化可以看出割去,在300的時候準(zhǔn)確率明顯比較高,然后固定隱層為300昼丑,改變學(xué)習(xí)率
我們發(fā)現(xiàn)當(dāng)隱層層數(shù)為300的時候呻逆,學(xué)習(xí)率為0.001和0.0088都能跑到準(zhǔn)確率百分之八十以上,這兩者其實數(shù)值差不多菩帝,我就選擇隱層層數(shù)300咖城,學(xué)習(xí)率0.001是目前為止的最佳參數(shù),然后固定這兩個參數(shù)呼奢,改變訓(xùn)練次數(shù)的數(shù)值
然而此時默認(rèn)為訓(xùn)練次數(shù)5宜雀,隱層層數(shù)300,學(xué)習(xí)率為0.001握础,準(zhǔn)確率為0.8181.
現(xiàn)在目前確定的有三個變量直接影響準(zhǔn)確率辐董,即方程有三個變量x,y,z。通過固定一個變量禀综,同時改變其他兩個變量简烘,我先固定學(xué)習(xí)率為0.001.得出
可以發(fā)現(xiàn)當(dāng)訓(xùn)練次數(shù)為7次,隱層層數(shù)200定枷,學(xué)習(xí)率0.001時孤澎,準(zhǔn)確率為0.90,有些空格沒有數(shù)據(jù)欠窒,是因為跑一次非常費時間覆旭,跑出來,沒有找到相關(guān)性的數(shù)據(jù)岖妄,沒有列出來型将,此時已經(jīng)凌晨四點了,我不是傳遞我有多辛苦的信號荐虐,我是想說調(diào)參必須花大量精力七兜,去得出大量的數(shù)據(jù),然后分析數(shù)據(jù)缚俏。
試驗2
因為測試集的問題惊搏,準(zhǔn)確率遲遲達不到0.99,我就把測試集跟訓(xùn)練集合并成一個數(shù)據(jù)集忧换,將這個數(shù)據(jù)集即用來做訓(xùn)練集又用來做測試集(書里有說恬惯,這樣調(diào)出來的參數(shù),用來測測試集的準(zhǔn)確率比較高亚茬,但實際運用中的準(zhǔn)確率比較不理想,但我是想驗證一下酪耳,能不能跑到0.99)結(jié)果測試如下
最后還是沒跑到0.99畅买,我就換了一個大的數(shù)據(jù)集铁材,來到試驗3
試驗3
試驗3中的訓(xùn)練集數(shù)據(jù)6萬個,測試集2萬個昌阿,結(jié)果我參數(shù)都沒怎么調(diào)梢夯,一跑就百分之九十以上言疗,達到我們需要的目的。
從三個試驗中總結(jié)出神經(jīng)網(wǎng)絡(luò)如果要預(yù)測出準(zhǔn)確率高颂砸,則數(shù)據(jù)集要大噪奄,再者就是參數(shù)要好,通過試驗1人乓、2可以看出勤篮,在數(shù)據(jù)集比較小的情況下,我們可以通過調(diào)節(jié)參數(shù)色罚,來盡可能的是準(zhǔn)確率提高碰缔,通過試驗3得出,神經(jīng)網(wǎng)絡(luò)在大量數(shù)據(jù)學(xué)習(xí)之后的準(zhǔn)確率比較大戳护,所以我們不但要有一個龐大的數(shù)據(jù)集金抡,而且還要有一個最優(yōu)的參數(shù),兩者的結(jié)合姑尺,才能是我們的模型準(zhǔn)確的預(yù)測我們想要的結(jié)果竟终,從而使誤差降到最低。
如果有不對的地方切蟋,或者有更好的方法统捶,還望大家指點
鏈接:代碼和數(shù)據(jù)文件https://pan.baidu.com/s/1yY1NGSvosneUGsxDupvrgg
提取碼:rrq2