一冈绊、背景
在程序?qū)懲曛笙丽覀儼l(fā)現(xiàn),在程序中能夠改變的值主要有以下幾個(gè):隱藏層層數(shù)死宣,訓(xùn)練次數(shù)伟恶,學(xué)習(xí)率,權(quán)重次方毅该。
在原來的程序中博秫,我們的數(shù)據(jù)分別是:隱藏層層數(shù):300,訓(xùn)練次數(shù):5眶掌,學(xué)習(xí)率:0.1台盯,權(quán)重次方,-0.5
得出來的準(zhǔn)確率只有:54.5%
二畏线、調(diào)試
因?yàn)槌跏紨?shù)值準(zhǔn)確率不高,所以良价,就到了關(guān)鍵的一步:不斷測(cè)試并改變閾值寝殴,以提高準(zhǔn)確率蒿叠。
實(shí)驗(yàn)一:
首先我用的是每個(gè)參數(shù)都選擇其能達(dá)到的最優(yōu)準(zhǔn)確率,看能否組合起來蚣常,最終形成一個(gè)總體最優(yōu)準(zhǔn)確率市咽。
在權(quán)重次方、隱藏層層數(shù)抵蚊、訓(xùn)練次數(shù)不變的前提下施绎,在學(xué)習(xí)率區(qū)間為0.000088到0.001的條件下,準(zhǔn)確率的總體趨勢(shì)隨著學(xué)習(xí)率的增大贞绳,先變大谷醉,后變小。
其準(zhǔn)確率最大值為0.818冈闭,學(xué)習(xí)率為0.000088俱尼。
在權(quán)重次方、訓(xùn)練次數(shù)萎攒、學(xué)習(xí)率不變的前提下遇八,在隱藏層數(shù)區(qū)間為200到350的條件下,準(zhǔn)確率的總體趨勢(shì)隨著隱藏層數(shù)的增大耍休,先變大刃永,后變小。
其準(zhǔn)確率最大值為0.818羊精,隱藏層數(shù)為300/320.
在權(quán)重次方斯够、隱藏層數(shù)、學(xué)習(xí)率不變的前提下园匹,在訓(xùn)練次數(shù)區(qū)間為3到11的條件下雳刺,準(zhǔn)確率的總體趨勢(shì)隨著訓(xùn)練次數(shù)的增大,先變小裸违,后變大掖桦。
其準(zhǔn)確率最大值為0.818,訓(xùn)練次數(shù)數(shù)為10.
在隱藏層數(shù)供汛、學(xué)習(xí)率枪汪、訓(xùn)練次數(shù)不變的前提下,在權(quán)重次方區(qū)間為-0.8到-0.1的條件下怔昨,準(zhǔn)確率的總體趨勢(shì)隨著權(quán)重的增大雀久,先變大,后變小趁舀。
其準(zhǔn)確率最大值為0.818赖捌,權(quán)重次方為-0.5.
實(shí)驗(yàn)二
在全部數(shù)據(jù)調(diào)試了一遍后,發(fā)現(xiàn)準(zhǔn)確率不見上升矮烹,于是決定運(yùn)用單一變量法越庇,再進(jìn)行調(diào)試:
初始值:權(quán)重次方為-0.5罩锐,訓(xùn)練次數(shù)為5,隱藏層數(shù)為300卤唉,學(xué)習(xí)率為0.5涩惑。
但發(fā)現(xiàn),準(zhǔn)確率仍無法上提桑驱。
實(shí)驗(yàn)三
根據(jù)實(shí)驗(yàn)一竭恬、二的啟示,發(fā)現(xiàn)準(zhǔn)確率一直處于0.818提不上去熬的,經(jīng)過研究痊硕,認(rèn)為是由于訓(xùn)練集過少(89個(gè)),而測(cè)試集又僅有11個(gè)悦析,數(shù)據(jù)過少寿桨,以致于無法達(dá)到理想狀態(tài)。
于是强戴,將訓(xùn)練集和測(cè)試集都提升到100個(gè)亭螟。
1.學(xué)習(xí)率:0.0005
2.學(xué)習(xí)率:0.005
經(jīng)過調(diào)試發(fā)現(xiàn),增多了數(shù)據(jù)集骑歹,可以在一定程度上提高準(zhǔn)確率预烙,達(dá)到了87%左右,但仍不夠高道媚。
實(shí)驗(yàn)四
為了使準(zhǔn)確率能達(dá)到95%以上扁掸,最終從網(wǎng)上找了個(gè)10000的測(cè)試集,60000個(gè)訓(xùn)練集的數(shù)據(jù)集最域,再進(jìn)行嘗試谴分。
最終,準(zhǔn)確率達(dá)到了97%以上镀脂。
Q:為什么會(huì)有空格牺蹄?
A:因?yàn)榕芤淮纬绦蛩璧臅r(shí)間較長(zhǎng),而我們的目標(biāo)是準(zhǔn)確率達(dá)到95%以上薄翅,而前面的一些結(jié)果沙兰,在經(jīng)過多次調(diào)試后,仍然跟我們的預(yù)想相差甚遠(yuǎn)(只有85%左右)翘魄。于是乎決定放棄一些結(jié)果鼎天,直接選擇更多的訓(xùn)練集來訓(xùn)練出準(zhǔn)確率更高的程序。