(1)增大batch size
這在gpu/cpu 存儲容量有限的情況下可以增大iter_size實(shí)現(xiàn)
(2)人工檢測learning rate policy
when error plateau, /=10
(3)Initialization
for ReLU
每一層應(yīng)該服從正太分布（0,2/nl）nl=k * k * c
Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification
(4)Gradient Descend method
Now SGD
(5)Data Pre-Processing
PCA 距误、Whiting
Subtract the mean image (e.g. AlexNet)(mean image = [32,32,3] array)
Subtract per-channel mean (e.g. VGGNet)(mean along each channel = 3 numbers)
（6）BN
already Batch Normal
How to make a Neural Network converg(as fast as possible)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門千绪，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人梗脾，你說我怎么就攤上這事翘紊。” “怎么了藐唠？”我有些...
- 文/不壞的土叔 我叫張陵帆疟，是天一觀的道長。 經(jīng)常有香客問我宇立，道長踪宠，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任妈嘹，我火速辦了婚禮柳琢，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘润脸。我一直安慰自己柬脸，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布毙驯。 她就那樣靜靜地躺著倒堕，像睡著了一般。 火紅的嫁衣襯著肌膚如雪爆价。 梳的紋絲不亂的頭發(fā)上垦巴，一...
- 文/蒼蘭香墨 我猛地睜開眼爸吮，長吁一口氣：“原來是場噩夢啊……” “哼芬膝！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起拗胜，我...
- 序言：老撾萬榮一對情侶失蹤蔗候，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后埂软，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體锈遥，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡纫事，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了所灸。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片丽惶。...
- 正文 年R本政府宣布，位于F島的核電站吟策，受9級特大地震影響儒士，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜檩坚，卻給世界環(huán)境...
- 文/蒙蒙 一着撩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧匾委，春花似錦拖叙、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至沪猴，卻和暖如春辐啄，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背运嗜。 一陣腳步聲響...
- 正文 我出身青樓，卻偏偏與公主長得像抵怎，于是被迫代替她去往敵國和親奋救。 傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 問題描述 一個(gè)只包含正負(fù)數(shù)的數(shù)組反惕，求出連續(xù)元素之和最大的子數(shù)組尝艘。 解決1：暴力求解方法 嘗試每個(gè)元素的組合，最終選...
- 1 某城的大劇院里盾戴，某幼兒園的小朋友們正在舞臺上表演著舞蹈寄锐，小朋友們隨著音樂，歡快地跳著尖啡、笑著橄仆。 亮亮也在小朋友當(dāng)...
