What is `epoch`?

假設(shè)渗柿,你是一個新手撵割。

一天,有人問了你 epoch在機器學習里面代表著什么愚战?

QQ里面截圖:


截圖1

最好的方式是在知乎里面找啦:

https://www.zhihu.com/question/43673341

但是盯串,

本著認真的態(tài)度氯檐,在網(wǎng)上查查 :

在stackOverflow

1. Meaning of an Epoch in Neural Networks Training

這個有個單詞 cycle , cycle是循環(huán)的一次啊体捏,full taining cycle on training set 就是說在epoch就是一次對所有數(shù)據(jù)的訓練啦冠摄。 那么糯崎,每次訓練是不是一樣的呢??

How do know how many deep learning epochs were done, from R?


這個人是從代碼的角度解釋的河泳。


在Quora里面找了找

What is an epoch in deep learning?


這位投票率比較高: 他的觀點是 一個epoch就是將全部訓練集合的一次傳播(這里并沒有指名是正向還是反向沃呢?),通常情況下拆挥,one epoch 包含很多迭代(這是自然的)薄霜;回答者的第二句話就厲害了:Because usually we divide the training set into batches, each epoch go through the whole training set. Each iteration goes through on batch. 我們把數(shù)據(jù)集分割成很多批次batch, 每次迭代經(jīng)過批處理,每個epoch要經(jīng)過整個訓練集合纸兔。最后這位還給出了一本書的鏈接支持自己觀點


http://neuralnetworksanddeeplearning.com/chap1.html? 這里給出的更加具體:


從給出的程序片段上惰瓜,我們可以知道epoch 是訓練整個數(shù)據(jù)集合的,每次訓練之前shuffle一次汉矿。每個epoch中包含batches. ?? 與圖一崎坊,圖二中的說法一致


本著懷疑的態(tài)度,又看了一個鏈接 Epoch vs. Iteration??


”an epoch is a complete pass through a given dataset.“ 這里說的很明白了洲拇。再看看最后:Epoch and iteration are only synonymous if you update your parameters once for each pass through the whole dataset; if you update using mini-batches, they mean different things.? 如果每次通過整個數(shù)據(jù)集更新參數(shù)一次奈揍,epoch和terator是同義詞; 如果使用小批量進行更新,則意味著不同的事情呻待。 注意,這就和我們之前的理解不同了队腐。假設(shè)我們有兩個batch A和B, 進行3次迭代蚕捉, 雖然迭代的是AAABBB, 但是這3個epoch 可以看做AB ,AB柴淘,AB?

多看了一個文獻迫淹,我發(fā)現(xiàn)和之前描述的略有不同。這里說在大良的數(shù)據(jù)情況下为严,迭代和epoch 是一樣的敛熬,但是在小數(shù)據(jù)的情況下是不同的。

有點開始懷疑英語水平了第股。应民。。夕吻。繼續(xù)看--》

What is batch size and epoch in neural network??


這位作者也給出比較詳細:epoch是整個訓練數(shù)據(jù)進行一次正向傳播和反向傳播的诲锹。; 那么迭代和batch的關(guān)系呢涉馅?归园??給出了一個例子: 假如稚矿,你的訓練數(shù)據(jù)有1000個庸诱,你的batch_size=500. 那么需要兩次iteration才能完成一次epoch.這下似乎明白了: 圖1捻浦,2說的不錯,那么圖3呢桥爽,說的也不錯朱灿,batch1=A,batch2=B的時候,在進行三個epoch, 你看看是不是和圖3的說法一樣的呢聚谁??


說了這么久母剥,似乎還忘了一個問題:epoch 有什么用呢?且繼續(xù)看上面的鏈接形导。环疼。。朵耕。


似乎沒有找到我們想要的

嘿嘿炫隶,這個時候找一篇深度學習的論文,在實驗部分一定會有介紹的阎曹。


小結(jié)

epoch 其實也是我在寫論文的時候遇到的伪阶,在度量模型訓練的程度時候可以用一下。


敬請期待:
How To Improve Deep Learning Performance

http://epoch.ch/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末处嫌,一起剝皮案震驚了整個濱河市栅贴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌熏迹,老刑警劉巖檐薯,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異注暗,居然都是意外死亡坛缕,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門捆昏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來赚楚,“玉大人,你說我怎么就攤上這事骗卜〕枰常” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵寇仓,是天一觀的道長勇皇。 經(jīng)常有香客問我,道長焚刺,這世上最難降的妖魔是什么敛摘? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮乳愉,結(jié)果婚禮上兄淫,老公的妹妹穿的比我還像新娘屯远。我一直安慰自己,他們只是感情好捕虽,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布慨丐。 她就那樣靜靜地躺著,像睡著了一般泄私。 火紅的嫁衣襯著肌膚如雪房揭。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天晌端,我揣著相機與錄音捅暴,去河邊找鬼。 笑死咧纠,一個胖子當著我的面吹牛蓬痒,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播漆羔,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼梧奢,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了演痒?” 一聲冷哼從身側(cè)響起亲轨,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎鸟顺,沒想到半個月后惦蚊,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡诊沪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年养筒,在試婚紗的時候發(fā)現(xiàn)自己被綠了曾撤。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片端姚。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖挤悉,靈堂內(nèi)的尸體忽然破棺而出渐裸,到底是詐尸還是另有隱情,我是刑警寧澤装悲,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布昏鹃,位于F島的核電站,受9級特大地震影響诀诊,放射性物質(zhì)發(fā)生泄漏洞渤。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一属瓣、第九天 我趴在偏房一處隱蔽的房頂上張望载迄。 院中可真熱鬧讯柔,春花似錦、人聲如沸护昧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽惋耙。三九已至捣炬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間绽榛,已是汗流浹背湿酸。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留蒜田,地道東北人稿械。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像冲粤,于是被迫代替她去往敵國和親美莫。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 我喜歡音樂襟铭,但我是一個音盲,不識譜短曾,也分不清拍子節(jié)奏什么的寒砖。然而這也不影響我的喜好。例如我是男人嫉拐,不會生孩子哩都,但是...
    木頭公仔陳老師閱讀 1,171評論 2 2
  • 五月的風 在寂靜的深夜 輕盈的來到愛人身旁 低語 訴說著離別前的 纏綿 讓心在愛的國度里蕩漾 愛在春末夏初時節(jié) 乘...
    曉霞初陽閱讀 220評論 0 0
  • 人會變漠嵌,生態(tài)會變,地球也越來越糟糕……如果問盖呼,還有什么是不變的儒鹿,那就一定是“輪回”了,四季輪回就是其中的一個几晤。 春...
    望月塵閱讀 587評論 1 3
  • 所有可燃之物蟹瘾,在于燃透圾浅,松散而不失形墙贱!便是好的燃物!好的物件都要如此贱傀,生命燃燒依舊如此惨撇,透徹,散而不失其形府寒!幾人能...
    縱情嬉戲天地間閱讀 255評論 0 0
  • docker的使用給開發(fā)魁衙、測試和運維都帶來了很多便利,以下是個人在使用docker中學到的一些經(jīng)驗株搔,備忘備查剖淀。 刪...
    藍色瓦力閱讀 328評論 0 0