深度學(xué)習(xí)入坑指南:來自七位大牛的意見

吳教授的深度學(xué)習(xí)課程到現(xiàn)在只放出三部分胎撇,也很簡單介粘,結(jié)果在試聽階段花了幾天就看完了,拿了證晚树,忘點取消訂閱姻采,一下刷了我好幾百,瞬間想剁手爵憎。

轉(zhuǎn)念一想慨亲,就當(dāng)是支持吳教授搞革命,瞬間就不心痛了纲堵。

這門課特殊之處巡雨,除了是由吳教授講以外闰渔,他還利用他的人脈席函,把目前整個深度學(xué)習(xí)領(lǐng)域的大牛都拉過來,進(jìn)小黑屋談話冈涧。來茂附,說說正蛙,你是怎么走到今天這一步的,對于想要入坑 AI 和深度學(xué)習(xí)的小朋友們有什么建議啊营曼。

于是我就把這些建議整理了一下乒验。

主要幾點如下。

  1. 讀足夠多的文獻(xiàn)蒂阱,獲得對這個領(lǐng)域的大概認(rèn)識和研究直覺锻全。推薦讀每年ICLR的論文,獲得當(dāng)前領(lǐng)域的發(fā)展現(xiàn)狀录煤。

  2. 有了直覺之后鳄厌,相信自己直覺,找一個研究問題妈踊,不要在意別人怎么說了嚎,研究下去

  3. 不能光讀看文獻(xiàn)廊营。最好要多編程歪泳,多嘗試去重新實現(xiàn)論文里的系統(tǒng)。也可以邊看書露筒,邊實現(xiàn)一個項目呐伞。并且將代碼放上Github,獲得更多的機(jī)會邀窃。

  4. 現(xiàn)在網(wǎng)上有很多資源荸哟,充分利用網(wǎng)上的資源,進(jìn)行學(xué)習(xí)瞬捕。比如學(xué)習(xí)一個框架鞍历,還有網(wǎng)上高手寫的基準(zhǔn)模型。

  5. 不要只會從頂層利用框架肪虎,最好從底層能夠理解這些是怎么實現(xiàn)的劣砍,自己嘗試實現(xiàn)一遍

下面是各位大牛具體的建議扇救,也有關(guān)于各位大牛的簡短介紹刑枝。

Geoffrey Hinton (AI 教父,反向傳播算法主要推動者之一)

  1. 雖然大部分人的建議是迅腔,先花個幾年時間讀文獻(xiàn)装畅,然后才開始實現(xiàn)自己的想法。但對于一個創(chuàng)新型的研究者來說沧烈,反而少讀一些文獻(xiàn)會比較好掠兄。

  2. 相信自己的直覺

    注意一些你認(rèn)為大家都做錯了的地方,那里看起來感覺就是不對的地方蚂夕,然后你想出來怎么解決它迅诬。即使別人說這不對,也不要管婿牍,堅持干自己的就可以了侈贷。如果你的直覺很好的話,那么你終將獲得成功等脂;即使直覺不是很好俏蛮,也沒多大影響。

  3. 一定要不停地編程上遥。

    通過不僅僅只是讀一篇論文嫁蛇,而是重新實現(xiàn)論文。因為當(dāng)你通過實現(xiàn)論文露该,你會發(fā)現(xiàn)其中有很多編程小技巧使得系統(tǒng)最后得以成功睬棚,這是很重要的。

  4. 關(guān)于研究生選導(dǎo)師解幼,盡量選擇和你有相同信仰抑党,相同想法的老師。這樣他能給你很多好的建議撵摆。

總結(jié)一下就是底靠,讀足夠文獻(xiàn)知道你開始產(chǎn)生自己的直覺,然后相信自己的直覺去實現(xiàn)它特铝,不要在意其他人是怎么說的暑中,因為他們說的都是沒什么意義的。

特別提一點鲫剿,當(dāng)你想出一個好主意鳄逾,而其他人都覺得很沒有意義,那么這就是一個非常好的主意的標(biāo)志灵莲。

Pieter Abbeel (深度強(qiáng)化學(xué)習(xí)大牛)

  1. 現(xiàn)在是一個進(jìn)入AI界很好的時機(jī)雕凹,有很多工作需求,也有很多事情你可以做政冻,比如選擇一個研究方向研究枚抵,或是建立自己新公司等等。

  2. 自學(xué)明场,不管你是在學(xué)校還是已經(jīng)工作了汽摹。這里有很多好的資源,吳教授的Machine Learning啊苦锨、Andrej Karpathy的深度學(xué)習(xí)課程啊逼泣、加州伯克利的深度強(qiáng)化學(xué)習(xí)課程啊...

  3. 自己動手做嫌套,不要光是看視頻。選一個自己喜歡的框架圾旨,如TensorFlow、Chainer魏蔗、 Theano砍的、 PyTorch 等等,然后開始自己寫代碼莺治。

  4. 是否取得Phd廓鞠,這要看你在哪邊能獲得更多的指導(dǎo)了。我更傾向于Phd谣旁。

Ian Goodfellow (生成對抗性網(wǎng)絡(luò)發(fā)明者床佳,深度學(xué)習(xí)教科書作者之一)

[圖片上傳失敗...(image-da3fa7-1536970128029)]

  1. 很多人認(rèn)為進(jìn)入AI界一定要獲得Phd學(xué)位,或者其他一些認(rèn)證榄审。但是我不認(rèn)為這真的重要砌们,你也可以通過編很好的代碼然后放在Github上,來獲得大量的關(guān)注搁进。我在OpenAI還有Google浪感,很多人都是這樣被雇用的。而且有時候?qū)懸粋€有用的軟件饼问,可能也比寫一篇好的論文簡單影兽。

  2. 一邊讀書和資料,一邊練習(xí)莱革,然后放在Github上峻堰。我認(rèn)為最好是邊讀書,邊嘗試實現(xiàn)一個項目盅视。你可以選擇在自己喜歡領(lǐng)域來實現(xiàn)捐名,也可以去網(wǎng)上找很多項目挑感興趣的重新實現(xiàn),如街景房牌識別器闹击。

Yoshua Bengio (深度學(xué)習(xí)加拿大黑手黨三人之一桐筏,也包括Hinton)

image
  1. 雖然深度學(xué)習(xí)研究人員和開發(fā)者的要求有很大不同,但是相同的一點是拇砰,需要大量閱讀梅忌,然后自己實踐練習(xí)

  2. 特別是除破,不要光會使用框架牧氮,而對底層的原理一點都不了解。嘗試自己來實現(xiàn)一下底層瑰枫,即使沒有什么效率踱葛。這樣你才能夠真正理解丹莲,什么是有用的什么是沒用的。而且我還會要求進(jìn)一步尸诽,最好是自己用數(shù)學(xué)公式推導(dǎo)一遍甥材。試圖理解一切你所做的事情,問自己為什么要做這個性含,為什么其他人要做這個洲赵。

  3. 去讀ICLR的論文,能夠獲得一個很好的當(dāng)前該領(lǐng)域的發(fā)展概況商蕴。

  4. 讀論文時不要害怕數(shù)學(xué)公式叠萍,大量閱讀可以獲得一種直覺,然后公式就會自然而然變得很好理解绪商。

  5. 一個很好的消息就是苛谷,你不需要五年專業(yè)訓(xùn)練才能熟練掌握深度學(xué)習(xí),現(xiàn)在你有計算機(jī)和數(shù)學(xué)背景的話格郁,可能幾個月就可以了腹殿。有系統(tǒng)性的訓(xùn)練的話,六個月就夠了例书。

林元慶 (中國深度學(xué)習(xí)第一人赫蛇,百度深度學(xué)習(xí)實驗室主任)

  1. 可以先從一個開源框架學(xué)起,現(xiàn)在這里有很多網(wǎng)上的資源教你怎么用它們雾叭。

  2. 而且現(xiàn)在也有很多公開了的基準(zhǔn)實現(xiàn)案例悟耘,你可從這些很有經(jīng)驗的人寫的模型中學(xué)到很多。

Andrej Karpathy (特斯拉人工智能總監(jiān)织狐,深度學(xué)習(xí)重要旗手之一)

從底層自己來全部實現(xiàn)一遍暂幼,不要只知道抽象的概念

這也是人們上我的cs231n時移迫,最感謝我的地方旺嬉。當(dāng)你實驗了底層的東西,那么你實現(xiàn)上層的東西時候就不會感覺到不適厨埋,因為你知道這下面都發(fā)生了什么邪媳。于是,你也能夠快速地調(diào)試自己的程序荡陷,快速的完善提高自己的模型雨效。

Ruslan Salakhutdinov (蘋果人工智能總監(jiān))

  1. 嘗試各種各樣的事情,不要害怕去創(chuàng)新废赞,去解決困難問題徽龟。

    舉個例子,當(dāng)我還是個研究生時唉地,因為神經(jīng)網(wǎng)絡(luò)是非凸系統(tǒng)据悔,所以很難優(yōu)化传透。我還記得和最優(yōu)化領(lǐng)域的朋友聊天時,他們總是說這些問題無法解決因為它們是非凸的极颓。但實際上朱盐,在我們實驗室,從來沒有人關(guān)心過這件事情菠隆,我們只想著怎么優(yōu)化然后獲得有趣的結(jié)果兵琳。反而是這樣推動了領(lǐng)域的發(fā)展。

  2. 不要只從頂層使用深度學(xué)習(xí)浸赫,要從底層來理解它們。

DeepLearning MOOCs:

  1. Coursera: Andrew Ng - Deep Learning ai
  2. Coursera: Geoffrey Hinton - Neural Networks for Machine Learning
  3. Udacity: Deep Learning Foundation Nanodegree
  4. Fast.ai course
  5. Université de Sherbrooke - Hugo Larochelle - Neural networks class
  6. Stanford: CS231n: Convolutional Neural Networks for Visual Recognition
  7. Stanford: CS224n: Natural Language Processing with Deep Learning
  8. Berkeley: CS 294: Deep Reinforcement Learning
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末赃绊,一起剝皮案震驚了整個濱河市既峡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌碧查,老刑警劉巖运敢,帶你破解...
    沈念sama閱讀 211,265評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異忠售,居然都是意外死亡传惠,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評論 2 385
  • 文/潘曉璐 我一進(jìn)店門稻扬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來卦方,“玉大人,你說我怎么就攤上這事泰佳∨慰常” “怎么了?”我有些...
    開封第一講書人閱讀 156,852評論 0 347
  • 文/不壞的土叔 我叫張陵逝她,是天一觀的道長浇坐。 經(jīng)常有香客問我,道長黔宛,這世上最難降的妖魔是什么近刘? 我笑而不...
    開封第一講書人閱讀 56,408評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮臀晃,結(jié)果婚禮上觉渴,老公的妹妹穿的比我還像新娘。我一直安慰自己徽惋,他們只是感情好叹谁,可當(dāng)我...
    茶點故事閱讀 65,445評論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著塑陵,像睡著了一般。 火紅的嫁衣襯著肌膚如雪回右。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,772評論 1 290
  • 那天漱挚,我揣著相機(jī)與錄音翔烁,去河邊找鬼。 笑死旨涝,一個胖子當(dāng)著我的面吹牛蹬屹,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播白华,決...
    沈念sama閱讀 38,921評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼慨默,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了弧腥?” 一聲冷哼從身側(cè)響起厦取,我...
    開封第一講書人閱讀 37,688評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎管搪,沒想到半個月后虾攻,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,130評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡更鲁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,467評論 2 325
  • 正文 我和宋清朗相戀三年霎箍,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片澡为。...
    茶點故事閱讀 38,617評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡漂坏,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出媒至,到底是詐尸還是另有隱情樊拓,我是刑警寧澤,帶...
    沈念sama閱讀 34,276評論 4 329
  • 正文 年R本政府宣布塘慕,位于F島的核電站筋夏,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏图呢。R本人自食惡果不足惜条篷,卻給世界環(huán)境...
    茶點故事閱讀 39,882評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蛤织。 院中可真熱鬧赴叹,春花似錦、人聲如沸指蚜。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,740評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽摊鸡。三九已至绽媒,卻和暖如春蚕冬,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背是辕。 一陣腳步聲響...
    開封第一講書人閱讀 31,967評論 1 265
  • 我被黑心中介騙來泰國打工囤热, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人获三。 一個月前我還...
    沈念sama閱讀 46,315評論 2 360
  • 正文 我出身青樓旁蔼,卻偏偏與公主長得像,于是被迫代替她去往敵國和親疙教。 傳聞我的和親對象是個殘疾皇子棺聊,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,486評論 2 348

推薦閱讀更多精彩內(nèi)容