吳教授的深度學(xué)習(xí)課程到現(xiàn)在只放出三部分胎撇,也很簡單介粘,結(jié)果在試聽階段花了幾天就看完了,拿了證晚树,忘點取消訂閱姻采,一下刷了我好幾百,瞬間想剁手爵憎。
轉(zhuǎn)念一想慨亲,就當(dāng)是支持吳教授搞革命,瞬間就不心痛了纲堵。
這門課特殊之處巡雨,除了是由吳教授講以外闰渔,他還利用他的人脈席函,把目前整個深度學(xué)習(xí)領(lǐng)域的大牛都拉過來,進(jìn)小黑屋談話冈涧。來茂附,說說正蛙,你是怎么走到今天這一步的,對于想要入坑 AI 和深度學(xué)習(xí)的小朋友們有什么建議啊营曼。
于是我就把這些建議整理了一下乒验。
主要幾點如下。
讀足夠多的文獻(xiàn)蒂阱,獲得對這個領(lǐng)域的大概認(rèn)識和研究直覺锻全。推薦讀每年ICLR的論文,獲得當(dāng)前領(lǐng)域的發(fā)展現(xiàn)狀录煤。
有了直覺之后鳄厌,相信自己直覺,找一個研究問題妈踊,不要在意別人怎么說了嚎,研究下去。
不能光讀看文獻(xiàn)廊营。最好要多編程歪泳,多嘗試去重新實現(xiàn)論文里的系統(tǒng)。也可以邊看書露筒,邊實現(xiàn)一個項目呐伞。并且將代碼放上Github,獲得更多的機(jī)會邀窃。
現(xiàn)在網(wǎng)上有很多資源荸哟,充分利用網(wǎng)上的資源,進(jìn)行學(xué)習(xí)瞬捕。比如學(xué)習(xí)一個框架鞍历,還有網(wǎng)上高手寫的基準(zhǔn)模型。
不要只會從頂層利用框架肪虎,最好從底層能夠理解這些是怎么實現(xiàn)的劣砍,自己嘗試實現(xiàn)一遍。
下面是各位大牛具體的建議扇救,也有關(guān)于各位大牛的簡短介紹刑枝。
Geoffrey Hinton (AI 教父,反向傳播算法主要推動者之一)
雖然大部分人的建議是迅腔,先花個幾年時間讀文獻(xiàn)装畅,然后才開始實現(xiàn)自己的想法。但對于一個創(chuàng)新型的研究者來說沧烈,反而少讀一些文獻(xiàn)會比較好掠兄。
-
相信自己的直覺。
注意一些你認(rèn)為大家都做錯了的地方,那里看起來感覺就是不對的地方蚂夕,然后你想出來怎么解決它迅诬。即使別人說這不對,也不要管婿牍,堅持干自己的就可以了侈贷。如果你的直覺很好的話,那么你終將獲得成功等脂;即使直覺不是很好俏蛮,也沒多大影響。
-
一定要不停地編程上遥。
通過不僅僅只是讀一篇論文嫁蛇,而是重新實現(xiàn)論文。因為當(dāng)你通過實現(xiàn)論文露该,你會發(fā)現(xiàn)其中有很多編程小技巧使得系統(tǒng)最后得以成功睬棚,這是很重要的。
關(guān)于研究生選導(dǎo)師解幼,盡量選擇和你有相同信仰抑党,相同想法的老師。這樣他能給你很多好的建議撵摆。
總結(jié)一下就是底靠,讀足夠文獻(xiàn)知道你開始產(chǎn)生自己的直覺,然后相信自己的直覺去實現(xiàn)它特铝,不要在意其他人是怎么說的暑中,因為他們說的都是沒什么意義的。
特別提一點鲫剿,當(dāng)你想出一個好主意鳄逾,而其他人都覺得很沒有意義,那么這就是一個非常好的主意的標(biāo)志灵莲。
Pieter Abbeel (深度強(qiáng)化學(xué)習(xí)大牛)
現(xiàn)在是一個進(jìn)入AI界很好的時機(jī)雕凹,有很多工作需求,也有很多事情你可以做政冻,比如選擇一個研究方向研究枚抵,或是建立自己新公司等等。
自學(xué)明场,不管你是在學(xué)校還是已經(jīng)工作了汽摹。這里有很多好的資源,吳教授的Machine Learning啊苦锨、Andrej Karpathy的深度學(xué)習(xí)課程啊逼泣、加州伯克利的深度強(qiáng)化學(xué)習(xí)課程啊...
自己動手做嫌套,不要光是看視頻。選一個自己喜歡的框架圾旨,如TensorFlow、Chainer魏蔗、 Theano砍的、 PyTorch 等等,然后開始自己寫代碼莺治。
是否取得Phd廓鞠,這要看你在哪邊能獲得更多的指導(dǎo)了。我更傾向于Phd谣旁。
Ian Goodfellow (生成對抗性網(wǎng)絡(luò)發(fā)明者床佳,深度學(xué)習(xí)教科書作者之一)
[圖片上傳失敗...(image-da3fa7-1536970128029)]
很多人認(rèn)為進(jìn)入AI界一定要獲得Phd學(xué)位,或者其他一些認(rèn)證榄审。但是我不認(rèn)為這真的重要砌们,你也可以通過編很好的代碼然后放在Github上,來獲得大量的關(guān)注搁进。我在OpenAI還有Google浪感,很多人都是這樣被雇用的。而且有時候?qū)懸粋€有用的軟件饼问,可能也比寫一篇好的論文簡單影兽。
一邊讀書和資料,一邊練習(xí)莱革,然后放在Github上峻堰。我認(rèn)為最好是邊讀書,邊嘗試實現(xiàn)一個項目盅视。你可以選擇在自己喜歡領(lǐng)域來實現(xiàn)捐名,也可以去網(wǎng)上找很多項目挑感興趣的重新實現(xiàn),如街景房牌識別器闹击。
Yoshua Bengio (深度學(xué)習(xí)加拿大黑手黨三人之一桐筏,也包括Hinton)
雖然深度學(xué)習(xí)研究人員和開發(fā)者的要求有很大不同,但是相同的一點是拇砰,需要大量閱讀梅忌,然后自己實踐練習(xí)。
特別是除破,不要光會使用框架牧氮,而對底層的原理一點都不了解。嘗試自己來實現(xiàn)一下底層瑰枫,即使沒有什么效率踱葛。這樣你才能夠真正理解丹莲,什么是有用的什么是沒用的。而且我還會要求進(jìn)一步尸诽,最好是自己用數(shù)學(xué)公式推導(dǎo)一遍甥材。試圖理解一切你所做的事情,問自己為什么要做這個性含,為什么其他人要做這個洲赵。
去讀ICLR的論文,能夠獲得一個很好的當(dāng)前該領(lǐng)域的發(fā)展概況商蕴。
讀論文時不要害怕數(shù)學(xué)公式叠萍,大量閱讀可以獲得一種直覺,然后公式就會自然而然變得很好理解绪商。
一個很好的消息就是苛谷,你不需要五年專業(yè)訓(xùn)練才能熟練掌握深度學(xué)習(xí),現(xiàn)在你有計算機(jī)和數(shù)學(xué)背景的話格郁,可能幾個月就可以了腹殿。有系統(tǒng)性的訓(xùn)練的話,六個月就夠了例书。
林元慶 (中國深度學(xué)習(xí)第一人赫蛇,百度深度學(xué)習(xí)實驗室主任)
可以先從一個開源框架學(xué)起,現(xiàn)在這里有很多網(wǎng)上的資源教你怎么用它們雾叭。
而且現(xiàn)在也有很多公開了的基準(zhǔn)實現(xiàn)案例悟耘,你可從這些很有經(jīng)驗的人寫的模型中學(xué)到很多。
Andrej Karpathy (特斯拉人工智能總監(jiān)织狐,深度學(xué)習(xí)重要旗手之一)
從底層自己來全部實現(xiàn)一遍暂幼,不要只知道抽象的概念。
這也是人們上我的cs231n時移迫,最感謝我的地方旺嬉。當(dāng)你實驗了底層的東西,那么你實現(xiàn)上層的東西時候就不會感覺到不適厨埋,因為你知道這下面都發(fā)生了什么邪媳。于是,你也能夠快速地調(diào)試自己的程序荡陷,快速的完善提高自己的模型雨效。
Ruslan Salakhutdinov (蘋果人工智能總監(jiān))
-
去嘗試各種各樣的事情,不要害怕去創(chuàng)新废赞,去解決困難問題徽龟。
舉個例子,當(dāng)我還是個研究生時唉地,因為神經(jīng)網(wǎng)絡(luò)是非凸系統(tǒng)据悔,所以很難優(yōu)化传透。我還記得和最優(yōu)化領(lǐng)域的朋友聊天時,他們總是說這些問題無法解決因為它們是非凸的极颓。但實際上朱盐,在我們實驗室,從來沒有人關(guān)心過這件事情菠隆,我們只想著怎么優(yōu)化然后獲得有趣的結(jié)果兵琳。反而是這樣推動了領(lǐng)域的發(fā)展。
不要只從頂層使用深度學(xué)習(xí)浸赫,要從底層來理解它們。
DeepLearning MOOCs:
- Coursera: Andrew Ng - Deep Learning ai
- Coursera: Geoffrey Hinton - Neural Networks for Machine Learning
- Udacity: Deep Learning Foundation Nanodegree
- Fast.ai course
- Université de Sherbrooke - Hugo Larochelle - Neural networks class
- Stanford: CS231n: Convolutional Neural Networks for Visual Recognition
- Stanford: CS224n: Natural Language Processing with Deep Learning
- Berkeley: CS 294: Deep Reinforcement Learning