學(xué)深度學(xué)習(xí)翠桦，可能“彎道超車”嗎横蜒？

困惑

深度學(xué)習(xí)的初學(xué)者，總會在學(xué)習(xí)路徑上遇到困惑销凑。

先是那群框架丛晌，就讓你不知道該從哪兒著手。

一堆書籍斗幼，也讓你猶豫如何選擇澎蛛。

即便你去咨詢專業(yè)人士，他們也總會輕飄飄地告訴你一句“先學(xué)好數(shù)學(xué)”孟岛。

怎樣算是學(xué)好瓶竭？

對方會給你羅列出一堆大學(xué)數(shù)學(xué)課程名稱。直到你徹底放棄學(xué)習(xí)的想法渠羞。

真要是按照他們的要求斤贰，按部就班去學(xué)，沒有個幾年功夫次询，你連數(shù)學(xué)和編程基礎(chǔ)都打不完荧恍。

可到那時候，許多“低垂的果實(shí)”還在嗎？

其實(shí)送巡，Sylvain Gugger （數(shù)學(xué)專業(yè)出身摹菠，自學(xué)深度學(xué)習(xí)，一年時間成為 fast.ai 的研究科學(xué)家）說了一段真話（鏈接在這里）骗爆。

把我常用的那個例子次氨，再給你舉一遍。

如果你想造汽車摘投，恐怕要有多少年的理論功底煮寡，以及技術(shù)實(shí)踐。

但如果你只是想開汽車犀呼，卻是很快就能學(xué)會幸撕。

當(dāng)個司機(jī)，你需要去了解汽油發(fā)動機(jī)原理嗎外臂？

不需要坐儿。

因?yàn)槟汩_的車，甚至有可能根本就用不上汽油發(fā)動機(jī)（電動車）宋光。

深度學(xué)習(xí)貌矿，底層實(shí)際結(jié)構(gòu)很復(fù)雜。

上圖還只是模塊示意圖哦站叼。

然而菇民，作為應(yīng)用者，你只需要一兩行代碼第练，就能實(shí)現(xiàn)上述神經(jīng)網(wǎng)絡(luò)。加上數(shù)據(jù)讀取和模型訓(xùn)練娇掏，也不過十行左右的代碼。

不信婴梧？

你可以參考我的《如何用 Python 和 fast.ai 做圖像深度遷移學(xué)習(xí)下梢？》

感謝科技的進(jìn)步孽江，深度學(xué)習(xí)的用戶接口番电，越來越像搭積木。

只要你投入適當(dāng)?shù)膶W(xué)習(xí)成本婉烟，就總是能很快學(xué)會的似袁。

這種成本率碾，究竟要投入多少呢所宰？

成本

Jeremy Howard 的答案仔粥，是 7 節(jié)課蟹但。

我在《如何用 Python 和深度遷移學(xué)習(xí)做文本分類华糖？》一文中，給你介紹過他的研究論文“用于文本分類的通用語言模型微調(diào)（ULMFiT）”诵竭。

與其說他是研究人員卵慰，倒不如說他是個老師裳朋。

Jeremy 看到許多普通人鲤嫡，被深度學(xué)習(xí)的高門檻攔在外面绑莺，很不愉快紊撕。

于是他研發(fā)了基于 Pytorch 的 fast.ai深度學(xué)習(xí)框架。

這個框架的特點(diǎn)是：幾條語句惭缰，就能做出前沿水平（state of the art）的深度學(xué)習(xí)模型漱受。

依據(jù)該框架昂羡，他還做了系列 MOOC 虐先，現(xiàn)在在深度學(xué)習(xí)領(lǐng)域非常知名蛹批。

我給你寫這一篇文章腐芍，是因?yàn)樵缟峡匆娛怎铮琂eremy 發(fā)了一條消息颠蕴，大家期待已久的2019版本Practical Deep Learning for Coders課程終于上線了裁替。

按照課程要求弱判，每周上一節(jié)課昌腰，視頻看下來遭商，大約需要2個多小時劫流。

外加每周10個小時左右的練習(xí)時間丛忆。

7周之后，你就算結(jié)課了诗力。

學(xué)這課程苇本，需要的基礎(chǔ)是什么瓣窄？

機(jī)器學(xué)習(xí)俺夕？不需要啥么。

深度學(xué)習(xí)贰逾？更不需要疙剑。

編程經(jīng)驗(yàn)言缤？這個確實(shí)需要管挟，大概一年左右僻孝。如果你用的編程語言，恰好是 Python 您单，那就最好了虐秦。學(xué)的是其他語言也不要緊悦陋。因?yàn)?Python 是可以很快掌握的叨恨，就如同我在《學(xué) Python 痒钝，能提升你的競爭力嗎送矩？》一文中跟你說的那樣。

對了菇怀，還有數(shù)學(xué)呢爱沟？

只需要高中數(shù)學(xué)（對應(yīng)美國教學(xué)大綱呼伸，你懂的）知識括享，就夠了铃辖。

教學(xué)過程中娇斩，對于高等數(shù)學(xué)成洗，如果需要瓶殃，視頻里會即時補(bǔ)充副签。

以上是你需要花費(fèi)的時間成本和前導(dǎo)條件。

經(jīng)濟(jì)成本呢家浇？

課程的教學(xué)視頻是免費(fèi)的钢悲。

內(nèi)容

這一版的 MOOC 莺琳，都包括哪些內(nèi)容呢惭等？

在這個頁面辞做， Jeremy 做了介紹秤茅。

課程主要包含以下模塊：

機(jī)器視覺（例如動物識別）

圖片分類

圖片分割

圖片關(guān)鍵點(diǎn)

自然語言處理（例如影片評論情感分析）

語言模型

文檔分類

表格數(shù)據(jù)分析（例如銷售預(yù)測）

類別數(shù)據(jù)

連續(xù)數(shù)據(jù)

協(xié)同過濾（例如影片推薦）

下面嫂伞，用幾張截圖，給你展示一下能學(xué)到什么粪般。

這是對卷積神經(jīng)網(wǎng)絡(luò)工作原理的解釋亩歹。

這是圖片分割的效果。

你能學(xué)會如何對模糊圖片進(jìn)行增強(qiáng)顾稀。

以及如何訓(xùn)練語言模型和下游分類任務(wù)静秆。

課程涵蓋的知識點(diǎn)扶认，包括但不限于以下內(nèi)容：

怎么樣辐宾？足夠有用叠纹，也足夠前沿吧吊洼？

效果

你可能很關(guān)心冒窍，花了7周時間學(xué)完之后综液，效果會怎么樣儒飒？

Jeremy 自己表示桩了，課程里面有些前沿內(nèi)容井誉，還沒有在學(xué)術(shù)期刊上發(fā)表颗圣。

如果你是學(xué)術(shù)圈人士在岂，看了這句話蔽午，應(yīng)該微微一笑——吹吧及老！怎么可能？傻嗎尉咕？

但這個 Jeremy 年缎，以前真這么干過单芜。

前面提的他那篇 ULMfit 語言模型論文洲鸠，你應(yīng)該還有印象吧扒腕？

注意，Jeremy 不是像很多學(xué)者那樣蹋盆，先發(fā)表了論文栖雾，然后才把內(nèi)容在課程中講授的岩灭。

雖然是在舊金山大學(xué)教書赂鲤，但是 Jeremy Howard 對于寫論文的興趣無限趨近于0.

他在上課的過程中，對于最新的機(jī)器學(xué)習(xí)研究旁征博引梗顺，帶著一群初學(xué)者仑鸥，游走在學(xué)科的邊緣上眼俊。

他直接在自己的課程中講了 ULMfit 這種方法疮胖，鼓勵學(xué)生去試澎灸。

他展示的語言模型遷移學(xué)習(xí)分類效果性昭，許多已經(jīng)超過目前最優(yōu)水平糜颠。

他發(fā)現(xiàn)許多顯而易見的東西鞠抑，居然都沒有人嘗試過搁拙，更沒有人發(fā)表過箕速。

于是盐茎，授課之余字柠，他經(jīng)常跑到人家深度學(xué)習(xí)圈兒里面窑业，扔一兩個想法和實(shí)踐效果進(jìn)去常柄，不過基本上沒人搭理他西潘。

原因很簡單喷市，學(xué)術(shù)界也是有路徑依賴的东抹。

讓人家專家學(xué)者放著大路不走缭黔，試你這野路子别渔？

好在哎媚，具有真有一位自然語言處理領(lǐng)域的活躍學(xué)者拨与，來找他聊天兒买喧。說對他提的這種新自然語言處理深度學(xué)習(xí)方法淤毛，很感興趣低淡。

他挺開心的蔗蹋，倆人就聊，越聊越投機(jī)。

然后称鳞，這個叫做 Sebastian Ruder 的人冈止，就提出來“既然你這想法熙暴，學(xué)術(shù)圈別人沒試過，咱們合寫論文吧周霉！”

想起來了吧掂器？我在知識星球里，曾經(jīng)為你介紹過這家伙俱箱，以及他那份著名的 NLP 前沿進(jìn)展匯總国瓮。

面對 Sebastian 伸過來的橄欖枝，Jeremy 如何表態(tài)呢狞谱？

他立即回答：

No!

我才不寫那玩意兒！

Sebastian Ruder 于是使盡渾身解數(shù)跟衅，附加了以下條件：

你不需要給論文里面寫一個字孵睬。只提供想法和代碼就可以；

我?guī)湍惆阉暾D(zhuǎn)換成為學(xué)術(shù)論文格式伶跷，用嚴(yán)謹(jǐn)?shù)姆绞郊右杂懻摚?/p>

咱們第一時間把論文放到預(yù)印本平臺掰读，并投稿自然語言處理領(lǐng)域的高水平會議，以便讓更多人能免費(fèi)閱讀撩穿，并因此獲得收益磷支。

Jeremy終于同意了。

這篇論文被 ACL 接收后食寡，收獲大量關(guān)注雾狈。

更有趣的是，當(dāng)初無人問津的方法抵皱，人們真的嚴(yán)肅嘗試后善榛，獲得的獎項一個接一個。

我在《如何用 Python 和深度遷移學(xué)習(xí)做文本分類呻畸？》一文中移盆，給你講到過，Czapla 等人伤为，就利用這種方法咒循，輕松贏得了波蘭語信息檢索比賽 PolEval'18 的第一名据途，他們的模型效果，領(lǐng)先第二名 35% 叙甸。

這時候颖医，回過頭來，再看 Jeremy 那句“課程里面有些前沿內(nèi)容裆蒸，還沒有在學(xué)術(shù)期刊上發(fā)表”熔萧，你明白意味著什么了吧？

資源

篤定決心要學(xué)的話僚祷，我們來說說如何上這門免費(fèi) MOOC 吧佛致。

如果你使用筆記本電腦，可以點(diǎn)擊這個鏈接辙谜，直接訪問課程的視頻俺榆。

有意思的是，這一版課程筷弦，包含了新的視頻播放器肋演。最大的特點(diǎn)是，你可以用內(nèi)置內(nèi)容搜索的功能烂琴，直接定位到感興趣的段落爹殊。這樣，找起內(nèi)容和知識點(diǎn)來奸绷，方便多了吧梗夸？

如果你用移動設(shè)備學(xué)習(xí)，這個播放器可能無法正常使用号醉。沒關(guān)系反症，你可以訪問這個播放列表頁面，直接看視頻。

不僅如此，為了讓你能夠用上 GPU 來實(shí)踐深度學(xué)習(xí)闷尿，課程還專門在配套網(wǎng)站上為你提供了詳細(xì)的分步教程。

夠貼心吧胞谈？

我個人比較推薦其中的 Google Colab 和 Google Cloud Platform。前者免費(fèi)憨愉，后者雖然有開銷（每小時需要 0.38 美元）烦绳，但如果你是新用戶，Google 會先送給你300美金配紫，1年內(nèi)有效径密。足夠你學(xué)完這門課了。

我專門寫了個步驟詳細(xì)的教程躺孝，教你如何用 Google Cloud Platform 跑 fast.ai 課程的練習(xí)享扔，你可以訪問這個鏈接查看底桂。

多囑咐一句，課程的論壇惧眠，一定要經(jīng)常查看戚啥。

上面各路高手經(jīng)常就課程相關(guān)內(nèi)容，有些甚至是非常前沿的技術(shù)進(jìn)行切磋锉试。你在一邊觀看，都可以獲益良多览濒。

如果你有問題呆盖，也不妨拋出來。論壇活躍度很高贷笛，“同學(xué)們”會很樂意幫助你的应又。

激勵

不少人試圖去了解 fast.ai 的商業(yè)模式，于是問 Jeremy 乏苦。

他直接告訴大家：我們的商業(yè)模式株扛，是花自己的錢做事，幫人們學(xué)深度學(xué)習(xí)汇荐。連資助我們都不要洞就。

順便說一句，fast.ai 的 slogan 是這樣的：

翻譯過來就是掀淘，讓神經(jīng)網(wǎng)絡(luò)變得不再酷旬蟋。

在別人刻意制造信息與技術(shù)的鴻溝時，偏偏有人認(rèn)為革娄，人工智能應(yīng)該能幫助更多人倾贰，而不是只讓少數(shù)技術(shù)領(lǐng)先者和巨頭獲益。

說到這里拦惋，你可能會疑惑匆浙，這個 Jeremy Howard 怎么這么奇怪？

世人一直追逐的兩件事厕妖，不就是名和利嗎首尼？

論文發(fā)表，就是名叹放，多少人每天想的饰恕，不就是論文、論文井仰、論文嗎埋嵌？

人家都關(guān)心怎么知識變現(xiàn)，也就是利俱恶，他為什么不拿資助雹嗦，不賺錢范舀，還搭上自己的錢來做這件事？

他這么兢兢業(yè)業(yè)了罪，為了課程設(shè)計和 fast.ai 框架演進(jìn)锭环，真是做到了廢寢忘食，殫精竭慮泊藕。

2018的 Cutting Edge Deep Learning for Coders 里辅辩，經(jīng)常有這樣的情況。晚上要上課娃圆， Jeremy 中午飯都沒吃玫锋，一直在嘗試最前沿的方法，以便能把最新的技能傳授給學(xué)生讼呢。

看得出來撩鹿，他很疲憊。但是課上他的笑容悦屏，是滿足而真誠的节沦。

為什么面對名利，Jeremy 如此拒絕呢础爬？

給你半分鐘甫贯，思考一下。

……

以下是答案公布時間看蚜。

不要名利获搏，是因?yàn)樗?b>不缺那些東西。

在 Wikipedia 上面失乾，有好幾個 Jeremy Howard 常熙。其中咱們提到的這位，頁面是這樣的：

他最為人知的身份碱茁，是企業(yè)家裸卫。

再看看這段早年經(jīng)歷：

19歲，別人才剛開始上大學(xué)的年紀(jì)纽竣，Jeremy 已經(jīng)在麥肯錫年入20萬美元了墓贿。

再看這段，更為傳奇：

一個管理咨詢界的人物蜓氨，跑去 Kaggle 參賽聋袋，結(jié)果因?yàn)槌煽兲茫荒旰缶统闪?Kaggle 的主席和首席科學(xué)家穴吹。

至于名聲幽勒，你看看這段2014年的 TED 演講，就知道他到底有多知名港令。

詳細(xì)介紹在這里啥容。感興趣的話锈颗，你可以自己去看看，勵志一下咪惠。

我們總以為击吱，要用足夠的激勵，讓人們做出最大的產(chǎn)出貢獻(xiàn)遥昧。

但是覆醇，許多最有影響力的優(yōu)質(zhì)產(chǎn)出，恰恰是那些根本對外部激勵無感的人做出的炭臭。

這是不是值得制度設(shè)計領(lǐng)域的研究者叫乌，以及大型組織機(jī)構(gòu)的管理者們思考一下呢？

關(guān)于英語

沒錯徽缚，課程是英文的。

別抱怨了革屠。

沒用凿试。

你在抱怨的時候，那些花時間學(xué)英語的人似芝，已經(jīng)悄悄跑到你前面去了那婉。

學(xué)吧。

我給自己的研究生党瓮，寫過一篇英語學(xué)習(xí)方法介紹文章详炬，叫做《寫給我即將入學(xué)的研究生（英語學(xué)習(xí)篇）》。你要是感興趣的話寞奸，不妨讀讀呛谜。希望對你學(xué)英語有幫助。

祝深度學(xué)習(xí)愉快枪萄！

作者：王樹義

鏈接：http://www.reibang.com/p/86df5d18f0df

來源：簡書

簡書著作權(quán)歸作者所有隐岛，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。