? ? ? ?請注意一下題目播歼，我在這里談?wù)摰姆懂犑巧疃葯C(jī)器學(xué)習(xí)，換句話說掰读，線性回歸（LR）秘狞，邏輯回歸（LR），支持向量機(jī)（SVM）蹈集，K-Means烁试，決策樹（DT），隨機(jī)森林（RT）拢肆，主成分分析（PCA）等等機(jī)器學(xué)習(xí)并不在這個討論之列减响，只有以仿真動物腦神經(jīng)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)（CNN），循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）郭怪，全連接神經(jīng)網(wǎng)絡(luò)（FCN）以及它們之間各種組合支示，變種在此討論之列，這是個非常窄的范圍鄙才。為什么我放著汗牛充棟的成熟機(jī)器學(xué)習(xí)理論和實(shí)踐颂鸿，卻專門談?wù)撋疃葯C(jī)器學(xué)習(xí)呢？因?yàn)樵?016年9月21日攒庵，蒙特利爾舉辦的CDLM大會上嘴纺，我的大神Yoshua Bengio宣稱：“未來沒有什么可以和深度學(xué)習(xí)競爭的機(jī)器學(xué)習(xí)技術(shù)了”败晴，就這么簡單，沒有理由颖医，我的大神說了位衩。
? ? ? ?因此，接下來我們可以放心的在深度學(xué)習(xí)這個看上去很專一熔萧，但是實(shí)際上一樣是百花齊放的領(lǐng)域去構(gòu)建能力模型糖驴。能力模型這個東西是我在埃森哲做咨詢規(guī)劃的時候?qū)W習(xí)到的一個重要概念。從邏輯上來說佛致，達(dá)成目標(biāo)贮缕，需要具備相應(yīng)的能力，能力和目的于是形成了有效的映射俺榆，所以我們建立能力模型的目的是響應(yīng)我上一篇文章《人工智能新解》里面提到的感昼，羅馬不是一天建成的，那么羅馬是怎么一天一天的建成的罐脊，能力模型就是最好設(shè)定里程碑定嗓，或者階段性成果的方式。
? ? ? ?細(xì)心的讀者可能注意到萍桌，我在《人工智能新解》里面并沒有區(qū)分深度機(jī)器學(xué)習(xí)和機(jī)器學(xué)習(xí)宵溅，而在這里我強(qiáng)調(diào)了深度機(jī)器學(xué)習(xí)。這是因?yàn)樽鳛槌ＷR上炎，我認(rèn)為在能力模型的基礎(chǔ)是一切非深度機(jī)器學(xué)習(xí)技術(shù)恃逻，這都是在過去將近60年不斷演進(jìn)發(fā)展成熟的技術(shù)，Garnter曾經(jīng)有一張技術(shù)演進(jìn)圖展示了這一成果藕施，可惜我沒有花錢訂閱寇损，雖然我看過，但是版權(quán)問題我不能在文章里面展示出來裳食。不知不覺矛市，我已經(jīng)給出了第一個級別的能力，0級诲祸。它的存在只是作為整個深度機(jī)器學(xué)習(xí)能力模型的基礎(chǔ)尘盼，M級的能力是分類和聚類。
? ? ? ?接下來的能級是1級烦绳，這就是使用巨維向量作為輸入實(shí)現(xiàn)分類的無狀態(tài)神經(jīng)網(wǎng)絡(luò)，它們的能力全靠訓(xùn)練的數(shù)據(jù)集的質(zhì)量配紫。典型的代表是全連接神經(jīng)網(wǎng)絡(luò)（FCN）径密，當(dāng)紅炸子雞卷積神經(jīng)網(wǎng)絡(luò)（CNN）以及它們不帶記憶的組合。
? ? ? ?上面我已經(jīng)提到了“不帶記憶”的組合躺孝，這就把LSTM（Not_GOD翻譯的《理解LSTM網(wǎng)絡(luò)》可以去看看）享扔，這個1997年就提出來底桂，但是到了最近才大紅大紫的技術(shù)當(dāng)成1級能力之上的2級來看待了。2級能力是在分類能力的基礎(chǔ)上進(jìn)行記憶惧眠，神經(jīng)網(wǎng)絡(luò)不僅僅是計算網(wǎng)絡(luò)籽懦，也是存儲網(wǎng)絡(luò)。大名鼎鼎谷歌旗下的DeepMind的神經(jīng)圖靈機(jī)（NMT）和最新發(fā)表的可微分神經(jīng)網(wǎng)絡(luò)（DNC）都是帶有存儲能力的氛魁。
? ? ? ?接下來要描述的能力暮顺，我，戴德曼準(zhǔn)備好各位的磚頭和口水秀存。因?yàn)槲也徽J(rèn)為目前有人已經(jīng)做成這樣的神經(jīng)網(wǎng)絡(luò)捶码，能夠夠得上邊的，微軟的知識圖譜（MCG）和概念標(biāo)簽?zāi)Ｐ停∕CT）或链。這是依靠蠻力從數(shù)以億計的網(wǎng)頁和多年積累的搜索日志提取出來的分類和標(biāo)簽惫恼，但是并沒有完全和神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，至少我沒有在CNTK里面看到類似的研究澳盐，如果未來真的是CNTK內(nèi)置MCG和MCT祈纯，那就算是我提前建議的吧。因此叼耙，我認(rèn)為第3級能力是神經(jīng)網(wǎng)絡(luò)是構(gòu)建在知識庫基礎(chǔ)上的帶存儲的系統(tǒng)腕窥。這個存儲不是原始的數(shù)據(jù)參數(shù)，或者特征提取物旬蟋，而是知識油昂，或者說符號化的數(shù)據(jù)特征體系。
我在區(qū)分一級和另一級能力的時候特別重視上層網(wǎng)絡(luò)具備下層網(wǎng)絡(luò)的能力還要有所進(jìn)步倾贰。因此冕碟，第4級能力的網(wǎng)絡(luò)，相比第3級而言匆浙，肯定是攜帶知識庫的網(wǎng)絡(luò)安寺，但是厲害了word神經(jīng)網(wǎng)絡(luò)，這可是可以自我學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)首尼。也就是神經(jīng)網(wǎng)絡(luò)自己豐富自己攜帶的知識庫√羰現(xiàn)在有這樣的技術(shù)嗎？我認(rèn)為未來會有软能，所以我認(rèn)為這就是第4級迎捺。
? ? ? ?再往上，我都不敢想神經(jīng)網(wǎng)絡(luò)會發(fā)展成什么樣子查排。因?yàn)橹紊窠?jīng)網(wǎng)絡(luò)的計算基礎(chǔ)可能會發(fā)生變化凳枝，生物科技，神經(jīng)細(xì)胞學(xué)的新發(fā)現(xiàn)可能會跳過無數(shù)的數(shù)學(xué)推理，直接把精巧的生物神經(jīng)架構(gòu)呈現(xiàn)給我們岖瑰；量子科技叛买，量子計算機(jī)發(fā)展可能會極大提高神經(jīng)網(wǎng)絡(luò)的計算力，現(xiàn)在你我的筆記本運(yùn)行15層網(wǎng)絡(luò)就不堪重負(fù)蹋订，而量子計算可能直接讓上千上萬層網(wǎng)絡(luò)的計算彈指一揮間完成率挣。所以我不再自以為是的再分什么第5級，第6級露戒。我把這個分類開放椒功，留待時間去證明，但是我猜想玫锋，如同我們身體內(nèi)的細(xì)胞有分工合作的紅細(xì)胞蛾茉，白細(xì)胞等等，未來高級的神經(jīng)網(wǎng)絡(luò)已定是分工合作撩鹿，自學(xué)習(xí)谦炬，自組織的。我們現(xiàn)在比較類似的雛形是對抗網(wǎng)絡(luò)节沦，但是遠(yuǎn)遠(yuǎn)還不能達(dá)到這個第5級键思。
? ? ? ?到這里，讓我們回顧一下：第0級甫贯，如同草履蟲般的各類單細(xì)胞原始形態(tài)機(jī)器學(xué)習(xí)吼鳞；第1級，如同水螅一樣的分類神經(jīng)網(wǎng)絡(luò)叫搁，但是沒有記憶赔桌；第2級，攜帶狀態(tài)的神經(jīng)網(wǎng)絡(luò)渴逻；第3級疾党，攜帶知識的神經(jīng)網(wǎng)絡(luò)；第4級惨奕，能夠自我學(xué)習(xí)豐富攜帶知識的神經(jīng)網(wǎng)絡(luò)雪位；開放給更復(fù)雜協(xié)作網(wǎng)絡(luò)群落。
這里我埋一個坑梨撞，以后有機(jī)會講雹洗，那就是我沒有提到強(qiáng)化學(xué)習(xí)。
