??在今年3月的時(shí)候冠蒋，Yann LeCun?燕樂存訪問過自動(dòng)化所， 在清華做過報(bào)告梯浪。這次他要來上海了。 受上海交通大學(xué)邀請瓢娜， 他將于2017年7月4日挂洛，周二下午在閔行校區(qū)的做"Deep Learning and AI: Past, Present and Future"的報(bào)告！ 報(bào)名請點(diǎn)擊"閱讀原文"鏈接眠砾。
關(guān)于這個(gè)話題虏劲， 網(wǎng)上有個(gè)SAP的工程師 Lukas Masuch的報(bào)告
https://www.slideshare.net/LuMa921/deep-learning-the-past-present-and-future-of-artificial-intelligence 講的一般吧， 大家可以看下下褒颈，以后對比LeCun高明在哪里柒巫？
卷積神經(jīng)網(wǎng)絡(luò)的發(fā)明人
燕樂存一直以卷積神經(jīng)網(wǎng)絡(luò)CNN的發(fā)明人被世人知道。 但是谷丸， LSTM 發(fā)明人Juergen Schmidhuber指出堡掏，某種意義上， CNN不是 LeCun 發(fā)明的刨疼， 而是京都大學(xué)畢業(yè)的博士Kunihiko Fukushima在1980年的神經(jīng)網(wǎng)絡(luò)Neocognitron里面提出來的泉唁。 ?LeCun不過是把BP算法用在上面下下。 為此兩人爭論起來了揩慕，于是 LeCun有一個(gè)著名的論斷亭畜， 叫Recreate，回爐再造迎卤，重新發(fā)明~~~
Juergen Schmidhuber
而就是這個(gè)Recreate拴鸵，讓大部分人居然就接受了。 我們要高舉Recreate的大旗！１ψ佟侨糟！ 讓知識(shí)活起來碍扔，火起來~~~
其實(shí)瘩燥， 某種意義上Fukushima （ http://personalpage.flsi.or.jp/fukushima/index-e.html ）的Neocognitron的確意義巨大， 他當(dāng)時(shí)就有?"Selective Attention Model " 這個(gè)機(jī)制的說明不同。 ?不過總得來說厉膀， 深度學(xué)習(xí)的大旗是Hinton抗的（攢說 Geoff Hinton）， 圈子也是他創(chuàng)造的二拐， 而LeCun是他的博士后服鹅。 ?同時(shí)Schmidhuber和Fukushima都沒有一開始就在這個(gè)圈子里面混，就沒有辦法了百新。
MNIST手寫數(shù)字庫的創(chuàng)建者
樂存一開始的CNN網(wǎng)絡(luò)就是用在MNIST手寫數(shù)字識(shí)別上的(http://yann.lecun.com/exdb/mnist/) , 不過當(dāng)時(shí)CNN的效果的確不如SVM效果好企软。
這個(gè)就涉及到95年的時(shí)候，SVM的發(fā)明人Vapnik在蘇聯(lián)解體后饭望，來到美國仗哨，加入貝爾實(shí)驗(yàn)室， 然后SVM一下子爆火铅辞。Vapnik （參考機(jī)器學(xué)習(xí)背后的男人們）和他的老板Jackel的賭約厌漂，當(dāng)時(shí)的見證人就是LeCun，他們都是貝爾實(shí)驗(yàn)室的員工斟珊，其實(shí)LeCun在博士后之后的1988年就加入了貝爾實(shí)驗(yàn)室了苇倡，到1996年的時(shí)候，他已經(jīng)是圖像處理研究部的主任囤踩，這也就是打賭的前一年旨椒。 這也是為什么他要在圖像的手寫體上和SVM比較的理由。而到2000年堵漱，肯定是Vapnik勝了钩乍。沒想到再過15年后， 翻盤了怔锌。 而這距離賭約已經(jīng)20年了寥粹。
深度學(xué)習(xí)的巨頭
LeCun是1987年從UPMC獲得計(jì)算機(jī)博士學(xué)位之后，就跑到多倫多大學(xué)做了Hinton的博士后埃元，不到1年的時(shí)間涝涤， 他在1988年就去了貝爾實(shí)驗(yàn)室了。 然后這短暫的時(shí)間岛杀，為他之后的生涯帶來的極大的影響阔拳。 Hinton是一個(gè)能在一個(gè)領(lǐng)域堅(jiān)持三十年的人。 LeCun也深受影響。 之后一直在神經(jīng)網(wǎng)絡(luò)方向堅(jiān)持糊肠。
2014年辨宠， 他獲得了IEEE神經(jīng)網(wǎng)絡(luò)領(lǐng)軍人物獎(jiǎng)， 2015年货裹，他和Hinton還有Bengio一起在自然雜志上發(fā)表了深度學(xué)習(xí)的文章嗤形。 宣告深度學(xué)習(xí)時(shí)代的來領(lǐng)。
這個(gè)文章某種意義上弧圆，奠定了深度學(xué)習(xí)三巨頭的稱謂赋兵。 而這個(gè)Bengio其實(shí)也是貝爾實(shí)驗(yàn)室的。 他那時(shí)候和LeCun是同事搔预，不過他93年的時(shí)候去了學(xué)校當(dāng)老師霹期。 貝爾實(shí)驗(yàn)室真是養(yǎng)人的地方呀！Ｕ铩历造！ Bengio是另外一個(gè)大拿喬丹的博士后（參考喬丹上海行）。 ?2013年船庇， LeCun和Bengio共同搞了International Conference on Learning Representations ICLR的深度學(xué)習(xí)方向的會(huì)議吭产。 也的確是領(lǐng)頭人了！
而Andrew Ng吳恩達(dá)因?yàn)樯厦孢@個(gè)照片溢十，常常被稱為四巨頭垮刹， 就深度模型的貢獻(xiàn)而言， 個(gè)人感覺還是換成Schmidhuber比較好张弛。 的確Ng在優(yōu)化等方面也是很多貢獻(xiàn)的荒典！
Facebook的人工智能實(shí)驗(yàn)室的領(lǐng)頭人
后來facebook幾乎把貝爾實(shí)驗(yàn)室的圖片處理組接管了。 2013年吞鸭， 他被挖到facebook成立AI實(shí)驗(yàn)室寺董，稱為主任。 第二年刻剥，他就把Vapnik又挖過去了遮咖， 這樣Vapnik和LeCun這對老同事又Facebook亮起來了。
說起貝爾實(shí)驗(yàn)室造虏， 這個(gè)曾經(jīng)實(shí)際上超級(jí)牛的企業(yè)實(shí)驗(yàn)室御吞，衰落的太厲害了。 ?想當(dāng)年漓藕， 她的投資陶珠， 真是不遜于政府在高科技的方方面面的投資。 ?后來享钞，IBM和微軟吸取了教訓(xùn)揍诽， 不再養(yǎng)著科學(xué)隨意研究，物理化學(xué)天文等等都不允許了，必須和公司業(yè)務(wù)相關(guān)暑脆。 ?谷歌實(shí)驗(yàn)室更進(jìn)一步渠啤， 必須預(yù)計(jì)能給公司帶來利潤。 不知道Facebook的實(shí)驗(yàn)室未來的大戰(zhàn)略如何添吗？
小結(jié)：
歡迎樂存來上海沥曹， 一代牛人，很想去聽根资！
相關(guān)話題：
