Deep Learning est mort. Vive Differentiable Programming!
---Yann LeCun
翻譯成中文就是：深度學習已死视乐，可微分編程萬歲票灰！
為什么這么說呢?
image.png
但重點的是，人們現(xiàn)在正通過組裝參數(shù)化功能模塊網(wǎng)絡(luò)湖员，構(gòu)建一種新軟件，并用某種基于梯度優(yōu)化的方法來訓練它們瑞驱。
越來越多的人正在以一種依賴于數(shù)據(jù)的方式（循環(huán)和條件）來程序化定義網(wǎng)絡(luò)娘摔，讓它們隨著輸入數(shù)據(jù)的動態(tài)變化而變化。這與普通的程序非常類似钱烟，除了前者是參數(shù)化的晰筛、可以自動可微分嫡丙，并且可訓練和優(yōu)化拴袭。動態(tài)網(wǎng)絡(luò)變得越來越流行（尤其是對于NLP），這要歸功于PyTorch和Chainer等深度學習框架（注意：早在1994年曙博，之前的深度學習框架Lush拥刻，就能處理一種稱為Graph Transformer Networks的特殊動態(tài)網(wǎng)絡(luò)，用于文本識別）父泳。
現(xiàn)在人們正在積極研究開發(fā)命令式可微分編程語言編譯器般哼，這對開發(fā)基于學習的AI（learning-based AI）來說是一條非常令人興奮的途徑。
