From Import AI
作為自然語言處理領(lǐng)域相關(guān)淘捡，這期最關(guān)心的還是 TCN 在序列建模上的應(yīng)用。
自動化與經(jīng)濟(jì)：很復(fù)雜：
... AI技術(shù)來自何處池摧，為什么對印度來說自動化具有挑戰(zhàn)性焦除，等等...
在播客中，麥肯錫全球研究院 McKinsey Global Institute 的三名員工討論了自動化如何影響中國作彤，歐洲和印度膘魄。一些特別有趣的觀點如下：
- 由于中國勞動力市場已經(jīng)達(dá)到頂峰，而且與其他發(fā)達(dá)經(jīng)濟(jì)體的人口基數(shù)相似竭讳，中國有動力使自己的行業(yè)實現(xiàn)自動化创葡，從而提高勞動生產(chǎn)率。
- AI技術(shù)的供應(yīng)似乎來自美國和中國绢慢，而歐洲則滯后灿渴。
- “工作重組這個巨大的影響，采用這種技術(shù)的公司將不得不重新組織他們提供的工作類型，這么做會多么困難骚露？公司將不得不重組他們的工作方式蹬挤，以確保他們得到使用這種技術(shù)的成果〖遥”
- 印度可能會掙扎焰扳，因為它將數(shù)十億人轉(zhuǎn)移到農(nóng)業(yè)工作崗位上。 “我們必須在這樣一個時代進(jìn)行這種轉(zhuǎn)變：由于自動化在多種類型的制造業(yè)中扮演著更重要的角色误续，因此創(chuàng)造就業(yè)機會將變得更具挑戰(zhàn)性吨悍。”
更多：自動化將如何影響全球經(jīng)濟(jì)（麥肯錫全球研究所）蹋嵌。
可能比你想的要簡單：研究人員表示卷積網(wǎng)絡(luò)在很多方面擊敗循環(huán)網(wǎng)絡(luò)：
...簡化技術(shù)的不斷發(fā)展...
卡內(nèi)基梅隆大學(xué)和英特爾實驗室的研究人員已經(jīng)嚴(yán)格地比較了CNN（通過時序卷積網(wǎng)絡(luò)（Temporal Convolutional Network TCN）架構(gòu)育瓜，由 Wavenet 和最近的多項研究啟發(fā)）與序列模型架構(gòu)比如RNN的表現(xiàn)(包括LSTM和GRU)。
TCNs序列建模的優(yōu)點如下：
- 易并行化欣尼，而不是順序處理爆雹；
- 靈活可變的接受域;
- 穩(wěn)定的梯度;
- 對訓(xùn)練的內(nèi)存要求低;
- 可變長度輸入停蕉。
缺點包括：比RNN更大的數(shù)據(jù)存儲需求; 轉(zhuǎn)移到不同的數(shù)據(jù)域時需要使用參數(shù)愕鼓。
測試：
研究人員在多項序列建模任務(wù)中對比了TCN和RNN、LSTM等的表現(xiàn)慧起，從MNIST菇晃、到字級和字符級語言模型。 11個任務(wù)中的9個TCN多表現(xiàn)出了超出其他技術(shù)的表現(xiàn)蚓挤，剩下的其中一個大致與GRU相當(dāng)磺送，還有一個明顯次于LSTM（雖然仍排在第二位）。
發(fā)生了什么：
“循環(huán)網(wǎng)絡(luò)在序列建模中占的優(yōu)勢地位很可能成為歷史灿意。雖然直到最近估灿，引入擴(kuò)張卷積 (dilated convolutions) 和殘差連接前，卷積架構(gòu)還確實比較弱缤剧。但我們的結(jié)果表明馅袁，只要應(yīng)用這些新技巧，一個簡單的卷積架構(gòu)荒辕，也可以在多數(shù)任務(wù)比LSTM這樣的訓(xùn)話架構(gòu)更有效汗销。同時因為TCN相對來說的清晰性和簡潔性，我們認(rèn)為卷積網(wǎng)絡(luò)會是序列建模中強大的工具組“ 研究人員寫到抵窒。
為什么重要：
一個機器學(xué)習(xí)中最令人困惑的事情是弛针，它還完全是經(jīng)驗學(xué)習(xí)，新技術(shù)的出現(xiàn)只能用其在多項任務(wù)上的表現(xiàn)來評判李皇。類似此類的研究都暗示著削茁，很多這樣的新技術(shù)可能都過度復(fù)雜化了，往往我們只需要對一些基本的模塊進(jìn)行一些試調(diào)，就可以得出更好的結(jié)果茧跋，這在LSTM和GAN上也都能看到朦拖。從一方面來看這似乎是好的，因為簡單的模型的模型有更大的靈活性和泛化性厌衔。但是從另一方面璧帝，這也揭示了現(xiàn)在AI里面很多復(fù)雜度不過是因為這是門經(jīng)驗科學(xué)的結(jié)果導(dǎo)致的，而不是因為堅實的理論基礎(chǔ)富寿。
Code for the TCN used in the experiments here(GitHub).
DeepChem 2.0 騰空出“室”
...開源科學(xué)計算平臺發(fā)布其第二個主要版本...
DeepChem的作者已經(jīng)發(fā)布了科學(xué)計算的2.0版圖書館睬隶，帶來了TensorGraph API的改進(jìn)，新模型 页徐，分子分析的工具苏潜，教程調(diào)整和補充，以及一大堆
常規(guī)的改進(jìn)变勇。 DeepChem“旨在提供高質(zhì)量的開源工具鏈恤左，在藥物，材料科學(xué)搀绣，量子化學(xué)和生物學(xué)開發(fā)中實現(xiàn)了深度學(xué)習(xí)的民主化飞袋。”
更多：DeepChem 2.0版本說明.
更多：DeepChem網(wǎng)站.
谷歌研究人員利用神經(jīng)網(wǎng)絡(luò)解決內(nèi)存的預(yù)取問題：
...先是數(shù)據(jù)庫链患，現(xiàn)在是內(nèi)存...
人工智能的一個奇怪的潛在應(yīng)用是處理計算的基本方面巧鸭，比如說對數(shù)據(jù)庫進(jìn)行搜索或預(yù)取數(shù)據(jù)以提高性能的系統(tǒng)，這些系統(tǒng)大多數(shù)是學(xué)習(xí)的而不是預(yù)編程的麻捻。這就是谷歌最近的一篇論文所提出的纲仍，其試圖利用機器學(xué)習(xí)技術(shù)來解決預(yù)存問題，也就是"根據(jù)過去的歷史來預(yù)測高速緩存中不會用到的存儲部分”的過程贸毕。 預(yù)取是一個基本問題郑叠，因為預(yù)取越好，那么一端存儲在被使用前被載入到緩存的幾率也就越大明棍，這可以很大程度提高你系統(tǒng)的表現(xiàn)乡革。
工作原理：
預(yù)取可以學(xué)習(xí)嗎？ “預(yù)取基本上是個回歸問題击蹲。然而署拟，因為輸出空間既龐大又極其稀疏，使其不適合標(biāo)準(zhǔn)回歸模型“ Google研究人員寫道歌豺。相反推穷，他們轉(zhuǎn)而使用LSTM，并且發(fā)現(xiàn)在預(yù)存問題上其兩個變種能與人手動設(shè)置的系統(tǒng)性能相當(dāng)类咧。研究人員寫道：“第一個版本類似于標(biāo)準(zhǔn)語言模型馒铃，而第二個則利用內(nèi)存訪問空間的結(jié)構(gòu)蟹腾，以減少詞匯量并減少模型內(nèi)存占用∏睿” 他們用來自Google網(wǎng)絡(luò)搜索任務(wù)的數(shù)據(jù)來測試了系統(tǒng)娃殖，并展現(xiàn)出很強的性能。
“論文中的模型比起基于表格的方法议谷，展現(xiàn)出更高的精度和召回率炉爆。這項研究還激發(fā)了一系列這次探索沒解決的問題，我們將其留于未來研究“ 他們寫道卧晓。這項研究在思想上與Google去年秋天的一個研究類似芬首，利用神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)數(shù)據(jù)庫的索引結(jié)構(gòu)，并且取得了很好的表現(xiàn)逼裆。
一件奇怪的事情：
在開發(fā)他們的LSTM之一時郁稍，研究人員創(chuàng)建了一個系統(tǒng)攝取的程序計數(shù)器的 t-SNE 嵌入，并發(fā)現(xiàn)其學(xué)習(xí)到的特征包含了相當(dāng)多的信息胜宇。 “這個 t-SNE 的結(jié)果也展示了一個看待內(nèi)存訪問記錄的有趣視角耀怜，那就是把它看做是程序行為的一個反應(yīng)。一個記錄表示與程序的輸入輸出對有著根本的不同桐愉，而應(yīng)該把這些記錄表示看做是對整個復(fù)雜的人類編寫程序的表示财破。“ 他們寫道仅财。
更多：Learning Memory Access Patterns (Arxiv).
學(xué)會玩視頻游戲狈究，只需要幾分鐘而不是幾天！
...當(dāng)人工智能和分布式系統(tǒng)聚集在一起時盏求，好事發(fā)生了...
加州大學(xué)伯克利分校的研究人員提出了一種方法，通過從基礎(chǔ)計算基礎(chǔ)設(shè)施中盡可能地提高效率亿眠，進(jìn)一步優(yōu)化大規(guī)模訓(xùn)練AI算法碎罚。他們的新技術(shù)使智能體能夠在十分鐘內(nèi)在NVIDIA DGX-1（包含40個CPU和8個P100 GPUS）上訓(xùn)練強化學(xué)習(xí)代理，以掌握Atari游戲纳像。雖然這些算法的樣本效率仍然是遠(yuǎn)亞于人類（需要數(shù)百萬幀才能接近以數(shù)千至數(shù)萬幀為單位訓(xùn)練的人類的表現(xiàn)）荆烈，但有趣的是，我們現(xiàn)在能夠開發(fā)近似人類表現(xiàn)的算法竟趾，并且在相近的時間內(nèi)憔购。
結(jié)果：
研究人員表明，考慮到各種分布式系統(tǒng)對A2C岔帽，A3C玫鸟，PPO和APPO等算法的調(diào)整，幾分鐘內(nèi)即可在各種游戲中獲得良好的性能犀勒。
為什么重要：
目前屎飘，對于某些AI研究人員來說妥曲，計算機功能類似于望遠(yuǎn)鏡 - 望遠(yuǎn)鏡的尺寸越大，越看到各種AI算法的縮放屬性限制钦购。 我們?nèi)匀粵]有完全理解這里的限制檐盟，但是像這樣的研究表明，隨著新的計算基板單獨出現(xiàn)押桃，它可能能夠縮放RL算法葵萎，在相對較短的時間內(nèi)實現(xiàn)非常令人印象深刻的技藝。 但是現(xiàn)在仍然有很多未知 - 這是一個激動人心的時刻唱凯！ “我們還沒有確定地確定縮放的限制因素陌宿，也沒有確定每個游戲和算法的限制因素。雖然我們已經(jīng)看到了大批量學(xué)習(xí)中的優(yōu)化效果波丰，但我們并不知道它們的全部性質(zhì)壳坪，其他因素仍然有可能存在。異步縮放的限制仍然未被發(fā)現(xiàn);我們并沒有明確地確定這些算法的最佳配置掰烟，但只提供了一些成功的版本爽蝴，”他們寫道。
更多: Accelerated Methodsfor Deep Reinforcement Learning(Arxiv).
