最近在倫敦圖靈學(xué)院附近蒋荚，無(wú)意中聽(tīng)到有人說(shuō)，“它聞起來(lái)像是……“的教學(xué)方法很棒期升。圖靈研究所對(duì)這種方法很感興趣互躬。這種氣味教學(xué)法是一種新的學(xué)習(xí)方法，它是一種深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式吼渡，深度學(xué)習(xí)正在改變我們思考學(xué)習(xí)的方式，他們的一些技巧與心理學(xué)家多年來(lái)所描述的并沒(méi)有什么不同坎背。但它的實(shí)際應(yīng)用是非常好的，因?yàn)橥ㄟ^(guò)這種方法得滤，我們接觸的都是這個(gè)世界足夠熟悉的懂更，讓舊的想法開(kāi)始以新的方式出現(xiàn)眨业，變得更有意義沮协。

以“Gavagai問(wèn)題”為例皂股，這個(gè)問(wèn)題在哲學(xué)家和發(fā)展心理學(xué)家中已經(jīng)存在多年了墅茉。假設(shè)你在國(guó)外旅行呜呐，遇到一群說(shuō)你從未聽(tīng)說(shuō)過(guò)的語(yǔ)言的人。有人指著玉米地喊道：“semomo洋机！”

你順著他的手看去洋魂，那里有玉米，那里是一條路副砍。那里有一些牲畜。那里有一輛拖拉機(jī)角骤。那他喊的“semomo”是什么意思心剥？

現(xiàn)在假設(shè)稍后有人為你提供了一些肉食。 當(dāng)他們把肉食遞給你時(shí)优烧，他說(shuō)，“semomo又沾。”

你現(xiàn)在開(kāi)始明白了捍掺。semomo可能是指某種動(dòng)物，也許是你在田野里看到的一些牲畜。也許是羊喂柒。

兒童發(fā)展研究人員喜歡這個(gè)問(wèn)題，因?yàn)樗莾和_(kāi)始學(xué)習(xí)語(yǔ)言時(shí)必須面對(duì)的問(wèn)題的特征蚊丐。他們稱之為解決這個(gè)問(wèn)題所需的學(xué)習(xí)方式艳吠。跨情境學(xué)習(xí)是通過(guò)在不同的語(yǔ)境中聽(tīng)到同一個(gè)詞，最終確定這個(gè)詞所指的是什么昭娩。如果有人說(shuō)semomo周圍沒(méi)有羊，你應(yīng)該開(kāi)始懷疑了呛梆。

跨情境學(xué)習(xí)也是一種統(tǒng)計(jì)學(xué)習(xí)磕诊。在這樣的環(huán)境中學(xué)習(xí)所需要的是跟蹤環(huán)境中事物之間的統(tǒng)計(jì)數(shù)據(jù)，在這種情況下滞磺，用來(lái)描述它們的詞匯莱褒。大腦基本上解決了一個(gè)統(tǒng)計(jì)問(wèn)題。不需要天生的語(yǔ)言學(xué)習(xí)機(jī)制保礼。

深度學(xué)習(xí)算法似乎以同樣的方式學(xué)習(xí)信息。最近有一種顯著的理論被稱為信息瓶頸理論(納夫塔利-提斯比Naftali Tishby是這一理論最有力的支持者之一目派，他在最近的一次演講中很好地描述了這一理論)

基本思想是胁赢，如果您試圖在兩個(gè)對(duì)象之間創(chuàng)建一個(gè)映射，比如semomo和sheep這兩個(gè)對(duì)象，那么一個(gè)最優(yōu)算法所需要的是一種方法來(lái)確定與所有包含羊的情況相關(guān)的東西徒河。在這種情況下送漠， 在這種情況下相關(guān)意味著他們?nèi)匀活A(yù)測(cè)semomo這個(gè)詞。盡管該算法最初并不知道代兵，但通過(guò)過(guò)濾掉不需要的信息的過(guò)程爷狈，它最終會(huì)發(fā)現(xiàn)semomo意味著綿羊，而不是田地涎永，玉米或藍(lán)天。

這是在克勞德·香農(nóng)Claude Shannon的基礎(chǔ)理論上的進(jìn)步探索谷饿。香農(nóng)在他的理論表述中沒(méi)有包括任何關(guān)于語(yǔ)義學(xué)或一致性的內(nèi)容拷淘。他的主要貢獻(xiàn)是將信息減少到0和1，以及計(jì)算出有多少信息的數(shù)學(xué)公式启涯。這構(gòu)成了現(xiàn)代計(jì)算的基礎(chǔ)，但并不能完全解決Gavagai問(wèn)題黎做。

提斯比Tishby和他的合作者諾加？諾扎-斯拉夫斯基Noga Zaslavsky和拉維德-施瓦茲齊夫Ravid Shwartz一起描述了深度神經(jīng)網(wǎng)絡(luò)作為一個(gè)擬合然后壓縮的過(guò)程蒸殿。在適應(yīng)磨合階段鸣峭，網(wǎng)絡(luò)學(xué)習(xí)標(biāo)記訓(xùn)練數(shù)據(jù)(例如一系列圖像中的數(shù)據(jù))。在壓縮期間爬骤，網(wǎng)絡(luò)嘗試標(biāo)記新數(shù)據(jù)并使用它來(lái)提高其性能莫换。 (他們的進(jìn)步是在數(shù)學(xué)上推導(dǎo)出骤铃，深度神經(jīng)網(wǎng)絡(luò)中的最優(yōu)壓縮極限坷剧，然后通過(guò)實(shí)驗(yàn)驗(yàn)證這正是這種網(wǎng)絡(luò)所做的。)

孩子們也這樣做撕瞧。 孩子們非常善于學(xué)習(xí)像“馬”這樣的單詞雅任，是因?yàn)樗麄儎?dòng)物書中有馬的圖片和正確的單詞。 然后他們繼續(xù)使用這個(gè)詞來(lái)標(biāo)記所有四足動(dòng)物沪么，狗锌半，貓禽车，牛等等。 這稱為過(guò)度概括刊殉。 但隨著時(shí)間的推移殉摔，孩子們會(huì)發(fā)現(xiàn)“馬”具有更具體的意義。 這聽(tīng)起來(lái)很像提斯比Tishby的壓縮階段记焊。

因此逸月，深度神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)至少與兒童的學(xué)習(xí)方式有一些共同之處。它可能有很多共同的東西遍膜，而且可能不僅僅是和孩子們一起分享碗硬。成年人在了解新概念的含義時(shí)往往過(guò)于概括。他們學(xué)習(xí)了一些像'認(rèn)知失調(diào)'這樣的詞瓢颅，他們開(kāi)始在任何地方看到它恩尾，無(wú)論它是否存在。 過(guò)度概括不良理論正是優(yōu)秀的科學(xué)家們所是嘗試做的挽懦。 正如費(fèi)曼所說(shuō)：“科學(xué)是在專家的無(wú)知時(shí)候的信念” 這句話現(xiàn)在感覺(jué)有點(diǎn)危險(xiǎn)翰意，但足以說(shuō)科學(xué)家是糾正錯(cuò)誤的專家。 他們這樣做是有目的信柿，深層神經(jīng)網(wǎng)絡(luò)的強(qiáng)大之處在于，他們似乎能夠讓人類更快地從錯(cuò)誤中吸取教訓(xùn)渔嚷。

參考文獻(xiàn)

Shwartz-Ziv, R., & Tishby, N. (2017). Opening the black box of deep neural networks via information. arXiv preprint arXiv:1703.00810.

以上資料來(lái)源國(guó)外網(wǎng)站进鸠，如翻譯錯(cuò)誤和侵權(quán)請(qǐng)聯(lián)系作者

編譯：心理學(xué)說(shuō)