Human-level concept learning through probabilistic program induction
Lake, B. M., Salakhutdinov, R., & Tenenbaum, J. B. (2015). Human-level concept learning through probabilistic program induction. Science, 350(6266), 1332-1338.
摘要：學(xué)習(xí)新概念人類通常只需要一個(gè)例子颠通，但是機(jī)器需要幾十個(gè)或數(shù)百個(gè)例子铣卡。本研究提出一個(gè)計(jì)算模型，捕捉人類學(xué)習(xí)能力的一大類簡(jiǎn)單視覺概念：手寫字母成畦。在一次性分類任務(wù)中庭惜，該模型可以實(shí)現(xiàn)與人類相當(dāng)?shù)男阅堋?/p>
本文介紹了Bayesian Program Learning(BPL)罩驻，可以從一個(gè)例子中學(xué)習(xí)一大類的視覺概念。概念被表示為簡(jiǎn)單的概率程序蜈块。整個(gè)框架集合了三個(gè)想法：復(fù)合性鉴腻，因果關(guān)系迷扇，學(xué)習(xí)(compositionality, causality, learning)百揭。作為程序爽哎，豐富的概念可以從簡(jiǎn)單的基元復(fù)合而成。概率語(yǔ)義(probabilistic semanticas)可以解決噪音器一，支持創(chuàng)造性的概括课锌。學(xué)習(xí)是通過構(gòu)造程序，通過程序最好地解釋貝葉斯準(zhǔn)則下的觀察結(jié)果祈秕，通過開發(fā)層次優(yōu)先級(jí)渺贤，允許先前有關(guān)概念的經(jīng)驗(yàn)來(lái)簡(jiǎn)化新概念的學(xué)習(xí)。BPL可以通過用之前現(xiàn)有的查程序请毛，捕捉因果關(guān)系和組成上的恰當(dāng)性來(lái)構(gòu)建新的程序志鞍。
本文將使用簡(jiǎn)單的視覺概念（從50個(gè)寫作系統(tǒng)中抽取的1623個(gè)手寫字符），將人類方仿，BPL固棚，其他計(jì)算方式進(jìn)行比較，在觀察了一個(gè)示例后仙蚜，比較解析示例此洲，新概念的生成。BPL將和三種深度學(xué)習(xí)模型委粉，一種經(jīng)典的模式識(shí)別算法和其他各種算法進(jìn)行比較呜师。（兩種深卷積網(wǎng)絡(luò)，HD模型）贾节。
BPL
BPL用簡(jiǎn)單的隨機(jī)程序來(lái)表示概念，通過將例子分解為parts和sub-parts栗涂，將這些部分的新組合生成一個(gè)模型知牌，從而可以呈現(xiàn)出與原始數(shù)據(jù)類似的新示例。
這個(gè)模型通過將每個(gè)條件分布擬合到30個(gè)字母表的背景集上戴差，同時(shí)使用圖像和筆畫數(shù)據(jù)送爸，并且這個(gè)圖像集也用做預(yù)先的訓(xùn)練深度學(xué)習(xí)模型。在接下來(lái)的evaluation任務(wù)中暖释，這些只是提供了新字符的原始圖像袭厂。
手寫字符集Ψ是parts, sub-pars和relations的抽象模式，反映了手寫過程中的因果結(jié)構(gòu)球匕，例如完整的一筆是從鋼筆接觸紙面一直到離開紙面纹磺，這是一個(gè)part，而其中更細(xì)節(jié)的還可以劃分為sub-part亮曹，由筆跡中的間隔分開橄杨。
Type level為了構(gòu)造一個(gè)新的字符型秘症，首先對(duì)parts和sub-parts的數(shù)目進(jìn)行采樣；其次式矫，一個(gè)part是由幾個(gè)sub-part構(gòu)成的乡摹，而sub-part來(lái)源于之前學(xué)過的背景集中的原始圖像，使得下一個(gè)動(dòng)作的概率取決于之前的動(dòng)作采转；第三聪廉，通過對(duì)控制點(diǎn)和尺度參數(shù)的取樣，將parts轉(zhuǎn)為參數(shù)化的曲線故慈；最后板熊，根據(jù)不同的relation將parts結(jié)合起來(lái)。
Token level首先確定控制點(diǎn)察绷，和這個(gè)筆跡的尺寸大懈汕；其次拆撼，確定軌跡的精確起始位置容劳，可以從之前的relation中取樣；第三情萤，對(duì)全局變換進(jìn)行采樣鸭蛙；最后，一個(gè)二進(jìn)制圖像有隨機(jī)渲染函數(shù)建立筋岛。
在后驗(yàn)推理中娶视，本文使用自下而上的方法，提出一系列的候選人睁宰，形成后驗(yàn)分布函數(shù)肪获，并且對(duì)每個(gè)候選人進(jìn)行評(píng)分，分?jǐn)?shù)更高柒傻，表示更有可能屬于同一分類孝赫，對(duì)最有希望的候選人進(jìn)行持續(xù)優(yōu)化細(xì)節(jié)。
Results
人類青柄，BPL和其他替代模型在五種概念的學(xué)習(xí)任務(wù)上進(jìn)行比較。
One-shot classification是通過一些字母內(nèi)分類任務(wù)評(píng)估十種不同的字母预侯，給出一個(gè)圖像示例致开，要求從20個(gè)不同的字符中選擇另一個(gè)相同字符。準(zhǔn)確率可以見圖6A萎馅，人類的錯(cuò)誤率為4.5%双戳，BPL為3.3%，而其他深卷積網(wǎng)絡(luò)等錯(cuò)誤率會(huì)更高糜芳。
人類進(jìn)行一次性學(xué)習(xí)的能力不僅僅包括分類飒货，還包括一系列能力例如生成新示例魄衅。本文比較了人類和機(jī)器通過“visual Turing tests”的創(chuàng)造性輸出結(jié)果，要求人類識(shí)別哪個(gè)是人類的示例哪個(gè)是機(jī)器的示例塘辅，根據(jù)人類評(píng)估的準(zhǔn)確性晃虫，對(duì)每個(gè)模型進(jìn)行評(píng)估，稱為識(shí)別等級(jí)(ID)莫辨，理想的模型性能應(yīng)該在50%ID級(jí)別傲茄，表示無(wú)法區(qū)分人類和機(jī)器的示例毅访，最壞的性能為100%沮榜。結(jié)果如圖6B，法官只有52%的ID水平來(lái)區(qū)分人與BPL的行為喻粹。
盡管30個(gè)背景集的結(jié)果呈現(xiàn)是有效的守呜，但是人類的資源會(huì)更加有限型酥，可能只有幾個(gè)背景集，因此查乒，我們限制模型的背景集到只有5個(gè)弥喉，BPL的表現(xiàn)沒有明顯差別，但還是其他深度卷積的學(xué)習(xí)會(huì)更差玛迄。
人類除了可以生成一個(gè)概念的新例子由境，還可以生成出一整個(gè)完整的概念。展示一個(gè)外國(guó)字符蓖议，并且要求人和機(jī)器快速創(chuàng)建屬于同一個(gè)外文字母表的新字符虏杰，并且由人類法官判斷哪個(gè)是人類創(chuàng)建的，哪個(gè)是機(jī)器創(chuàng)建的勒虾。結(jié)果表明法官只有49%ID級(jí)別纺阔，說(shuō)明兩者沒有顯著差別。同時(shí)法官還判斷無(wú)示例下的自由創(chuàng)建修然，發(fā)現(xiàn)有51%ID級(jí)別笛钝。
Discussion
跟機(jī)器比起來(lái)，人類在概念學(xué)習(xí)上更好掏婶，他們需要更少的示例啃奴，并且新概念可以在更多的范圍里應(yīng)用。本文的BPL學(xué)習(xí)說(shuō)明了雄妥，復(fù)合性最蕾，因果關(guān)系和學(xué)習(xí)(compositionality, causality, learning)這三個(gè)原則可以縮小人類和機(jī)器之間的差距依溯。
雖然實(shí)驗(yàn)結(jié)果表明BPL的嘗試是成功的，但還是仍然還有很多人類的概念學(xué)習(xí)結(jié)構(gòu)是BPL沒有看到的瘟则。例如黎炉，BPL缺乏對(duì)線段平行，對(duì)稱醋拧，筆畫的連接等等的明確認(rèn)知慷嗜，同時(shí)，人類的概念學(xué)習(xí)還可以運(yùn)用在計(jì)劃丹壕，解釋庆械，交流等等更加復(fù)雜的層面。預(yù)測(cè)程序也可以用來(lái)學(xué)習(xí)組合菌赖，例如工具缭乘，車輛（可以用零件，關(guān)系琉用，功能很好地描述結(jié)構(gòu)）堕绩，抽象知識(shí)（自然數(shù)，自然語(yǔ)言語(yǔ)義邑时，直觀的物理理論）奴紧。
BPL也很有希望可以運(yùn)用到其他類型的符號(hào)概念，例如手勢(shì)晶丘，舞蹈動(dòng)作黍氮，口語(yǔ)和手語(yǔ)等等。為了說(shuō)明BPL如何運(yùn)用到語(yǔ)音領(lǐng)域铣口，可以通過系統(tǒng)地組成音素(sub-parts)來(lái)構(gòu)建口語(yǔ)程序滤钱，形成音節(jié)(parts)，進(jìn)一步構(gòu)成語(yǔ)素和整個(gè)單詞脑题。給定一個(gè)抽象的音節(jié)音素解析件缸，可以捕獲語(yǔ)音運(yùn)動(dòng)發(fā)音方面的因果模型，從而生成標(biāo)記叔遂。這些sub-parts和parts可以在單詞間公用他炊，從而兒童可以通過長(zhǎng)期學(xué)習(xí)習(xí)得。
BPL模型也可以運(yùn)用研究?jī)和瘜懽髦锌赡墚a(chǎn)生的歸納偏差已艰，以及研究什么樣的教學(xué)程序是更加有效的痊末。比較兒童在不同階段的解析和泛化行為，可以給出不同背景的BPL模型的不同評(píng)價(jià)哩掺，更好地給出學(xué)習(xí)建議凿叠。
我們是否可以像解析BPL的過程一樣，將人類感知分類活動(dòng)的大腦成像也進(jìn)行解析？目前也有很多大規(guī)模的腦模型和深度遞歸神經(jīng)網(wǎng)絡(luò)的研究盒件，但是通常都是運(yùn)用了大量的例子蹬碧。本文研究的一次性學(xué)習(xí)能力對(duì)這些神經(jīng)模型會(huì)有新的挑戰(zhàn)。
