姓名 符子龍檐什，學(xué)號(hào)14020120006

【嵌牛導(dǎo)讀】隨著深度學(xué)習(xí)模型自身的學(xué)習(xí)和表達(dá)能力的提高，越來越多的研究員已經(jīng)把注意力轉(zhuǎn)向了如何讓 AI 和人類更好地互動(dòng)弱卡。這就是一批難得多的問題了乃正，之前評(píng)論也報(bào)道過Facebook AI 研究院在基于圖像的對(duì)話系統(tǒng)方面的研究進(jìn)展。

【嵌牛鼻子】人工智能婶博，圖像處理瓮具，深度學(xué)習(xí)

【嵌牛提問】新的監(jiān)督學(xué)習(xí)模型對(duì)解決場(chǎng)景認(rèn)知的問題的解決如何？

【嵌牛正文】

近期的 NIPS 2017 上凡人，IBM AI 研究院和伊利諾伊大學(xué)厄巴納-香檳分校（UIUC）共同組成的團(tuán)隊(duì)也有一篇論文被收錄為口頭報(bào)告論文（錄取率僅為1.2%）名党，其中提出了一種新的監(jiān)督學(xué)習(xí)算法，用來解決 AI 領(lǐng)域廣為人知的場(chǎng)景認(rèn)知（textual grounding）問題挠轴，同時(shí)撰寫了一篇博文簡(jiǎn)單介紹了論文成果传睹。AI 科技評(píng)論把這篇博文編譯如下。

想象這樣一種情況岸晦，你想讓別人遞一件東西給你欧啤。你可能會(huì)說：「幫我拿一下你左邊那張桌子上的藍(lán)色鋼筆吧∑羯希」人和人之間就是這樣溝通的邢隧，用自然語言描述場(chǎng)景和目標(biāo)物體。然而冈在，想要教會(huì)人工智能系統(tǒng)執(zhí)行這樣的指令從來都是一件非常困難的事情倒慧。AI 可能可以識(shí)別「藍(lán)色的鋼筆」以及「桌子」這樣的物體，但是如果有一張以上的桌子包券，就不一定知道是哪一張桌子了迫靖。這里欠缺的就是如何教會(huì)系統(tǒng)把給定圖像、給定場(chǎng)景中的東西和輸入的文本準(zhǔn)確地聯(lián)系起來兴使。AI 系統(tǒng)的視野里往往會(huì)有許許多多的其它物體系宜，而想要找的目標(biāo)只是在某一個(gè)特定的小區(qū)域里而已。

如今的智能系統(tǒng)已經(jīng)可以搭載各種各樣的傳感器发魄，輕松地通過圖像（甚至視頻）和聲音的形式捕捉周圍環(huán)境的細(xì)節(jié)信息盹牧。但是如果想要弄懂這些記錄的信息，然后基于它們跟人類進(jìn)行互動(dòng)的話励幼，智能系統(tǒng)就需要在人類的話語和圖像之間建立聯(lián)系汰寓。場(chǎng)景認(rèn)知要解決的就是把文本詞組（比如語音識(shí)別引擎識(shí)別得到的話語）和圖像中的區(qū)域連接起來的問題。換句話說苹粟，對(duì)于話語中提到的每一個(gè)物體（比如「藍(lán)色的鋼筆」和「你左邊的桌子」）有滑，都要在圖像中找到包含它的區(qū)域（這樣系統(tǒng)就知道去那里幫你取了）。

很容易想到嵌削，場(chǎng)景認(rèn)知有許多可能的應(yīng)用領(lǐng)域毛好，上面提到的這個(gè)人和 AI 互動(dòng)的例子就是一種簡(jiǎn)單的情況望艺。

IBM 和 UIUC 聯(lián)合開發(fā)的算法在兩個(gè)廣泛使用的數(shù)據(jù)集中都刷新了當(dāng)前的最好成績(jī)：在 Flickr 30K 實(shí)體數(shù)據(jù)集上達(dá)到了 53.97% 準(zhǔn)確率，超過此前最佳的 50.89%肌访；然后在 ReferItGame 數(shù)據(jù)集上獲得了 34.7% 的準(zhǔn)確率找默，超過此前最佳的 26.93%。算法的輸出如下圖所示吼驶。

兩位戴著插花帽子的女士正在擺pose

在 IBM 和 UIUC 的研究人員們看來惩激，這項(xiàng)成果的最大意義并不僅僅在于數(shù)據(jù)集上的準(zhǔn)確率數(shù)字的提升（當(dāng)然這確實(shí)也是一項(xiàng)重要的指標(biāo)），更重要的是所提出的方法也相當(dāng)優(yōu)雅蟹演。下面圖中就是所提方法的示意圖风钻。

所提模型的總體結(jié)構(gòu)

許多現(xiàn)有方法都是基于深度學(xué)習(xí)的，圖像中的特征通過端到端的訓(xùn)練方式進(jìn)行提取酒请，但這樣得到的特征的含義就很難解釋骡技。這篇論文中作者們提出的是一個(gè)混合型的方案，把一組顯式地提取出的特征（文中稱作「分?jǐn)?shù)表」score maps）和一個(gè)構(gòu)建出的 SVM 模型結(jié)合在一起蚌父。特征的分?jǐn)?shù)表是可以拓展的哮兰，所以算法可以輕松地包含任何新的特征。論文中選擇了一些容易獲得的特征苟弛，比如從輸入問句中得到的單詞先驗(yàn)知識(shí)喝滞、區(qū)域幾何偏好，以及其它一些語意分割膏秫、目標(biāo)檢測(cè)右遭、位姿估計(jì)這樣的依靠深度神經(jīng)網(wǎng)絡(luò)得到的「圖像概念」。

在多數(shù)現(xiàn)有模型中缤削，對(duì)于給定的一組候選區(qū)域窘哈，推理過程中都做的是相對(duì)簡(jiǎn)單直接的矩陣向量相乘操作。而對(duì)于論文中的混合模型亭敢，推理過程中要求解一個(gè)最小能量問題滚婉，它會(huì)搜索所有可能的邊界框，找到最匹配程度最高的那個(gè)帅刀。

為了能夠解出這個(gè)最小能量問題让腹，作者們使用了一個(gè)帶有分支定界 (branch and bound) 的子窗口搜索算算法，使得這個(gè)混合模型的端到端訓(xùn)練具有計(jì)算可行性（因?yàn)橛?xùn)練的時(shí)候需要多次求解最小能量問題）扣溺。作者們還對(duì)目標(biāo)函數(shù)定義了一個(gè)帶有可以輕松算出邊界的恰當(dāng)能量函數(shù)骇窍，以便高效地求解問題，并且可以去掉目前多數(shù)場(chǎng)景認(rèn)知模型都用到的提出候選區(qū)域這個(gè)過程锥余。

測(cè)試中腹纳，這個(gè)模型在場(chǎng)景認(rèn)知的質(zhì)量和可解釋性兩個(gè)方面都帶來了巨大的提升。可解釋性的一種體現(xiàn)是單詞嵌入嘲恍，比如詢問語句的表征足画；對(duì)于這個(gè)模型，每個(gè)嵌入元素都可以和顯式提取出的特征分?jǐn)?shù)表（或者圖像概念）產(chǎn)生直接的關(guān)聯(lián)蛔钙。當(dāng)計(jì)算兩個(gè)單詞向量的余弦相似度的時(shí)候锌云，這種嵌入的好處就可以得到明顯的體現(xiàn)荠医，同時(shí)也說明了比較接近的語句之間在語義上也有關(guān)聯(lián)性（而且可以據(jù)此進(jìn)行分組）吁脱。比如，「茶杯」彬向、「飲料」兼贡、「咖啡」三個(gè)單詞在語義上比較接近，在單詞嵌入空間中它們的相似度也就遠(yuǎn)高于和其它不相關(guān)的單詞之間的相似度娃胆。

研究員們未來的研究計(jì)劃包括遍希，把圖像特征和輸入詞句連接起來以提升可解釋性，以及把結(jié)構(gòu)化信息顯式地加入到模型中任何可能的位置上（比如這項(xiàng)研究中就有結(jié)構(gòu)化輸出）里烦。作者們也意識(shí)到凿蒜，從他們初次發(fā)表這項(xiàng)研究到現(xiàn)在，場(chǎng)景認(rèn)知方面又有了許多新的論文胁黑、新的研究結(jié)果废封，所以他們也會(huì)向著「讓人類和計(jì)算機(jī)之間更好地互動(dòng)」的目標(biāo)繼續(xù)進(jìn)行場(chǎng)景認(rèn)知研究。