姓名：王正帥
學號：14020120007
轉載自：mp.weixin.qq.com/s ，有刪節(jié)
【嵌牛導讀】：2017 年 8 月，在圖像描述生成技術這一熱門的計算機視覺與 NLP 交叉研究領域，騰訊 AI Lab 憑借自主研發(fā)的強化學習算法在微軟 MS COCO 相關的 Image Captioning 任務上排名第一，超過了微軟财忽、谷歌、IBM 等參賽公司泣侮，體現(xiàn)了在這一 AI 前沿領域的技術優(yōu)勢即彪。
【嵌牛鼻子】：圖像描述生成技術、計算機視覺與 NLP活尊、騰訊 AI Lab
【嵌牛提問】：圖像描述生成技術的原理和應用是什么隶校？騰訊 AI Lab做了哪些工作？
【嵌牛正文】：
MS COCO (Microsoft Common Objects in Context蛹锰，常見物體圖像識別) 數(shù)據(jù)集（http://cocodataset.org/）是由微軟發(fā)布并維護的圖像數(shù)據(jù)集深胳。在這個數(shù)據(jù)集上，共有物體檢測 (Detection)铜犬、人體關鍵點檢測 (Keypoints)舞终、圖像分割 (Stuff)轻庆、圖像描述生成 (Captions) 四個類別的比賽任務。由于這些視覺任務是計算機視覺領域當前最受關注和最有代表性的敛劝，MS COCO 成為了圖像理解與分析方向最重要的標桿之一余爆。其中圖像描述生成任務 (Captions)，需要同時對圖像與文本進行深度的理解與分析夸盟，相比其他三個任務更具有挑戰(zhàn)性蛾方，因此也吸引了更多的工業(yè)界（Google，IBM满俗，Microsoft）以及國際頂尖院校（UC Berkeley转捕、Stanford University）的參賽隊伍，迄今共有 80 個隊伍參與這項比賽唆垃。
通俗來說五芝，圖像描述生成（image captioning）研究的是使機器擁有人類理解圖像的能力，并用人類語言描述感知到的圖像內容辕万。圖像描述生成使得機器可以幫助有視覺障礙的人來理解圖像枢步，給圖像提供除了標簽（tag）以外更加豐富的描述，因此這項任務具有廣泛的實際意義渐尿。從學術研究的角度來說醉途，圖像描述生成的研究不僅僅需要理解圖像，更需要理解自然語言砖茸，是一個跨學科跨模態(tài)的交叉研究課題隘擎，也是對深度神經(jīng)網(wǎng)絡的學習能力向多個數(shù)據(jù)域擴展的一步重要的探索。因此凉夯，眾多科技企業(yè)和科研機構參與了此任務货葬，包括 Google [1][3]、Microsoft [5]劲够、IBM [2]震桶、Snapchat [4]、Montreal/Toronto University [6]征绎、UC Berkeley [7]蹲姐、 Stanford University [8]、百度 [9] 等人柿。
最近柴墩，騰訊 AI Lab 研發(fā)了新的強化學習算法（Reinforcement Learning）以進一步提高圖像描述生成的模型能力，如上圖所示凫岖。相應的圖像描述生成模型拐邪，采用了編碼器-解碼器（encoder-decoder）[1] 的框架，同時引入了注意力（attention）的機制 [3]隘截≡祝基于之前研究的空間和通道注意力模型（spatial and channel-wise attention）[10] 的研究成果, AI Lab 構建了新網(wǎng)絡模型引入了一個多階段的注意力機制（Multi-stage Attention）。編碼器婶芭，使用已有的圖像卷積神經(jīng)網(wǎng)絡（CNN）如 VGG东臀，Inception，ResNet 等犀农，將給定的圖像編碼成為蘊含圖像語義信息的向量惰赋。這些向量能夠表征圖像不同尺度的語義信息，譬如全局的語義呵哨、多尺度的局部語義赁濒。解碼器，使用當前最流行的長短時記憶模型（LSTM）孟害，將編碼器得到的圖像的全局和局部語義向量拒炎，解碼生成描述圖像內容的文本語句。正是在解碼的過程中挨务，AI Lab 創(chuàng)新性地使用了多階段的注意力機制：將圖像不同尺度的局部語義信息击你，通過不同階段的注意力模塊，嵌入到每一個單詞的生成過程中谎柄；同時注意力模塊需要考慮不同尺度引入的不同階段的注意力信號強弱丁侄。
除了引入多階段的注意力機制，AI Lab 所研發(fā)的強化學習算法能進一步提升構建的網(wǎng)絡模型的訓練效果朝巫。使用傳統(tǒng)的交叉熵（cross entropy）作為損失函數(shù)進行訓練鸿摇，無法充分地優(yōu)化圖像描述生成的衡量指標，譬如 BLEU劈猿，METEOR拙吉，ROUGE，CIDER糙臼，SPICE 等庐镐。這些衡量指標作為損失函數(shù)都是不可微的。針對此不可微的問題变逃，AI Lab 使用強化學習算法訓練網(wǎng)絡模型以優(yōu)化這些衡量指標必逆。訓練過程可概括為：給定一副圖像，通過深度網(wǎng)絡模型產生相應的語句揽乱，將相應的語句與標注語句比對以計算相應的衡量指標名眉；使用強化學習構建深度網(wǎng)絡模型的梯度信息，執(zhí)行梯度下降完成網(wǎng)絡的最終優(yōu)化凰棉。最終损拢，通過充分的訓練，騰訊 AI Lab 研發(fā)的圖像描述生成模型在微軟 MS COCO 的 Captions 任務上排名第一撒犀，超過了微軟福压、谷歌掏秩、IBM 等科技公司。
