姓名：張萌? ? ? ? ? 學號17021211113
轉自:http://mp.weixin.qq.com/s/lLTSmENldxQW0CwyOIOLqQ
【嵌牛導讀】：作為世界最頂尖的機器學習和神經網絡學術會議今野，NIPS（神經信息處理系統(tǒng)進展大會）在過去的兩年敞開大門枉昏，邀請工業(yè)界的巨頭們搭設展臺咱娶，展示他們在人工智能上的研究和商業(yè)成果膜赃。今年是阿里巴巴第二次參加 NIPS夫偶。相比去年，今年的阿里巴巴顯得底氣十足只恨。
【嵌牛鼻子】：阿里巴巴? 人工智能
【嵌牛提問】：阿里在人工智能上的研究和商業(yè)成果是什么运怖？
【嵌牛正文】：過去一年，阿里巴巴在人工智能商業(yè)化道路上碩果累累搀矫。7 月抹沪，阿里巴巴發(fā)布了首款智能語音音箱天貓精靈，在雙 11 當天售出了 100 萬臺瓤球；10 月融欧，阿里巴巴在杭州云棲大會上推出了 AliGenie 語音開放平臺，以及 AR 開放平臺卦羡；11 月噪馏，剛剛從烏鎮(zhèn)參加完世界互聯網大會的馬云，在上海的申通地鐵上用語音交互的方式購買了一張地鐵票绿饵，向其構想的城市大腦近了一步欠肾。
在學術研究上，阿里巴巴也交了份不錯的答題卷拟赊。ACM MM2020 會議主辦權落戶阿里巴巴刺桃，使其成為首個獲得主辦權的中國企業(yè)。城市大腦成為首批入選國家新一代人工智能開放創(chuàng)新平臺的人工智能技術服務吸祟。在此前的 IJCAI 會議上瑟慈，阿里巴巴有 11 篇論文入選，CVPR 會議入選 4 篇屋匕、KDD 會議入選 5 篇葛碧，ACM MM 會議入選 3 篇。此次 NIPS 大會上过吻，阿里巴巴有兩篇論文入選 Workshop 并進行 Oral 和 Poster 形式報告进泼。
阿里巴巴在人工智能上的光鮮，歸功于其底層技術疮装。在烏鎮(zhèn)缘琅、在上海，你看不到的研究人員和科學家們廓推，來到了洛杉磯長灘的 NIPS 大會上刷袍，展示了這些技術孵化的全過程。阿里巴巴 iDST 院長金榕樊展、阿里巴巴人工智能實驗室的高級專家張碩呻纹、阿里巴巴搜索事業(yè)部的研究員李欣博士分別開設了迷你研討會堆生，介紹阿里巴巴在人工智能領域的創(chuàng)新。
iDST：多媒體信息檢索和模型壓縮
如今的阿里巴巴不再只是定位于一家電子商務公司雷酪，在除了包括淘寶淑仆、天貓等電子商務業(yè)務以外，阿里巴巴更著眼于生態(tài)系統(tǒng)的建設哥力，囊括數字營銷（阿里媽媽）蔗怠、視頻（優(yōu)酷）、金融科技（螞蟻金服）吩跋、社交媒體（微博）寞射、地圖（高德）、物流（菜鳥）等不同的業(yè)務锌钮。
這就需要阿里巴巴 iDST（數據科學與技術研究院）的人工智能技術賦能桥温。在 NIPS 阿里巴巴的展區(qū)，iDST 院長金榕展示了今年在計算機視覺和深度學習模型優(yōu)化方面的技術成果梁丘。
阿里巴巴 iDST 院長金榕
在計算機視覺領域侵浸，金榕提到了 2014 年上線移動端淘寶的拍立淘。簡單而言就是通過搜索圖片找到相應的產品氛谜。拍立淘剛上線時還無人問津掏觉，但現在已經成為移動端淘寶最重要的商品搜索功能之一，擁有超過千萬級日活躍用戶混蔼，幾十億商品圖片的離線索引構和在線查詢履腋。
拍立淘主要通過深度學習對商品進行排序。模型通過輸入用戶記錄的三元組數據（查詢圖片惭嚣、點擊圖片和未點擊圖片）來訓練模型的排序損失函數遵湖，按照從高到底的順序列出最有可能匹配的商品。
拍立淘的技術也被應用到跨媒介的信息檢索晚吞，比如通過文字來搜索相應的圖片延旧。下圖中，你可以輸入不同的文字描述槽地，從裙子到紅色 V 領短裙迁沫，輸出的結果也更加精準。
另一個展示成果是模型壓縮捌蚊。深度學習模型的層級數動輒成百上千集畅，擁有幾十億個參數，這對存儲和預測時間都帶來困難缅糟。
iDST 研究員采用了低比特量化的方法挺智，所有的權值不用浮點數表示，而是用 +1窗宦、0赦颇、-1 表示二鳄。原來一個 32bit 權值現在只需要三個 bit 就可以表示，可以極大地減小模型尺寸媒怯。
同時订讼，為了解決低比特量化所帶來的不穩(wěn)定性，iDST 引入了交替方向乘子法（Alternating Direction Method of Multipliers扇苞，ADMM）欺殿。這是一種最優(yōu)化算法，主要針對帶約束的凸優(yōu)化問題鳖敷。此外為了更有效地運行 ADMM祈餐，iDST 開發(fā)了額外梯度下架方法（extra gradient descent method）來解決優(yōu)化問題。
試驗結果顯示哄陶，三比特（-1、0哺壶、1）方法相比全精確度幾乎沒有明顯的損失屋吨。
人工智能實驗室：AliGenie 語音助手和 AR 開放平臺
在 2016 年低調成立的阿里巴巴人工智能實驗室，目前已經擁有了 200 多位科學家和研究員山宾。相比于 iDST 偏向深度學習領域的研發(fā)至扰，人工智能實驗室的定位是研究消費級產品。
據人工智能實驗室的高級專家張碩介紹资锰，人工智能實驗室的主要任務是打造下一代的人機交互平臺敢课，并且在三個方面帶來人性化的機器：感知和推理能力（語音識別、語言理解和計算機視覺）绷杜；知識數據庫（包括知識圖譜和用戶配置文件）直秆；按需行為（服務和流動性）。
張碩在介紹阿里巴巴人工智能實驗室
隨后鞭盟，張碩介紹了實驗室在今年推出的三個主要產品：智能音箱圾结、語音開放平臺 AliGenie、和 AR 開放平臺齿诉。
天貓精靈 X1 是阿里巴巴推出的首款智能音箱筝野。搭載了 AliGenie 人機交互系統(tǒng)，類似于亞馬遜的 Alexa粤剧。除了繼承了大部分智能音箱的特點外歇竟，天貓精靈 X1 采用了聲紋識別技術，能夠直接識別用戶聲音抵恋，直接進入用戶賬號實現語音購物焕议。
天貓精靈 X1 智能音箱
天貓精靈 X1 背后的交互系統(tǒng) AliGenie 也在云棲大會上實現了升級，成為了可以讓普通智能硬件搭載的語音開放平臺馋记。目前号坡，AliGenie 平臺面向硬件品牌商和方案商提供語音交互技術懊烤、自然語言處理能力、云服務系統(tǒng)宽堆、開發(fā)工具包和軟硬件及量化標準腌紧。針對個人和行業(yè)應用開發(fā)者，AliGenie 平臺提供包括語音喚醒畜隶、語音識別壁肋、聲紋識別、語意理解籽慢、語音合成的開發(fā)者套件浸遗。
同時與 AliGenie 推出的 AR 開放平臺意味著阿里巴巴發(fā)力機器視覺。AR 開放平臺將面向開發(fā)者開放 2D 識別追蹤箱亿、3D 識別追蹤跛锌、內容制作平臺、高質量渲染引擎等核心能力届惋。開發(fā)者通過接入套件髓帽，即可快速創(chuàng)建 AR 內容，無需擔心開發(fā)算法脑豹，使用傳感器郑藏，GPU 優(yōu)化等難題。
搜索事業(yè)部：用戶個性化搜索引擎
從電商起步的阿里巴巴瘩欺，重視在商品搜索的提升必盖。來自阿里巴巴搜索事業(yè)部的研究員李欣博士在 NIPS 大會第三天帶來了有關深度學習優(yōu)化商品搜索的演講。
李欣博士在介紹深度學習優(yōu)化商品搜索
阿里巴巴的商品搜索技術從 2013 至今經歷過五次重大的迭代俱饿。如今歌粥，阿里巴巴的搜索平臺都依賴于深度學習技術。
商品搜索的基礎架構主要分三層：最底層是數據平臺稍途，實時處理用戶需求和用戶標簽阁吝，同時做線下預測和線下模型訓練；中間層主要負責關鍵詞索引和個性化索引械拍；最上層是做搜索平臺突勇、個性化引擎和圖像引擎。
目前坷虑，阿里巴巴的商品搜索團隊的發(fā)展方向主要有三個：構建更大規(guī)模的排序系統(tǒng)的機器學習平臺甲馋；提升排序系統(tǒng)對用戶行為的快速反應能力；提高算法的效率迄损。
搜索團隊使用了一種叫做深度用戶個性化網絡（Deep User Perception Network定躏，DUPN），通過輸入用戶信息和商品信息，實現多個不同的任務痊远，比如預測用戶的商品點擊率垮抗、預測用戶對商品的價格偏好、以及最終的商品排序碧聪。
「這個網絡最大的特點的是基于環(huán)境變化的注意力機制冒版。個性化搜索會基于當前時段的熱門商品和用戶興趣而改變，比如在雙 11 的時候逞姿，超過 100 萬的用戶購買了阿里巴巴最新推出的智能語音音箱天貓精靈 X1辞嗡，商品價格和用戶興趣都因為雙 11 這一天而發(fā)生改變≈驮欤」李欣博士表示续室。
正是基于這一點，DUPN 增加了 Attention 用于線上模型捕捉環(huán)境變化谒养，然后調整參數挺狰。
在表示商品特征時，DUPN 采用了多模態(tài)的表征买窟，比如商品 ID她渴、文字描述、圖片描述蔑祟、統(tǒng)計描述。從結果看沉唠，基于多模態(tài)的模型能夠比單一模態(tài)的模型在學習等級信息檢索（LETOR）疆虚，用戶點擊率（CTR）和價格預測上取得更好的準確率。
相比于 DNN满葛，CNN 和 LSTM径簿，訓練后的 DUPN 有著更好的效果，而 end-to-end DUPN 則基于 pre-DUPN 在價格預測上有著進一步的提升嘀韧。
為了提升模型的效率篇亭。阿里巴巴團隊采用了 Cascade Learning，將數據分成不同層級锄贷。如下圖所示译蒂，一開始的數據只采用商品的幾個特征，之后會逐步增加特征谊却。
而在算法推理加速上柔昼，阿里巴巴團隊加入了 Binary-Value Network，能夠得到更小的模型炎辨、更快的速度捕透，代價是損害一些準確率。從結果上看，相比于原始矩陣乙嘀，采用 BNN 之后的信息吞吐量可以提升至三倍末购。
在購物搜索這個領域，李欣博士指出還存在很多挑戰(zhàn)虎谢。比如：如何覆蓋新用戶和新物品盟榴；多模態(tài)交互則是一個有趣的話題，可以利用商品圖片的特征來提升排序算法的質量嘉冒；同時斟湃，阿里巴巴自己研發(fā)的虛擬語音機器人阿里小蜜也可以和搜索系統(tǒng)相結合，用基于語音或者文字的交互來推薦商品甘邀。
近兩年葵腹，阿里巴巴一直在加大技術研究，以實現在基礎科學和顛覆性技術上取得進展银觅。在今年杭州云棲大會上礼饱，阿里巴巴成立全球性技術研究機構「達摩院」，未來三年在技術上總投入將超過 1000 億人民幣究驴，并公布涵蓋機器智能镊绪、智聯網、金融科技等多個產業(yè)領域的技術研究內容洒忧。
阿里巴巴表示蝴韭，明年乃至于之后的每年，阿里巴巴都將會是 NIPS 的澄跏蹋客榄鉴，并在這個舞臺展示其人工智能的創(chuàng)新。
