姓名:謝童? 學(xué)號:16020188008? 轉(zhuǎn)自微信公眾號 新智元
【新智元導(dǎo)讀】2018年的最后一天豪直,回顧 AI 技術(shù)發(fā)展弓乙,縱覽一年 AI 事件。新智元創(chuàng)始人兼CEO楊靜女士寄語:2019跨年之際垢乙,新智元繼續(xù)與您一起探索不一樣的天際線和地平線;穿越時空隧道粹舵,創(chuàng)造奇跡眼滤,突破 AI 極限诅需!新智元感恩每一位 AI 智庫專家堰塌、合作伙伴和人工智能產(chǎn)業(yè)鏈用戶场刑!預(yù)祝2019新年快樂牵现!
再過幾個小時瞎疼,我們就將進(jìn)入2019年贼急。
新智元從2015年9月成立至今竿裂,一直聚焦AI行業(yè)腻异,追蹤業(yè)界悔常、技術(shù)机打、學(xué)界的前沿發(fā)展残邀。2018年12月芥挣,新智元微信公眾號AI全產(chǎn)業(yè)鏈用戶達(dá)35萬空免。
上周蹋砚,新智元發(fā)布了《2018坝咐,一文看盡 AI 發(fā)展真相》的上篇畅厢,在 state of the art.ai 網(wǎng)站收集的同行評議論文基礎(chǔ)上框杜,對目前為止 AI 在計算機(jī)視覺 (CV) 和自然語言處理 (NLP) 方面的 state-of-art 做了回顧咪辱。
在下篇當(dāng)中油狂,我們將介紹迄今?AI 在游戲专筷、知識圖譜和知識庫长豁、語音以及程序歸納和程序綜合 (Program Induction & Program Synthesis) 方面取得的最優(yōu)成果味咳。最后,按照時間順序鸳兽,以全年AI事件縱覽收尾揍异。
游戲:AI攻克最難雅利達(dá)游戲蒿秦,AlphaGo更強(qiáng)大炮叶!
說到“游戲”镜悉,自然是強(qiáng)化學(xué)習(xí)旧困,有經(jīng)典的雅達(dá)利 (Atari) 游戲和以國際象棋锥债、圍棋為代表的抽象策略游戲拼窥。
雅利達(dá)游戲:《蒙特祖瑪?shù)膹?fù)仇》超越人類專家平均水平
雅達(dá)利游戲種類繁多情龄,但基本都已被 AI 攻克沉填。除了幾個特別難的关摇,比如:
《蒙特祖瑪?shù)膹?fù)仇》要求玩家找到金字塔里的寶藏,中途有各種陷阱和機(jī)關(guān)
《陷阱》(PITFALL!) 玩家需要穿越叢林胸蛛,克服眾多危險泞当,在20分鐘內(nèi)找到32個寶藏
《私人偵探》(PRIVATE EYE) 玩家需要追蹤線索襟士,追回被犯罪分子偷走的物品陋桂,并將罪犯逮捕歸案
上述游戲?qū)θ祟惗远际遣恍〉奶魬?zhàn),在 AI 界則被稱為“強(qiáng)化學(xué)習(xí)?AI?噩夢或試金石”秸脱。在這種稀疏環(huán)境獎勵游戲中,使用基礎(chǔ)的貪婪算法幾乎無法過關(guān)咐蝇,因為在分離獎勵的幀數(shù)中涯鲁,AI 可能的動作軌跡呈指數(shù)級增長。例如有序,在《蒙特祖瑪?shù)膹?fù)仇》中抹腿,獲得第一個環(huán)境獎勵大約需要移動100步,也就是10018個可能的動作序列旭寿。即使隨機(jī)遇到獎勵警绩,如果這個信號在特別長的時間范圍內(nèi)存在盅称,那么強(qiáng)化學(xué)習(xí)算法也難以穩(wěn)定地學(xué)習(xí)肩祥。
2018年5月,DeepMind 宣布讓 AI 在《蒙特祖瑪?shù)膹?fù)仇》缩膝、《陷阱》和《私人偵探》這三大超難雅利達(dá)游戲中首次令人信服地超越人類水平混狠,方法是讓 AI 觀看人類玩這些游戲的 YouTube 視頻。
DeepMind 表示疾层,他們提出了全新的自監(jiān)督目標(biāo)将饺,讓智能體能從視頻像素中學(xué)習(xí)域不變表征,還描述了一種少數(shù)據(jù)模仿 (one-shot imitation) 機(jī)制,在整個空間嵌入檢查點來指導(dǎo)智能體進(jìn)行探索予弧」伟桑“將這些方法與標(biāo)準(zhǔn)的 IMPALA 智能體結(jié)合,我們展示了首個在《蒙特祖瑪?shù)膹?fù)仇》《陷阱》以及《私人偵探》上具有人類水平的 AI掖蛤∩蹦恚”
雅利達(dá)游戲《蒙特祖瑪?shù)膹?fù)仇》,因其稀疏獎勵環(huán)境坠七,被譽為最難雅利達(dá)游戲之一水醋,2018年首次被AI 玩過超越人類水平。
DeepMind 的結(jié)果發(fā)表幾周后彪置,OpenAI 也發(fā)布博文拄踪,描述了另一種訓(xùn)練智能體完成蒙特祖瑪復(fù)仇第一關(guān)的方法。這種方法也依賴于人類的演示拳魁,但與 DeepMind 的稍有不同惶桐。這里有詳盡的技術(shù)分析。
2018年11月底潘懊,Uber 在官方博客上介紹了他們提出的 Go-Explore 算法姚糊,不僅輕松通關(guān)蒙特祖瑪,而且玩到了159 級授舟,獲得超過 200 萬分救恨,平均得分超過 40 萬分!
Go-Explore?無需人類演示释树,智能體從領(lǐng)域知識?(domain knowledge)?中學(xué)習(xí)肠槽,凸顯了算法利用最小先驗知識的能力。即使沒有任何領(lǐng)域知識奢啥,Go-Explore 也在蒙特祖瑪中得到超過 3.5 萬分秸仙,是當(dāng)時最優(yōu)水平的三倍多。
無領(lǐng)域知識的 Go-Explore 與其他強(qiáng)化學(xué)習(xí)算法在《蒙特祖瑪?shù)膹?fù)仇》中比較桩盲。圖中的每一點都代表了不同算法的得分寂纪。Go-Explore?平均得分為 35410,是之前最好成績的 11347分的 3倍多赌结,略高于人類專家平均水平的 34900分捞蛋!
策略游戲:AlphaZero自弈勝率大漲16.5%
2018年12月7日,DeepMind的最強(qiáng)棋類算法 AlphaZero 作為 Science 封面論文發(fā)表柬姚,正式引入學(xué)界和公眾的視野襟交。去年底,AlphaZero 橫空出世伤靠,將日本將棋捣域、國際象棋和圍棋統(tǒng)統(tǒng)拿下:從零開始訓(xùn)練啼染,2小時擊敗最強(qiáng)將棋AI,4小時擊敗最強(qiáng)國際象棋AI焕梅,8小時擊敗最強(qiáng)圍棋AI (李世石版AlphaGo)迹鹅。
就在幾天前,DeepMind 又在 Arxiv 貼出文章贞言,用貝葉斯優(yōu)化將人工調(diào)參改為自動斜棚,AlphaGo自我對弈的勝率從50%漲到66.5%,進(jìn)一步刷新了AI圍棋實力该窗,而其見解將有助于開發(fā)具有MCTS的新版本的AI對弈智能體弟蚀。
作為優(yōu)化步驟函數(shù)的觀察值和最大預(yù)期勝率的典型值
語音:中文語音識別準(zhǔn)確率達(dá)到新高度
語音識別
2017年8月底,微軟語音對話研究小組在Switchboard語音識別任務(wù)中酗失,將錯誤率從之前的 5.9% 再一次降低到 5.1%义钉,達(dá)到當(dāng)時的最先進(jìn)水平。微軟全球技術(shù)Fellow规肴、語音對話研究負(fù)責(zé)人黃學(xué)東在微軟官方博客上稱捶闸,這意味著微軟創(chuàng)造了一種技術(shù),可以在對話中識別詞語拖刃,且與人類專業(yè)的速記員水平相當(dāng)删壮。
2018年,根據(jù)一篇發(fā)表在Arixv上的論文兑牡,The CAPIO 2017 Conversational Speech Recognition System央碟,Kyu J. Han 等人宣布使用 Dense-LSTM 方法,在行業(yè)標(biāo)準(zhǔn)的NIST 2000 Hub5英語評估集上實現(xiàn)當(dāng)前最佳性能均函。作者在論文中指出硬耍,他們還提出了一種聲學(xué)模型自適應(yīng)方案,通過在三個不同電話機(jī)上訓(xùn)練的5個系統(tǒng)上的RNN-LM重新校正和點陣組合边酒,其CAPIO 2017語音識別系統(tǒng)分別在語音數(shù)據(jù)集 Switchboard 和 CallHome 上獲得了5.0%和9.1%的詞錯率,這兩者都是迄今英語語音識別方面文獻(xiàn)匯報的最好的成績狸窘。
在中文語音識別方面則出現(xiàn)了一個令人比較意外的結(jié)果墩朦,AI初創(chuàng)公司依圖科技在年底宣布,他們在全球最大的中文開源數(shù)據(jù)庫AISHELL-2中翻擒,依圖短語音聽寫的字錯率(CER)達(dá)到3.71%氓涣,相比原業(yè)內(nèi)領(lǐng)先者提升約20%,大幅刷新現(xiàn)有紀(jì)錄陋气。
AISHELL-2是AISHELL Foundation和希爾貝殼創(chuàng)建的開源數(shù)據(jù)庫劳吠,含有1000小時中文語音數(shù)據(jù),由1991名來自中國不同口音區(qū)域的說話者參與錄制巩趁,經(jīng)過專業(yè)語音校對人員轉(zhuǎn)寫標(biāo)注痒玩,通過了嚴(yán)格質(zhì)量檢驗,數(shù)據(jù)庫文本正確率在96%以上,錄音文本涉及喚醒詞蠢古、語音控制詞奴曙、智能家居、無人駕駛草讶、工業(yè)生產(chǎn)等12個領(lǐng)域洽糟。
揚聲器測量(Speaker Diarization)
語音領(lǐng)域頂會 ICASSP 2018,谷歌和CMU團(tuán)隊發(fā)表論文堕战,匯報了他們在揚聲器測量 (Speaker Diarization)?方面的進(jìn)展坤溃。具體說,作者將基于LSTM的d矢量音頻嵌入與最近在非參數(shù)聚類中的工作相結(jié)合嘱丢,從而獲得了最先進(jìn)的揚聲器二值化系統(tǒng)薪介。
揚聲器測量是指根據(jù)說話者身份將輸入音頻流劃分為同類段的過程。它可以通過將音頻流結(jié)構(gòu)化為揚聲器轉(zhuǎn)彎來增強(qiáng)自動語音轉(zhuǎn)錄的可讀性屿讽,并且當(dāng)與揚聲器識別系統(tǒng)一起使用時昭灵,通過提供說話者的真實身份。
在三個標(biāo)準(zhǔn)公共數(shù)據(jù)集 (見下) 評估結(jié)果表明伐谈,基于d矢量的二值化系統(tǒng)與傳統(tǒng)的基于i-vector的系統(tǒng)相比具有明顯的優(yōu)勢烂完。在使用語音搜索領(lǐng)域外數(shù)據(jù)進(jìn)行訓(xùn)練的情況下,模型在NIST SRE 2000 CALLHOME上實現(xiàn)了12.0%的錯誤率诵棵。
知識圖譜和知識庫
聚類
在聚類 (Clustering) 方面抠蚣,根據(jù) stateoftheart 網(wǎng)站,AI 做到最好的成績是 Mukherjee 等人在 2017 年 NeurIPS 論文《論網(wǎng)絡(luò)數(shù)據(jù)的聚類》中得到的履澳。作者將網(wǎng)絡(luò)概括為一個高維特征向量嘶窄,然后對這些特征向量進(jìn)行聚類。他們提出了兩種方法距贷,分別適用于有節(jié)點的網(wǎng)絡(luò)和沒有節(jié)點的網(wǎng)絡(luò)柄冲。
在一系列結(jié)果中,錯誤率最低為 0 的情況下時間 25 秒忠蝗,時間最短 2.7 秒的情況下錯誤率 0.1现横。
圖 (Graph) 生成
至于圖 (Graph) 生成,則是 IBM 研究院的 Tengfei Ma阁最、Jie Chen 和 Cao Xiao 在今年 NeurIPS 發(fā)表的論文Constrained Generation of Semantically Valid Graphs via Regularizing Variational Autoencoders中戒祠,他們提出了一個變分自編碼器的正則化框架,作為實現(xiàn)語義有效性的第一步速种。然后姜盈,專注于圖的矩陣表示,并規(guī)范解碼器的輸出分布配阵,以鼓勵滿足有效性約束馏颂。實驗結(jié)果證實示血,與此前文獻(xiàn)報道的其他方法相比,我們的方法在采樣有效圖的準(zhǔn)確率要高得多饱亮。
具體說矾芙,他們所提出的方法,在 QM9 與 ZINC 兩大數(shù)據(jù)集上近上,分別與此前最好結(jié)果相比剔宪,都得到了顯著提升。
鏈路預(yù)測
今年的ICLR壹无,Rajarshi Das 等人提出了一種名叫 Minerva 的算法葱绒,有效解決了回答關(guān)系已知但只有一個實體的問題。作者提出了一種神經(jīng)強(qiáng)化學(xué)習(xí)方法斗锭,能夠?qū)W習(xí)如何根據(jù)輸入的查詢條件在圖中導(dǎo)航地淀,從而找到預(yù)測路徑。這種方法在幾個數(shù)據(jù)集上獲得了最先進(jìn)的結(jié)果岖是,明顯優(yōu)于先前的方法帮毁。
程序歸納與程序綜合
在發(fā)表于今年 ICLR 的一項工作中,佐治亞大學(xué)和微軟研究院的研究人員聯(lián)合提出了一種叫“神經(jīng)引導(dǎo)演繹搜索”(NGDS)的方法豺撑,這是一種混合程序綜合技術(shù)烈疚,結(jié)合了符號邏輯和統(tǒng)計模型的優(yōu)點。因此聪轿,NGDS 能通過構(gòu)造生成滿足所提供規(guī)范的程序爷肝,并且很好地概括了類似于數(shù)據(jù)驅(qū)動系統(tǒng)的看不見的樣本。
論文作者提出的這一的技術(shù)陆错,有效地利用演繹搜索框架灯抛,將神經(jīng)元件的學(xué)習(xí)問題簡化為簡單的監(jiān)督學(xué)習(xí)場景。此外音瓷,這可用現(xiàn)實世界數(shù)據(jù)对嚼,又可以利用強(qiáng)大的遞歸神經(jīng)網(wǎng)絡(luò)編碼器。與最先進(jìn)的系統(tǒng)相比绳慎,通過綜合精確的程序纵竖,整體速度提高了12倍,準(zhǔn)確率68.5%偷线。
當(dāng)然,對于程序綜合與程序生成沽甥,在條件程序生成領(lǐng)域声邦,還必須提一下今年的EMNLP,Murali 等人提出的一個模型摆舟,結(jié)合深度學(xué)習(xí)和程序綜合技術(shù)亥曹,能夠自動學(xué)習(xí)將簡單的手繪圖轉(zhuǎn)換為用 \LaTeX?圖形程序邓了。
論文作者學(xué)習(xí)了一個卷積神經(jīng)網(wǎng)絡(luò),后者能提出解釋圖的合理繪圖基元媳瞪,可以糾正深層網(wǎng)絡(luò)所產(chǎn)生的錯誤骗炉,通過使用類似的高級幾何結(jié)構(gòu)來測量圖形之間的相似性,并推斷出圖程序蛇受【淇總之,這是朝向智能體從感知輸入中歸納出有用的兢仰、人類可讀的程序又一進(jìn)步乍丈。
2018 年人工智能大事件回顧
看完技術(shù)在聚焦產(chǎn)業(yè)。盡管AI技術(shù)為谷歌和Facebook這樣的大公司的盈利頗豐把将,但今年轻专,這些公司已經(jīng)越來越意識到AI技術(shù)的一些陷阱:比如AI很容易陷入偏見,缺乏固定的技術(shù)道德準(zhǔn)則察蹲,而且请垛,過早地將AI技術(shù)引入現(xiàn)實世界可能是浪費時間。
今年關(guān)于AI技術(shù)應(yīng)用的爭議中洽议,有很大一部分是由Uber自駕車事故致行人死亡事件引起的宗收。此外,人工智能技術(shù)可能存在濫用的報道也引發(fā)了新的關(guān)注绞铃。
以下是新智元呈現(xiàn)的2018年AI大事件年度盤點镜雨,其中一些事件凸顯出當(dāng)前AI技術(shù)中存在的重要問題:
1月
中國公司正在占領(lǐng)CES,官方數(shù)據(jù)顯示儿捧,單是名字中含有“深圳”的參展公司就有482家荚坞,占了將近10%,算上其他來自中國的公司菲盾,2018年的CES已經(jīng)成為“中國消費電子展”颓影。
教育部:人工智能進(jìn)入全國高中新課標(biāo),2018秋季學(xué)期執(zhí)行
2月
美國國會舉行關(guān)于AI技術(shù)的聽證會懒鉴,發(fā)言人警告稱诡挂,AI領(lǐng)域長期存在偏見,特別是對有色人種的偏見临谱。
工業(yè)界和學(xué)術(shù)界專家于2月的一份報告中強(qiáng)調(diào)了AI技術(shù)在數(shù)字璃俗、物理和政治領(lǐng)域可能被武器化,并存在被濫用的多種方式悉默。
研究人員Joy Buolamwini和Timnit Gebru發(fā)表論文城豁,顯示AI面部識別的準(zhǔn)確性在白人和有色人種間存在巨大差異。
谷歌重拳開放Cloud TPU抄课,GPU最強(qiáng)對手上線
3月
Uber實驗性自動駕駛汽車在亞利桑那州撞死了一名行人
中國兩會:總理報告再提新一代人工智能
體系結(jié)構(gòu)宗師John Hennessy唱星、David Patterson獲圖靈獎
【新智元峰會】德國AI教皇盛贊中國人工智能雳旅,25位AI領(lǐng)袖強(qiáng)勢打造中國新智極
4月
Facebook?20 億用戶數(shù)據(jù)均可能泄露,扎克伯格仍不打算辭職
5月
谷歌首次出現(xiàn)集體請辭间聊,抗議軍方合作項目攒盈,300多名學(xué)者發(fā)聯(lián)名信
提升AI公平性的工具開始開發(fā)
Facebook發(fā)布用于識別數(shù)據(jù)偏見的工具,并開始測試相關(guān)算法
6月
谷歌中止Maven軍事合作哎榴,曾打算幫國防部監(jiān)控地球建筑
7月
馬斯克聯(lián)名2000多AI專家誓言禁絕殺人機(jī)器人
8月
Open AI完虐Dota2準(zhǔn)職業(yè)玩家型豁,推塔如割草
六項世界第一!余承東發(fā)布7納米“超級恐怖”芯片叹话,麒麟980讓世界顫抖
亞馬遜Alexa和微軟Cortana完成整合偷遗,挑戰(zhàn)蘋果Siri
9月
更多旨在提升AI公平性的工具面世,美國國會進(jìn)一步關(guān)注AI公平性問題
Google和IBM陸續(xù)發(fā)布了用于識別數(shù)據(jù)偏見的工具驼壶。
有國會議員致函FBI和平等就業(yè)機(jī)會委員會等聯(lián)邦機(jī)構(gòu)氏豌,詢問它們是否制定了旨在緩解AI技術(shù)偏見的工具或政策。
阿里成立獨立芯片公司——平頭哥
10月
亞馬遜打擊有偏見AI的報道热凹。路透社報道稱泵喘,亞馬遜正在測試一種對女性存在偏見的AI招聘工具。
NLP歷史突破般妙!谷歌BERT模型狂破11項紀(jì)錄纪铺,全面超越人類
MIT宣布10億美元成立全新計算與人工智能學(xué)院,重塑70年來結(jié)構(gòu)
11月
新聞聯(lián)播8分鐘:中央強(qiáng)調(diào)AI要有“頭雁”效應(yīng)碟渺,要勇闖無人區(qū)
北大建立人工智能新校區(qū)鲜锚,規(guī)劃用地1025畝
谷歌無人車?yán)洗蟪姓J(rèn)遙遙無期,全自動駕駛寒冬將至苫拍?
12月
微軟發(fā)表官方博文芜繁,推動對面部識別算法的偏見進(jìn)行監(jiān)管。
Science:AlphaZero達(dá)成終極進(jìn)化體绒极,史上最強(qiáng)棋類AI降臨
專家表示骏令,AI背后社會科學(xué)基礎(chǔ)并不像宣傳的那樣扎實,并提出了監(jiān)管AI技術(shù)的意見垄提。
谷歌翻譯聲稱榔袋,已在翻譯中修復(fù)可能存在偏見的性別代詞
歐盟公布AI技術(shù)道德準(zhǔn)則草案,同時實現(xiàn)了AI投資200億美元的目標(biāo)
世界最大AI創(chuàng)新應(yīng)用園揭幕:首鋼老廠區(qū)將變身新北京“AI World”
總體來看铡俐,2018年AI整個行業(yè)在中美及世界其他地區(qū)仍然呈現(xiàn)蓬勃發(fā)展的態(tài)勢凰兑,但各國立法機(jī)構(gòu)和行業(yè)團(tuán)體對“奇點降臨”和“終結(jié)者末日”等噱頭話題的關(guān)注明顯降溫,而更多關(guān)注AI技術(shù)的貿(mào)然落地可能給政府和私營部門帶來的潛在危害审丘。
由于偏見或缺乏道德上的頂層設(shè)計吏够,公眾需要對AI的潛在缺點有更深入的了解,在這種思路的指引下,將AI研究快速轉(zhuǎn)化為AI產(chǎn)品的路線稿饰,可能會在未來遇到更大的阻力。
在新智元年終微信群訪談“獨見”中露泊,小 i 機(jī)器人CEO朱頻頻表示喉镰,今年最大的 AI 產(chǎn)業(yè)事件是11月19日,美國商務(wù)部工業(yè)與安全局提出了一份針對關(guān)鍵技術(shù)和相關(guān)產(chǎn)品的出口管制框架方案惭笑,文件列出了14個考慮進(jìn)行管制的領(lǐng)域侣姆,包括生物技術(shù)、人工智能沉噩、數(shù)據(jù)分析捺宗、量子計算、機(jī)器人川蒙、腦機(jī)接口等前沿技術(shù)蚜厉。
“無論是長期的積極影響還是短期的負(fù)面影響,[對中國AI] 影響都是深遠(yuǎn)而巨大的畜眨≈缗#”朱頻頻說。
作為語音與自然語言處理領(lǐng)域的專家康聂,朱頻頻認(rèn)為谷歌BERT模型的推出是2018年最重要的學(xué)術(shù)新聞贰健,“未來十年是NLP的黃金十年,即使不出現(xiàn)BERT模型恬汁,也會出現(xiàn)其他有效的NLP模型伶椿,”朱頻頻表示:“因為認(rèn)識智能的發(fā)展是未來發(fā)展的趨勢∶ゲ啵”
此外脊另,情感計算和交互以及AIoT等方面的發(fā)展也值得期待。