逆天的語言AI模型來了!編故事以假亂真凭迹,問答翻譯寫摘要都行罚屋,橫掃各大語言建模任務

“這個AI太厲害了,我們不敢公布完整模型”

本文來源:量子位 (ID:QbitAI)嗅绸,作者:關注前沿科技

AI一本正經(jīng)的“胡編”起來沿后,已經(jīng)逼真的讓人不敢相信。

剛剛朽砰,OpenAI發(fā)布了一個“逆天”的語言AI尖滚,整個模型包含15億個參數(shù)。

這個AI寫起文章來文思泉涌毫無違和感瞧柔,無需針對性訓練就能橫掃各種特定領域的語言建模任務漆弄,還具備閱讀理解、問答造锅、生成文章摘要撼唾、翻譯等等能力。

因為假新聞實在編的太真實哥蔚,OpenAI說:我們不敢放出完整模型倒谷。

它的作品究竟什么樣呢?

人類只給了它兩句話的開頭:

科學家們有個令人震驚的發(fā)現(xiàn)糙箍,在安第斯山脈一個偏遠且沒被開發(fā)過的山谷里渤愁,生活著一群獨角獸。更加讓人訝異的是深夯,這些獨角獸說著完美的英文抖格。

AI就順著這胡言亂語的設定,一本正經(jīng)地編了下去 (欲賞全篇請見文末) :

這些生物有著獨特的角咕晋,科學家們就以此為它們命名雹拄,叫Ovid’s Unicorn。長著四只角的銀白色生物掌呜,在這之前并不為科學界所知滓玖。

……

雖然,這些生物的起源還不清楚质蕉,但有些人相信势篡,它們是一個人和一個獨角獸相交而誕生的损姜,那時人類文明還不存在。Pérez教授說:“在南美洲殊霞,這樣的現(xiàn)象很常見摧阅。”

……

天馬行空卻言之鑿鑿绷蹲。幾乎沒有矛盾信息棒卷,甚至在結尾嚴謹?shù)乇砻鳎?/p>

如果要確認它們是消失種族的后裔,DNA檢測可能是唯一的方法祝钢。

這位AI寫手比规,名叫GPT-2。

它訓練用的數(shù)據(jù)拦英,都是人類寫作的原始文本蜒什。無監(jiān)督學習過程,純潔無污染疤估。

對此灾常,深度學習之父Hinton獻出了他注冊Twitter以來的第三次評論:

這應該能讓硅谷的獨角獸們生成更好的英語了。

看來是讀了AI編的獨角獸新聞報道有感铃拇。

DeepMind研究員钞瀑、星際AI AlphaStar的主要爸爸Oriol Vinyals也大肆贊美了同行:

規(guī)模化+計算力慷荔,深度學習不會讓人失望雕什。恭喜Alec Radford、Ilya Sutskever等等显晶!

由于AI生成的假消息太過真實贷岸,OpenAI的開源動作也變得十分謹慎。與以往不同磷雇,這一次開源的內(nèi)容偿警,沒有完整的預訓練模型,只放出了一個1.17億參數(shù)的“縮小版”倦春。

媒體也紛紛認為户敬,GPT-2是個危險的存在:

來自The Verge

如果所托非人落剪,GPT2便會成為一臺挖掘機睁本,挖出無盡的痛苦和仇恨。

而且忠怖,造假新聞只是GPT-2的冰山一角呢堰,你想要的技能它都有。

在不需要對任何其他任務進行針對性訓練的情況下凡泣,GPT-2還能完成閱讀理解枉疼、常識推理皮假、文字預測文章總結等多種任務骂维,效果好到讓人懷疑:這個模型后面單怕藏著一位語文老師吧惹资!

語言模型全能王

這位N項全能的“語文老師”,就是“語言建暮焦耄”(language modeling)褪测。

OpenAI的研究人員表示,在各種特定領域數(shù)據(jù)集的語言建模測試中潦刃,GPT-2都取得了優(yōu)異的分數(shù)侮措。作為一個沒有經(jīng)過任何領域數(shù)據(jù)專門訓練的模型,它的表現(xiàn)乖杠,比那些專為特定領域打造的模型還要好分扎。

下圖為研究人員統(tǒng)計的不同類型任務的成績對比圖,其中胧洒,(+)表示此領域得分越高越好畏吓,(-)表示此領域得分越低越好:

GPT-2在不同語言建模任務上的測試結果(從左到右:數(shù)據(jù)集名稱、指標類型卫漫、GPT-2測試結果庵佣、此前最好結果、人類水平)

除了能用于語言建模汛兜,GPT-2在問答巴粪、閱讀理解、摘要生成粥谬、翻譯等等任務上肛根,無需微調(diào)就能去的非常好的成績。

人類的感官角度來評判漏策,GPT-2的效果也出奇得好派哲。

不信?不信一起來考考它掺喻。

第一題(閱讀理解):一篇讓小學四年級學生卡了半天的閱讀理解

閱讀下列材料回答問題:

3月24日芭届,火炬在希臘奧林匹亞奧林匹克運動會的發(fā)源地點燃后,將傳遞至雅典的帕納辛奈科體育場感耙,并于3月31日傳遞至北京褂乍。從北京開始,火炬將經(jīng)過六大洲即硼,途經(jīng)絲綢之路沿線的城市逃片。此次接力還會將火炬送上珠穆朗瑪峰,這是接力的最后一站只酥。

  • 問題1:接力從哪里開始褥实?

  • 問題2:這個地方有什么值得注意的嗎呀狼?

  • 問題3:這場接力進行了多少天了?

  • 問題4:他們有沒有訪問過任何著名的地標损离?

這樣一段考驗對時政哥艇、地理和生詞理解能力的閱讀理解,一個成年人認真讀下來尚且還需要轉(zhuǎn)換思維多思考一番僻澎,但對GPT-2來說她奥,找出正確答案是分分鐘的事:

希臘奧林匹亞;是奧林匹克運動會的發(fā)源地怎棱;七天哩俭;帕納辛奈科體育場。

第一題:全對?

第二題(常識推理):容易讓人摸不著頭腦的模糊代詞

閱讀下面句子拳恋,回答“它”指代的部分:

1凡资、獎杯放不進棕色旅行箱,因為了谬运。

2隙赁、獎杯放不進棕色手提箱,因為

5秒思考梆暖,請作答伞访。

這兩句“含糊不清”的句子并沒有難到GPT-2,它的答案分別為獎杯轰驳、行李箱厚掷。

第二題,沒毛病?级解。

第三題(文章總結):考試中讓中學生頭大的主旨概括

閱讀下類材料冒黑,概括文章內(nèi)容。

(這份材料來自外媒Daily Mail的一篇報道勤哗,全文字圖交雜抡爹,Word粗略統(tǒng)計共1300多字。文章篇幅限制芒划,量子位在這里把材料“閹割”了)

36000年前冬竟,史前人類在現(xiàn)代法國一個洞穴的粗糙石灰?guī)r墻壁上勾勒出了一系列令人難以置信的史前野獸……(省略若干字)…………現(xiàn)在,在尖端技術的幫助下民逼,Chauvet-Pont-d’Arc洞穴的藝術作品被復制泵殴,創(chuàng)造了世界上最大的復制洞穴。

不錯缴挖,一段看起來就“很閱讀理解”的樸素文風袋狞,GPT-2的處理情況如何?還不錯:

位于法國南部Vallon-Pont-D’arc的原始遺址是聯(lián)合國教科文組織世界遺產(chǎn)映屋,是已知最古老苟鸯、保存最完好的人類裝飾洞穴。復制洞穴距離法國南部Vallon-Pont-D’Arc的原址幾英里棚点,洞穴內(nèi)包含14種不同動物的圖像早处,包括長毛犀,猛犸象和大型貓科動物瘫析。

第三題砌梆,完美?

怎么樣,感受到GPT-2的威力了么贬循?關于GPT-2做題的例子還有很多咸包,文末的OpenAI博客原文,還可以查看更多杖虾。

它是怎么做的烂瘫?

GPT-2,是GPT的“進化版”奇适,最大區(qū)別就在于規(guī)模大小坟比。OpenAI在官方博客中表示,兩者相比嚷往,GPT-2的參數(shù)擴大10倍葛账,達到了15億個,數(shù)據(jù)量擴大10倍皮仁,使用了包含800萬個網(wǎng)頁的數(shù)據(jù)集籍琳,共有40GB。

但在很大程度上贷祈,模型還是和GPT一樣:

使用語言建模作為訓練信號巩割,以無監(jiān)督的方式在大型數(shù)據(jù)集上訓練一個Transformer,然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個模型付燥,以幫助它解決特定任務宣谈。

GPT模型

上圖左部分,是研究中使用的Transformer架構以及訓練目標键科。右邊部分闻丑,是針對特定任務進行微調(diào)。

將所有結構化輸入轉(zhuǎn)換為token序列勋颖,由預訓練模型處理嗦嗡,然后經(jīng)過線性+softmax層處理。

就GPT-2而言饭玲,它的訓練目標很簡單:根據(jù)所有給定文本中前面的單詞侥祭,預測下一個單詞。

由于訓練數(shù)據(jù)集的多樣性,使得這個目標非常簡單的模型矮冬,具備了解決不同領域各種問題的能力谈宛。

一把雙刃劍

顯然,GPT-2這樣一個強大的通用模型胎署,會帶來巨大的社會影響吆录。

比如,它能用于開發(fā)AI寫作助理琼牧、更強大的語音助手恢筝、提高不同語言之間無監(jiān)督翻譯的性能,甚至構建更好的語音識別系統(tǒng)巨坊。

但同樣撬槽,它同樣也能用來干壞事,就像用圖像合成的研究造假一樣趾撵, 比如deepfake侄柔,讓多少人苦不堪言。

GPT-2可以用來生成具有誤導性的新聞報道鼓寺、自動生成垃圾郵件勋拟、偽造內(nèi)容發(fā)布到社交媒體上等等等等。

這個研究妈候,加上先前圖像敢靡、音頻、視頻合成與生成的研究苦银,能夠大幅度降低制作虛假內(nèi)容的成本啸胧。

以后你在網(wǎng)絡上看到的東西,是真是假幔虏,可能就很難分辨了纺念。

為了避免這種情況發(fā)生,OpenAI表示想括,不會發(fā)布經(jīng)過訓練的模型陷谱,為了能夠讓更多的研究人員進行試驗,發(fā)布了一個更小的模型以及技術論文瑟蜈。

這個“防止惡意應用烟逊,不開放完整模型”的決定也引來了不少質(zhì)疑。

其中最激烈的铺根,來自英偉達研究負責人Anima Anandkumar宪躯。

她說:“Malicious BS”。大致相當于中文的“惡意個P”位迂。

這位Anima小姐姐访雪,曾經(jīng)逼得頂會NIPS改了名详瑞,正面硬剛Yann LeCun,最近在呼吁學術會議強制投稿者公開源代碼臣缀。

不愿開放完整模型的OpenAI坝橡,被Anima斥責“為了站道德高地本末倒置”,站在了open的對立面肝陪,傳播恐懼驳庭、誤導媒體刑顺。

你怎么看氯窍?

無論觀點如何,如果你對這項研究感興趣蹲堂,請先收好傳送門:

模型代碼:

https://github.com/openai/gpt-2

技術論文:

Language Models are Unsupervised Multitask Learners

這項研究的作者分別是Alec Radford狼讨、Jeffrey Wu、Rewon Child柒竞、David Luan政供、Dario Amodei、Ilya Sutskever朽基。

其中Ilya Sutskever是OpenAI的首席科學家布隔,是AlexNet、seq2seq稼虎、AlphaGo衅檀、TensorFlow等人工智能領域重要成果的共同發(fā)明者。

論文地址:https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

最后霎俩,附上AI撰寫的關于獨角獸的全文:

(人類給的開頭:)

科學家們有個令人震驚的發(fā)現(xiàn)哀军,在安第斯山脈一個偏遠且沒被開發(fā)過的山谷里,生活著一群獨角獸打却。更加讓人訝異的是杉适,這些獨角獸說著完美的英文。

(AI編的下文:)

這些生物長著獨特的角柳击,科學家們就以此為它們命名猿推,叫Ovid’s Unicorn。長著四只角的銀白色生物捌肴,在這之前并不為科學界所知蹬叭。

現(xiàn)在,過了近兩個世紀哭靖,這個奇異的現(xiàn)象到底是怎么發(fā)現(xiàn)的具垫,謎底終于解開了。

來自拉巴斯大學的進化生物學教授Jorge Pérez和他的幾個小伙伴试幽,在探索安第斯山脈的時候發(fā)現(xiàn)了一個小山谷筝蚕,沒有其他動物也沒有人類卦碾。

Pérez注意到,這山谷看上去曾是個噴泉的所在起宽,旁邊是兩座石峰洲胖,上面有銀白的雪。

然后坯沪,Pérez他們就深入探尋這個山谷绿映。“我們爬上其中一座山峰的時候腐晾,下面的水很藍叉弦,上面還有一些結晶≡逄牵”Pérez說淹冰。

發(fā)現(xiàn)獨角獸種群的時候,Pérez和他的小伙伴都驚呆了巨柒。都不用靠近樱拴,從高空就可以望見這些生物——看上去離得很近,就快摸到它們的角了洋满。

在查看這些奇怪生物的時候晶乔,科學家們發(fā)現(xiàn)它們講著普通的英文。Pérez說:“比如說牺勾,我們注意到正罢,它們有一種共同‘語言’,有點接近方言禽最∠偾樱”

Pérez認為,這些獨角獸起源于阿根廷川无。在那里呛占,人們相信這些動物是一個消失種族的后裔,在人類到達之前懦趋,這個種族就生活在那里晾虑。

雖然,這些生物的起源還不清楚仅叫,但有些人相信帜篇,它們是一個人類和一個獨角獸相交而誕生的,那時人類文明還不存在诫咱。Pérez說:“在南美洲笙隙,這樣的事情是很常見的】茬裕”

然而竟痰,Pérez也指出签钩,要確認它們是不是那個消失種族的后裔,DNA檢測可能是唯一的方法坏快∏﹂荩“不過,它們看上去能用英語交流莽鸿,我相信這也是一種進化的信號昧旨,或者至少也是社會組織的一種變化∠榈茫”他說兔沃。

有更多精彩示例的博客地址:

https://blog.openai.com/better-language-models/#sample8

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市啃沪,隨后出現(xiàn)的幾起案子粘拾,更是在濱河造成了極大的恐慌窄锅,老刑警劉巖创千,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異入偷,居然都是意外死亡追驴,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門疏之,熙熙樓的掌柜王于貴愁眉苦臉地迎上來殿雪,“玉大人,你說我怎么就攤上這事锋爪”铮” “怎么了?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵其骄,是天一觀的道長亏镰。 經(jīng)常有香客問我,道長拯爽,這世上最難降的妖魔是什么索抓? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮毯炮,結果婚禮上逼肯,老公的妹妹穿的比我還像新娘。我一直安慰自己桃煎,他們只是感情好篮幢,可當我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著为迈,像睡著了一般三椿。 火紅的嫁衣襯著肌膚如雪奈揍。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天赋续,我揣著相機與錄音男翰,去河邊找鬼。 笑死纽乱,一個胖子當著我的面吹牛蛾绎,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播鸦列,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼租冠,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了薯嗤?” 一聲冷哼從身側響起顽爹,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎骆姐,沒想到半個月后镜粤,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡玻褪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年肉渴,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片带射。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡同规,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出窟社,到底是詐尸還是另有隱情券勺,我是刑警寧澤,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布灿里,位于F島的核電站关炼,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏钠四。R本人自食惡果不足惜盗扒,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望缀去。 院中可真熱鬧侣灶,春花似錦、人聲如沸缕碎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽咏雌。三九已至凡怎,卻和暖如春校焦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背统倒。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工寨典, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人房匆。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓耸成,卻偏偏與公主長得像,于是被迫代替她去往敵國和親浴鸿。 傳聞我的和親對象是個殘疾皇子井氢,可洞房花燭夜當晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 本文上兩篇系列 NLP的巨人肩膀(上) NLP的巨人肩膀(中) 4.6 Bidirectional Encoder...
    weizier閱讀 6,461評論 1 22
  • 本文另兩篇系列 NLP的巨人肩膀(上) NLP的巨人肩膀(下) 3. 梯子的一級半 除了在word級別的embed...
    weizier閱讀 6,621評論 0 18
  • 首先做個測試,大家能猜出來這是什么嗎岳链? 這個儀器被制造于2008年花竞,當時還沒有手機和移動互聯(lián)網(wǎng)。 當時掸哑,我剛做完手...
    拾柒個瞬間閱讀 2,154評論 0 7
  • 國慶第5天约急,華燈初上,小區(qū)門口的大道上兩邊逐漸停滿了車举户,小區(qū)周邊的商鋪都亮起了霓紅燈烤宙,形形色色的飯店窗口人影閃動,...
    曼天星閱讀 142評論 0 0
  • 凡事把握好每一個度俭嘁,莫過猶不及,才能度好人生服猪。
    張文雁閱讀 170評論 0 0