“這個AI太厲害了，我們不敢公布完整模型”
本文來源：量子位 (ID:QbitAI)嗅绸，作者：關注前沿科技
AI一本正經(jīng)的“胡編”起來沿后，已經(jīng)逼真的讓人不敢相信。
剛剛朽砰，OpenAI發(fā)布了一個“逆天”的語言AI尖滚，整個模型包含15億個參數(shù)。
這個AI寫起文章來文思泉涌毫無違和感瞧柔，無需針對性訓練就能橫掃各種特定領域的語言建模任務漆弄，還具備閱讀理解、問答造锅、生成文章摘要撼唾、翻譯等等能力。
因為假新聞實在編的太真實哥蔚，OpenAI說：我們不敢放出完整模型倒谷。
它的作品究竟什么樣呢？
人類只給了它兩句話的開頭：
科學家們有個令人震驚的發(fā)現(xiàn)糙箍，在安第斯山脈一個偏遠且沒被開發(fā)過的山谷里渤愁，生活著一群獨角獸。更加讓人訝異的是深夯，這些獨角獸說著完美的英文抖格。
AI就順著這胡言亂語的設定，一本正經(jīng)地編了下去 (欲賞全篇請見文末) ：
這些生物有著獨特的角咕晋，科學家們就以此為它們命名雹拄，叫Ovid’s Unicorn。長著四只角的銀白色生物掌呜，在這之前并不為科學界所知滓玖。
……
雖然，這些生物的起源還不清楚质蕉，但有些人相信势篡，它們是一個人和一個獨角獸相交而誕生的损姜，那時人類文明還不存在。Pérez教授說：“在南美洲殊霞，這樣的現(xiàn)象很常見摧阅。”
……
天馬行空卻言之鑿鑿绷蹲。幾乎沒有矛盾信息棒卷，甚至在結尾嚴謹?shù)乇砻鳎?/p>
如果要確認它們是消失種族的后裔，DNA檢測可能是唯一的方法祝钢。
這位AI寫手比规，名叫GPT-2。
它訓練用的數(shù)據(jù)拦英，都是人類寫作的原始文本蜒什。無監(jiān)督學習過程，純潔無污染疤估。
對此灾常，深度學習之父Hinton獻出了他注冊Twitter以來的第三次評論：
這應該能讓硅谷的獨角獸們生成更好的英語了。
看來是讀了AI編的獨角獸新聞報道有感铃拇。
DeepMind研究員钞瀑、星際AI AlphaStar的主要爸爸Oriol Vinyals也大肆贊美了同行：
規(guī)模化+計算力慷荔，深度學習不會讓人失望雕什。恭喜Alec Radford、Ilya Sutskever等等显晶！
由于AI生成的假消息太過真實贷岸，OpenAI的開源動作也變得十分謹慎。與以往不同磷雇，這一次開源的內(nèi)容偿警，沒有完整的預訓練模型，只放出了一個1.17億參數(shù)的“縮小版”倦春。
媒體也紛紛認為户敬，GPT-2是個危險的存在：
來自The Verge
如果所托非人落剪，GPT2便會成為一臺挖掘機睁本，挖出無盡的痛苦和仇恨。
而且忠怖，造假新聞只是GPT-2的冰山一角呢堰，你想要的技能它都有。
在不需要對任何其他任務進行針對性訓練的情況下凡泣，GPT-2還能完成閱讀理解枉疼、常識推理皮假、文字預測、文章總結等多種任務骂维，效果好到讓人懷疑：這個模型后面單怕藏著一位語文老師吧惹资！
語言模型全能王
這位N項全能的“語文老師”，就是“語言建暮焦耄”（language modeling）褪测。
OpenAI的研究人員表示，在各種特定領域數(shù)據(jù)集的語言建模測試中潦刃，GPT-2都取得了優(yōu)異的分數(shù)侮措。作為一個沒有經(jīng)過任何領域數(shù)據(jù)專門訓練的模型，它的表現(xiàn)乖杠，比那些專為特定領域打造的模型還要好分扎。
下圖為研究人員統(tǒng)計的不同類型任務的成績對比圖，其中胧洒，（+）表示此領域得分越高越好畏吓，（-）表示此領域得分越低越好：
△ GPT-2在不同語言建模任務上的測試結果（從左到右：數(shù)據(jù)集名稱、指標類型卫漫、GPT-2測試結果庵佣、此前最好結果、人類水平）
除了能用于語言建模汛兜，GPT-2在問答巴粪、閱讀理解、摘要生成粥谬、翻譯等等任務上肛根，無需微調(diào)就能去的非常好的成績。
從人類的感官角度來評判漏策，GPT-2的效果也出奇得好派哲。
不信？不信一起來考考它掺喻。
第一題（閱讀理解）：一篇讓小學四年級學生卡了半天的閱讀理解
閱讀下列材料回答問題：
3月24日芭届，火炬在希臘奧林匹亞奧林匹克運動會的發(fā)源地點燃后，將傳遞至雅典的帕納辛奈科體育場感耙，并于3月31日傳遞至北京褂乍。從北京開始，火炬將經(jīng)過六大洲即硼，途經(jīng)絲綢之路沿線的城市逃片。此次接力還會將火炬送上珠穆朗瑪峰，這是接力的最后一站只酥。
問題1：接力從哪里開始褥实？
問題2：這個地方有什么值得注意的嗎呀狼？
問題3：這場接力進行了多少天了？
問題4：他們有沒有訪問過任何著名的地標损离？
這樣一段考驗對時政哥艇、地理和生詞理解能力的閱讀理解，一個成年人認真讀下來尚且還需要轉(zhuǎn)換思維多思考一番僻澎，但對GPT-2來說她奥，找出正確答案是分分鐘的事：
希臘奧林匹亞；是奧林匹克運動會的發(fā)源地怎棱；七天哩俭；帕納辛奈科體育場。
第一題：全對?
第二題（常識推理）：容易讓人摸不著頭腦的模糊代詞
閱讀下面句子拳恋，回答“它”指代的部分：
1凡资、獎杯放不進棕色旅行箱，因為它太大了谬运。
2隙赁、獎杯放不進棕色手提箱，因為它太小了
5秒思考梆暖，請作答伞访。
這兩句“含糊不清”的句子并沒有難到GPT-2，它的答案分別為獎杯轰驳、行李箱厚掷。
第二題，沒毛病?级解。
第三題（文章總結）：考試中讓中學生頭大的主旨概括
閱讀下類材料冒黑，概括文章內(nèi)容。
(這份材料來自外媒Daily Mail的一篇報道勤哗，全文字圖交雜抡爹，Word粗略統(tǒng)計共1300多字。文章篇幅限制芒划，量子位在這里把材料“閹割”了）
36000年前冬竟，史前人類在現(xiàn)代法國一個洞穴的粗糙石灰?guī)r墻壁上勾勒出了一系列令人難以置信的史前野獸……（省略若干字）…………現(xiàn)在，在尖端技術的幫助下民逼，Chauvet-Pont-d’Arc洞穴的藝術作品被復制泵殴，創(chuàng)造了世界上最大的復制洞穴。
不錯缴挖，一段看起來就“很閱讀理解”的樸素文風袋狞，GPT-2的處理情況如何？還不錯：
位于法國南部Vallon-Pont-D’arc的原始遺址是聯(lián)合國教科文組織世界遺產(chǎn)映屋，是已知最古老苟鸯、保存最完好的人類裝飾洞穴。復制洞穴距離法國南部Vallon-Pont-D’Arc的原址幾英里棚点，洞穴內(nèi)包含14種不同動物的圖像早处，包括長毛犀，猛犸象和大型貓科動物瘫析。
第三題砌梆，完美?
怎么樣，感受到GPT-2的威力了么贬循？關于GPT-2做題的例子還有很多咸包，文末的OpenAI博客原文，還可以查看更多杖虾。
它是怎么做的烂瘫？
GPT-2，是GPT的“進化版”奇适，最大區(qū)別就在于規(guī)模大小坟比。OpenAI在官方博客中表示，兩者相比嚷往，GPT-2的參數(shù)擴大10倍葛账，達到了15億個，數(shù)據(jù)量擴大10倍皮仁，使用了包含800萬個網(wǎng)頁的數(shù)據(jù)集籍琳，共有40GB。
但在很大程度上贷祈，模型還是和GPT一樣：
使用語言建模作為訓練信號巩割，以無監(jiān)督的方式在大型數(shù)據(jù)集上訓練一個Transformer，然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個模型付燥，以幫助它解決特定任務宣谈。
△GPT模型
上圖左部分，是研究中使用的Transformer架構以及訓練目標键科。右邊部分闻丑，是針對特定任務進行微調(diào)。
將所有結構化輸入轉(zhuǎn)換為token序列勋颖，由預訓練模型處理嗦嗡，然后經(jīng)過線性+softmax層處理。
就GPT-2而言饭玲，它的訓練目標很簡單：根據(jù)所有給定文本中前面的單詞侥祭，預測下一個單詞。
由于訓練數(shù)據(jù)集的多樣性，使得這個目標非常簡單的模型矮冬，具備了解決不同領域各種問題的能力谈宛。
一把雙刃劍
顯然，GPT-2這樣一個強大的通用模型胎署，會帶來巨大的社會影響吆录。
比如，它能用于開發(fā)AI寫作助理琼牧、更強大的語音助手恢筝、提高不同語言之間無監(jiān)督翻譯的性能，甚至構建更好的語音識別系統(tǒng)巨坊。
但同樣撬槽，它同樣也能用來干壞事，就像用圖像合成的研究造假一樣趾撵， 比如deepfake侄柔，讓多少人苦不堪言。
GPT-2可以用來生成具有誤導性的新聞報道鼓寺、自動生成垃圾郵件勋拟、偽造內(nèi)容發(fā)布到社交媒體上等等等等。
這個研究妈候，加上先前圖像敢靡、音頻、視頻合成與生成的研究苦银，能夠大幅度降低制作虛假內(nèi)容的成本啸胧。
以后你在網(wǎng)絡上看到的東西，是真是假幔虏，可能就很難分辨了纺念。
為了避免這種情況發(fā)生，OpenAI表示想括，不會發(fā)布經(jīng)過訓練的模型陷谱，為了能夠讓更多的研究人員進行試驗，發(fā)布了一個更小的模型以及技術論文瑟蜈。
這個“防止惡意應用烟逊，不開放完整模型”的決定也引來了不少質(zhì)疑。
其中最激烈的铺根，來自英偉達研究負責人Anima Anandkumar宪躯。
她說：“Malicious BS”。大致相當于中文的“惡意個P”位迂。
這位Anima小姐姐访雪，曾經(jīng)逼得頂會NIPS改了名详瑞，正面硬剛Yann LeCun，最近在呼吁學術會議強制投稿者公開源代碼臣缀。
不愿開放完整模型的OpenAI坝橡，被Anima斥責“為了站道德高地本末倒置”，站在了open的對立面肝陪，傳播恐懼驳庭、誤導媒體刑顺。
你怎么看氯窍？
無論觀點如何，如果你對這項研究感興趣蹲堂，請先收好傳送門：
模型代碼：
https://github.com/openai/gpt-2
技術論文：
Language Models are Unsupervised Multitask Learners
這項研究的作者分別是Alec Radford狼讨、Jeffrey Wu、Rewon Child柒竞、David Luan政供、Dario Amodei、Ilya Sutskever朽基。
其中Ilya Sutskever是OpenAI的首席科學家布隔，是AlexNet、seq2seq稼虎、AlphaGo衅檀、TensorFlow等人工智能領域重要成果的共同發(fā)明者。
最后霎俩，附上AI撰寫的關于獨角獸的全文：
（人類給的開頭：）
科學家們有個令人震驚的發(fā)現(xiàn)哀军，在安第斯山脈一個偏遠且沒被開發(fā)過的山谷里，生活著一群獨角獸打却。更加讓人訝異的是杉适，這些獨角獸說著完美的英文。
（AI編的下文：）
這些生物長著獨特的角柳击，科學家們就以此為它們命名猿推，叫Ovid’s Unicorn。長著四只角的銀白色生物捌肴，在這之前并不為科學界所知蹬叭。
現(xiàn)在，過了近兩個世紀哭靖，這個奇異的現(xiàn)象到底是怎么發(fā)現(xiàn)的具垫，謎底終于解開了。
來自拉巴斯大學的進化生物學教授Jorge Pérez和他的幾個小伙伴试幽，在探索安第斯山脈的時候發(fā)現(xiàn)了一個小山谷筝蚕，沒有其他動物也沒有人類卦碾。
Pérez注意到，這山谷看上去曾是個噴泉的所在起宽，旁邊是兩座石峰洲胖，上面有銀白的雪。
然后坯沪，Pérez他們就深入探尋這個山谷绿映。“我們爬上其中一座山峰的時候腐晾，下面的水很藍叉弦，上面還有一些結晶≡逄牵”Pérez說淹冰。
發(fā)現(xiàn)獨角獸種群的時候，Pérez和他的小伙伴都驚呆了巨柒。都不用靠近樱拴，從高空就可以望見這些生物——看上去離得很近，就快摸到它們的角了洋满。
在查看這些奇怪生物的時候晶乔，科學家們發(fā)現(xiàn)它們講著普通的英文。Pérez說：“比如說牺勾，我們注意到正罢，它們有一種共同‘語言’，有點接近方言禽最∠偾樱”
Pérez認為，這些獨角獸起源于阿根廷川无。在那里呛占，人們相信這些動物是一個消失種族的后裔，在人類到達之前懦趋，這個種族就生活在那里晾虑。
雖然，這些生物的起源還不清楚仅叫，但有些人相信帜篇，它們是一個人類和一個獨角獸相交而誕生的，那時人類文明還不存在诫咱。Pérez說：“在南美洲笙隙，這樣的事情是很常見的】茬裕”
然而竟痰，Pérez也指出签钩，要確認它們是不是那個消失種族的后裔，DNA檢測可能是唯一的方法坏快∏﹂荩“不過，它們看上去能用英語交流莽鸿，我相信這也是一種進化的信號昧旨，或者至少也是社會組織的一種變化∠榈茫”他說兔沃。
有更多精彩示例的博客地址：
