谷歌子公司 DeepMind 發(fā)布了 Gopher，這是一個 2800 億參數(shù)的人工智能自然語言處理 (NLP) 模型司澎∑墼担基于 Transformer 架構(gòu)并在名為 MassiveText 的 10.5TB 語料庫上進(jìn)行訓(xùn)練，Gopher 在 124 項評估任務(wù)中的 100 項中優(yōu)于當(dāng)前其它先進(jìn)的技術(shù)挤安。
作為通用 AI 研究工作的一部分谚殊，DeepMind 團隊訓(xùn)練了 Gopher 和幾個較小的模型，以探索大型語言模型 (LLM) 的優(yōu)缺點蛤铜。特別是嫩絮，研究人員確定了增加模型規(guī)模可以提高準(zhǔn)確性的任務(wù)围肥，例如閱讀理解和事實檢查剿干，以及那些不能提高準(zhǔn)確性的任務(wù)，例如邏輯和數(shù)學(xué)推理穆刻。該團隊在大量 NLP 基準(zhǔn)測試中評估了 Gopher置尔，包括大規(guī)模多任務(wù)語言理解(MMLU) 和BIG-bench ，并將其性能與GPT-3等幾個基準(zhǔn)模型進(jìn)行了比較氢伟。
我們注意到一個總體趨勢榜轿，即 Gopher 在知識密集型任務(wù)上表現(xiàn)出持續(xù)改進(jìn)，但在推理密集型任務(wù)上表現(xiàn)出較少朵锣。根據(jù) DeepMind 團隊的說法谬盐，Gopher 是為 DeepMind 的語言研究奠定了基礎(chǔ)，特別是在將影響這些模型的評估和部署方式的領(lǐng)域……這種方法是創(chuàng)建服務(wù)于社會的大型語言模型的關(guān)鍵猪勇，進(jìn)一步推動我們解決智能以推進(jìn)科學(xué)的使命并造福人類。
語言模型預(yù)測下一個項目或標(biāo)記 文本序列颠蕴，考慮到以前的標(biāo)記泣刹； 當(dāng)?shù)褂眠@樣的模型時，將預(yù)測輸出作為輸入反饋犀被，該模型稱為自回歸模型椅您。基于 Transformer 深度學(xué)習(xí)架構(gòu)的自回歸語言模型在許多 NLP 任務(wù)上創(chuàng)造了最先進(jìn)的性能記錄寡键，許多研究人員開發(fā)了非常大規(guī)模的模型掀泳。雖然 175B 參數(shù) GPT-3 可能是最廣為人知的，但已經(jīng)訓(xùn)練了更多參數(shù)的模型，包括 178B 參數(shù)Jurassic-1和 530B 參數(shù)Megatron-Turing NLG员舵。
收集用于訓(xùn)練此類模型的大型數(shù)據(jù)集是一項挑戰(zhàn)脑沿。幾個這樣的數(shù)據(jù)集已經(jīng)開源，例如Pile和C4马僻，并包含從 Wikipedia 等網(wǎng)站上抓取的文檔庄拇。DeepMind 團隊擔(dān)心，簡單地不分青紅皂白地爬網(wǎng)可能會污染他們的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集以進(jìn)行基準(zhǔn)評估韭邓，因為這些數(shù)據(jù)集在網(wǎng)絡(luò)上可用措近。為了防止這種情況，DeepMind 開發(fā)了一個數(shù)據(jù)準(zhǔn)備管道和一個名為 MassiveText 的自定義訓(xùn)練數(shù)據(jù)集女淑。從 C4瞭郑、Wikipedia、GitHub 和其他來源的內(nèi)容開始鸭你，管道過濾掉顯式內(nèi)容屈张，執(zhí)行文檔重復(fù)數(shù)據(jù)刪除，并過濾掉測試數(shù)據(jù)苇本。
DeepMind 訓(xùn)練了 6 個不同大小的模型袜茧，從 44M 參數(shù)到 280B 參數(shù)的 Gopher 模型。他們在一組 152 個任務(wù)上評估了模型瓣窄，其中 62 個來自 BIG-bench笛厦，57 個來自 MMLU，以及語言建模俺夕、閱讀理解裳凸、事實檢查秘蛇、問答和常識的基準(zhǔn)任務(wù)兴革。對于其中 124 項任務(wù)氧枣，他們將自己的表現(xiàn)與已知的最先進(jìn)的表現(xiàn)進(jìn)行了比較镰惦，Gopher 打破了 100 項的記錄形葬。該團隊還調(diào)查了他們的模型在不同規(guī)模上的表現(xiàn)迅耘，得出的結(jié)論是“[m]任何學(xué)術(shù)科目税娜，連同一般知識月洛，看到大的改進(jìn)僅來自規(guī)募”捌议，但規(guī)模對邏輯推理、常識和數(shù)學(xué)任務(wù)有“減少的好處”引有。
在 Hacker News關(guān)于 Gopher 的討論中瓣颅，一些評論者想知道它“挖掘”信息的能力是否激發(fā)了它的創(chuàng)建者給它起與前網(wǎng)絡(luò)Gopher搜索系統(tǒng)相同的名稱。其他人討論了語言模型是否應(yīng)該被視為“真正的”人工智能：
我們越接近人工智能譬正，我們就越能提高人工智能的標(biāo)準(zhǔn)（我們應(yīng)該這樣做）宫补。Gopher/GPT-3 在技術(shù)信息檢索方面已經(jīng)比普通人準(zhǔn)確得多檬姥。
Gopher 在幾個 NLP 基準(zhǔn)測試中的排名可以在 Papers with Code 網(wǎng)站上找到。
