我們什么時候應(yīng)該期待 AGI？
如果我們能夠繼續(xù)擴展 LLM++（并因此獲得更好墩朦、更全面的表現(xiàn)）坯认，那么我們有理由期待到 2040 年（或更早）強大的人工智能能夠?qū)崿F(xiàn)大多數(shù)認知勞動的自動化并加速人工智能的進一步進步。 然而，如果擴展不起作用牛哺，那么通向 AGI 的道路似乎會更長陋气、更棘手，原因我在帖子中解釋過引润。
為了思考有關(guān)擴展的正反兩方面的爭論巩趁，我寫了這篇文章，作為我虛構(gòu)的兩個角色（信徒和懷疑論者）之間的辯論淳附。
我們會耗盡數(shù)據(jù)嗎议慰？
懷疑論者：
明年我們將耗盡高質(zhì)量的語言數(shù)據(jù)。
即使認真對待手波式縮放曲線也意味著燃观，我們需要 1e35 次 FLOP 才能實現(xiàn)足夠可靠和智能的 AI 來撰寫科學(xué)論文（這是人工智能需要自動化進一步的 AI 研究并在縮放變?yōu)榭衫^續(xù)進展的能力的賭注） 不可行）1. 這意味著我們需要比我們看起來擁有的多 5 OOM（數(shù)量級）的數(shù)據(jù)2褒脯。
我擔心當人們聽到“5 OOMs off”時，他們的反應(yīng)是缆毁，“哦番川，我們的數(shù)據(jù)比我們需要的少了 5 倍 - 我們只需要在數(shù)據(jù)效率上提高 2 倍，我們就很優(yōu)秀了”脊框。 畢竟颁督，朋友之間的 OOM 算什么？
不浇雹，5 OOM 意味著我們的數(shù)據(jù)比我們需要的少 100,000 倍沉御。 是的，我們將獲得數(shù)據(jù)效率更高的算法昭灵。 多模式訓(xùn)練將為我們提供更多數(shù)據(jù)吠裆，而且我們可以在多個時期回收代幣并使用課程學(xué)習(xí)。 但即使我們假設(shè)這些技術(shù)可能提供最慷慨的一次性改進烂完，它們也不會為我們提供指數(shù)級的數(shù)據(jù)增長试疙，以跟上這些縮放定律所需的計算指數(shù)級增長。
所以人們說抠蚣，我們將以某種方式讓自我對弈/合成數(shù)據(jù)發(fā)揮作用祝旷。 但自我對戰(zhàn)有兩個非常困難的挑戰(zhàn)
評估：自我對弈與 AlphaGo 配合使用，因為該模型可以根據(jù)具體的獲勝條件（“我贏得了這場圍棋比賽嗎嘶窄？”）來判斷自己怀跛。 但新穎的推理并沒有具體的獲勝條件。 結(jié)果柄冲，正如您所期望的那樣吻谋，LLM 到目前為止還無法糾正自己的推理。
計算：所有這些數(shù)學(xué)/代碼方法都傾向于使用各種類型的樹搜索羊初，您可以在每個節(jié)點重復(fù)運行 LLM滨溉。 對于圍棋獲勝這個相對有限的任務(wù)來說什湘，AlphaGo 的計算預(yù)算是驚人的——現(xiàn)在想象一下，你需要搜索所有可能的人類思維空間晦攒，而不是搜索圍棋棋步的空間闽撤。 除了擴展參數(shù)本身所需的巨大計算量之外（計算 = 參數(shù) * 數(shù)據(jù)），自我運行所需的所有額外計算也是如此脯颜。 使用人類思維水平的 1e35 FLOP 估計哟旗，我們在當今最大的模型上還需要 9 OOM 的計算。 是的栋操，你會從更好的硬件和更好的算法中獲得改進闸餐，但你真的會得到完全相當于 9 個 OOM 的結(jié)果嗎？
信徒：
如果你對規(guī)姆剑化工作的主要反對意見只是缺乏數(shù)據(jù)舍沙，那么你的直覺反應(yīng)不應(yīng)該是：“看起來我們可以通過擴大 Transformer++ 來產(chǎn)生 AGI，但我想我們首先會耗盡數(shù)據(jù)剔宪》髡。”
你的反應(yīng)應(yīng)該是，“天哪葱绒，如果互聯(lián)網(wǎng)更大感帅，我可以用幾百行 Python 代碼編寫其基本結(jié)構(gòu)的模型進行擴展，就可以產(chǎn)生人類水平的思維地淀。 讓大型計算變得智能化是如此容易失球，這是世界上一個瘋狂的事實。
LLM “效率低下”的樣本大多只是不相關(guān)的電子商務(wù)垃圾3帮毁。 我們通過訓(xùn)練他們預(yù)測下一個代幣來加劇這種缺陷——這是一種與我們希望智能代理在經(jīng)濟中執(zhí)行的實際任務(wù)大多無關(guān)的損失函數(shù)实苞。 盡管我們真正想要的能力與我們訓(xùn)練這些模型所用的可怕的損失函數(shù)和數(shù)據(jù)之間存在微小的交集，但我們只需投入微軟年收入的 00.03% 就可以生產(chǎn)出一個嬰兒 AGI（又名 GPT-4） 互聯(lián)網(wǎng)的烈疚。
因此硬梁，考慮到迄今為止人工智能的進展是多么容易和簡單，如果合成數(shù)據(jù)也能發(fā)揮作用胞得，我們就不應(yīng)該感到驚訝。 畢竟屹电，“模型只是想學(xué)習(xí)”阶剑。
GPT-4 已經(jīng)發(fā)布 8 個月了。 其他人工智能實驗室剛剛獲得了自己的 GPT-4 級別模型危号。 這意味著所有研究人員現(xiàn)在才開始著手使自我對弈與當前一代模型一起工作（似乎其中之一可能已經(jīng)成功）牧愁。 因此，到目前為止外莲，我們還沒有公開證據(jù)表明合成數(shù)據(jù)能夠大規(guī)模發(fā)揮作用猪半，但這并不意味著它不能兔朦。
畢竟，當你的基礎(chǔ)模型至少在某些時候有足夠的能力獲得正確答案時磨确，強化學(xué)習(xí)就會變得更加可行（現(xiàn)在你可以獎勵模型完成擴展數(shù)學(xué)證明所需的思想鏈的 1/100 倍） 沽甥，或編寫完成完整拉取請求所需的 500 行代碼）。 很快你的 1/100 成功率就會變成 10/100乏奥，然后是 90/100摆舟。 現(xiàn)在，您嘗試 1000 行拉取請求邓了，模型不僅有時會成功恨诱，而且在失敗時能夠自我批評。 等等骗炉。
事實上照宝，這種合成數(shù)據(jù)引導(dǎo)似乎幾乎直接類似于人類進化。 我們的靈長類祖先幾乎沒有表現(xiàn)出能夠快速辨別和應(yīng)用新見解的能力句葵。 但是厕鹃，一旦人類發(fā)展出語言，就會產(chǎn)生這種遺傳/文化共同進化笼呆，這與LLM 的合成數(shù)據(jù)/自我游戲循環(huán)非常相似熊响，其中模型變得更加智能，以便更好地理解相似副本的復(fù)雜符號輸出诗赌。
自我博弈并不要求模型能夠完美地判斷自己的推理汗茄。 他們只需要更好地評估推理，而不是從頭開始（這顯然已經(jīng)是這種情況了 - 請參閱憲法人工智能铭若，或者只是玩幾分鐘 GPT洪碳，并注意到它似乎更能解釋為什么你會這樣做） 寫下來比自己得出正確答案是錯誤的）4。
幾乎所有與我在大型人工智能實驗室交談過的研究人員都非常有信心他們能夠讓自我對弈發(fā)揮作用叼屠。 當我問他們?yōu)槭裁慈绱舜_定時瞳腌，他們喘了一會兒，好像急于解釋自己的所有想法镜雨。 但隨后他們想起保密是一回事嫂侍，并說：“我不能告訴你具體細節(jié)，但我們可以在這里嘗試很多容易實現(xiàn)的目標荚坞√舫瑁” 或者正如 Dario Amodei（Anthropic 首席執(zhí)行官）在我的播客上告訴我的那樣：
懷疑論者：
憲法人工智能、RLHF 和其他 RL/自我對戰(zhàn)設(shè)置擅長發(fā)揮潛在能力（或在能力頑皮時抑制它們）颓影。 但沒有人展示出一種方法可以真正通過強化學(xué)習(xí)來提高模型的潛在能力各淀。
如果某種自我對弈/合成數(shù)據(jù)不起作用，那你就完蛋了——沒有其他方法可以繞過數(shù)據(jù)瓶頸诡挂。 新的架構(gòu)極不可能提供修復(fù)碎浇。 您需要比 LSTM 到 Transformer 更大的樣本效率提升临谱。 LSTM 早在 90 年代就被發(fā)明了。 因此奴璃，你需要比 20 多年來我們所獲得的更大的飛躍悉默，當時深度學(xué)習(xí)中所有唾手可得的成果都是最容易獲得的。
你從那些對LLM 規(guī)模有情感或經(jīng)濟利益的人那里得到的共鳴并不能替代我們完全缺乏證據(jù)表明強化學(xué)習(xí)可以解決許多 OOM 的數(shù)據(jù)短缺問題溺健。
此外麦牺，LLM 似乎需要如此大量的數(shù)據(jù)才能得出如此平庸的推理，這一事實表明他們根本沒有概括能力鞭缭。 如果這些模型無法在人類 20,000 年后看到的數(shù)據(jù)上達到接近人類水平的性能剖膳，那么我們應(yīng)該考慮 2,000,000,000 年的數(shù)據(jù)也將不夠的可能性。 您無法向飛機添加任何噴氣燃料以使其到達月球岭辣。
到目前為止吱晒，縮放真的有效嗎？
信徒：
你在說什么沦童？ 基準測試性能持續(xù)提升 8 個數(shù)量級仑濒。 模型性能的損失已經(jīng)精確到小數(shù)點后幾位，計算量增加了數(shù)百萬倍偷遗。
在 GPT-4 技術(shù)報告中墩瞳，他們表示，他們能夠“通過使用相同方法訓(xùn)練的模型氏豌，但使用的計算量最多比 GPT-4 少 10,000 倍”來預(yù)測最終 GPT-4 模型的性能喉酌。
我們應(yīng)該假設(shè)在過去 8 個 OOM 中一直有效的趨勢在接下來的 8 個 OOM 中將是可靠的。并且我們將從進一步的 8 OOM 擴展中獲得的性能（或者在性能方面相當于 8 OOM） 考慮到算法和硬件進步所帶來的免費性能提升）可能會產(chǎn)生足以加速人工智能研究的模型泵喘。
懷疑論者：
但當然泪电，我們實際上并不直接關(guān)心下一個令牌預(yù)測的性能。 這些模型已經(jīng)在這個損失函數(shù)上擊敗了人類纪铺。 我們想要找出這些下一個標記預(yù)測的縮放曲線是否實際上對應(yīng)于通用性的真正進展相速。
信徒：
當您擴展這些模型時，根據(jù) MMLU鲜锚、BIG-bench 和 HumanEval 等基準衡量突诬，它們的性能在廣泛的任務(wù)上持續(xù)可靠地提高。
懷疑論者：
但您是否真的嘗試過查看 MMLU 和 BigBench 問題的隨機樣本芜繁？ 它們幾乎都是 Google 搜索的第一命中結(jié)果攒霹。 它們是對記憶力的良好測試，而不是對智力的測試浆洗。 以下是我從 MMLU 中隨機挑選的一些問題（記住 - 這些是多項選擇 - 模型只需從 4 個列表中選擇正確的答案）：
為什么令人印象深刻的是，一個用充滿隨機事實的互聯(lián)網(wǎng)文本訓(xùn)練的模型恰好記住了很多隨機事實集峦？ 為什么這以某種方式表明智力或創(chuàng)造力伏社？
即使在這些人為的正交基準上抠刺，性能似乎也趨于穩(wěn)定。 據(jù)估計摘昌，谷歌新的 Gemini Ultra 模型的計算能力幾乎是 GPT-4 的 5 倍速妖。 但它在 MMLU、BIG-bench 和其他標準基準測試中具有幾乎相同的性能聪黎。
無論如何罕容，常見的基準測試根本無法衡量長期任務(wù)績效（你能在一個月內(nèi)完成一項工作嗎），而接受過下一個代幣預(yù)測訓(xùn)練的LLM 幾乎沒有什么有效的數(shù)據(jù)點可供學(xué)習(xí)稿饰。 事實上锦秒，正如我們在 SWE-bench（衡量法LLM 是否可以自主完成拉取請求）上的表現(xiàn)所看到的，他們在長期整合復(fù)雜信息方面非常糟糕喉镰。 GPT-4 的得分僅為 1.7%旅择，而 Claude 2 的得分稍高一些，為 4.8%侣姆。
我們似乎有兩種基準：
測量記憶生真、回憶和插值的模型（MMLU、BIG-bench捺宗、HumanEval）柱蟀，這些模型似乎已經(jīng)匹配甚至擊敗了普通人。 這些測試顯然不能很好地代表智力蚜厉，因為即使是規(guī)模最大化主義者也不得不承認模型目前比人類愚蠢得多长已。
真正衡量跨長時間范圍或困難抽象自主解決問題的能力的模型（SWE-bench、ARC）弯囊，而這些模型甚至沒有在運行中痰哨。
對于一個模型，我們應(yīng)該得出什么結(jié)論匾嘱，在接受了相當于 20,000 年人類輸入的訓(xùn)練之后斤斧，該模型仍然不明白如果湯姆·克魯斯的母親是瑪麗·李·菲佛，那么瑪麗·李·菲佛的兒子就是湯姆·克魯斯霎烙？ 或者誰的答案如此難以置信地取決于問題的措辭方式和順序撬讽？
因此，甚至不值得問擴展是否會繼續(xù)發(fā)揮作用——到目前為止悬垃，我們甚至似乎沒有證據(jù)表明擴展已經(jīng)發(fā)揮了作用游昼。
信徒：
雙子座似乎是一個奇怪的地方，期待著平穩(wěn)期尝蠕。 GPT-4 顯然突破了懷疑論者對聯(lián)結(jié)主義和深度學(xué)習(xí)的所有預(yù)先登記的批評5烘豌。 對于 Gemini 相對于 GPT-4 的性能，更合理的解釋是 Google 尚未完全趕上 OpenAI 的算法進展看彼。
如果深度學(xué)習(xí)和LLM 存在一些基本的硬性上限廊佩，那么我們難道不應(yīng)該在他們開始發(fā)展常識囚聚、早期推理和跨抽象思考的能力之前就看到它嗎？ 期待平庸推理和高級推理之間存在某種頑固限制的表面原因是什么标锄？
考慮一下 GPT-4 比 GPT-3 好多少顽铸。 這只是 100 倍的放大。 這聽起來好像很多料皇，直到你考慮到這比我們可以在這些模型上進行的額外放大要小多少谓松。 在我們達到世界 GDP 的百分之一之前，我們可以承受 GPT-4 進一步擴大 10,000 倍（即 GPT-6 水平）践剂。 這還是在我們考慮預(yù)訓(xùn)練計算效率提升（例如專家混合鬼譬、閃光注意力）、新的訓(xùn)練后方法（RLAI舷手、思維鏈微調(diào)拧簸、自我對弈等）和硬件改進之前。 其中每一個對性能的貢獻都與您從原始擴展的許多 OOM 中獲得的性能一樣大（它們過去一直這樣做）男窟。 所有這些加在一起盆赤，你大概可以將 GDP 的 1% 轉(zhuǎn)換為 GPT-8 級別的模型。
有關(guān)社會愿意在新的通用技術(shù)上花費多少錢的背景：
英國鐵路投資在 1847 年達到頂峰歉眷，占 GDP 的比例達到驚人的 7%牺六。
“在 1996 年《電信法》生效后的五年里，電信公司投資了超過 5000 億美元（按今天的價值計算汗捡，接近一萬億美元）……鋪設(shè)光纖電纜淑际、增加新交換機和建設(shè)無線網(wǎng)絡(luò)∩茸。”
GPT-8（又名具有按比例放大 100,000,000 倍的 GPT-4 性能的模型）可能只比 GPT-4 稍好一點春缕，但我不明白為什么您會期望如此， 當我們已經(jīng)看到模型能夠通過更小的規(guī)模來思考如何思考以及世界是什么樣子的時候艘蹋。
您從那里知道了這個故事 - 數(shù)以百萬計的 GPT-8 副本編碼內(nèi)核改進锄贼，尋找更好的超參數(shù)，為自己提供大量高質(zhì)量的反饋以進行微調(diào)女阀，等等宅荤。 這使得開發(fā) GPT-9 變得更便宜、更容易……將其推斷為奇點浸策。
模型了解世界嗎冯键？
信徒：
這是微軟研究院的 Sparks of AGI 論文中眾多令人震驚的發(fā)現(xiàn)之一。 他們發(fā)現(xiàn) GPT-4 可以編寫 LaTex 代碼來繪制獨角獸庸汗。 我們已經(jīng)習(xí)慣了這樣的事情惫确，以至于我們不會停下來思考這些例子說明了什么。 據(jù)推測，LaTex 中的動物圖畫不屬于 GPT-4 訓(xùn)練語料庫的一部分雕薪。 然而昧诱，GPT-4 已經(jīng)開發(fā)出了獨角獸外觀的內(nèi)部表示，并且能夠利用其對 LaTex 編程的熟練程度來說明它只以語言形式遇到的概念所袁。 我們看到 GPT-4 做了一些事情，如果它沒有世界模型凶掰，它顯然無法做到（如果它不了解獨角獸的樣子燥爷，它怎么能弄清楚如何在 LaTex 中說明獨角獸）6 。
為了預(yù)測下一個標記懦窘，LLM 必須自學(xué)世界上所有導(dǎo)致一個標記跟隨另一個標記的規(guī)律前翎。 要預(yù)測《自私基因》中的下一段需要理解以基因為中心的進化論觀點，預(yù)測新短篇小說中的下一段需要了解人類角色的心理畅涂，等等港华。
如果你對LLM 進行代碼訓(xùn)練，它會在語言推理方面變得更好午衰。 現(xiàn)在這真是一個令人震驚的事實立宜。 這告訴我們，該模型已經(jīng)從閱讀大量代碼中擠出了一些對如何思考的深刻的一般理解——語言和代碼之間不僅存在一些共享的邏輯結(jié)構(gòu)臊岸，而且無監(jiān)督梯度下降可以提取這種結(jié)構(gòu) 橙数，并利用它能夠更好地進行推理。
梯度下降試圖找到最有效的數(shù)據(jù)壓縮方法帅戒。 最有效的壓縮也是最深灯帮、最有力的。 對物理教科書最有效的壓縮——幫助你預(yù)測書中被刪節(jié)的論證可能如何進行的壓縮——就是對底層科學(xué)解釋的深刻內(nèi)化理解逻住。
懷疑論者：
智力涉及（除其他外）壓縮能力钟哥。 但壓縮本身并不是智能。 愛因斯坦很聰明瞎访，因為他能提出相對論腻贰，但愛因斯坦+相對論并不是一個對我來說似乎有意義的更智能的系統(tǒng)。 與我+我的知識相比装诡，說柏拉圖是個白癡是沒有意義的银受，因為他沒有我們現(xiàn)代對生物學(xué)或物理學(xué)的理解。
因此鸦采，如果 LLM 只是另一個過程（隨機梯度下降）進行的壓縮宾巍，那么我不知道為什么這會告訴我們有關(guān) LLM 自身進行壓縮的能力的任何信息（因此，為什么這會告訴我們有關(guān) LLM 的任何信息） 智力）7.
信徒：
對于為什么擴展必須保持工作的無懈可擊的理論解釋并不是擴展保持工作所必需的渔伯。 蒸汽機發(fā)明整整一個世紀后顶霞，我們對熱力學(xué)有了全面的了解。 技術(shù)史上的通常模式是發(fā)明先于理論，我們也應(yīng)該期待智能也是如此选浑。
沒有任何物理定律表明摩爾定律必須繼續(xù)存在蓝厌。 事實上，總是存在新的實際障礙古徒，這意味著摩爾定律的終結(jié)拓提。 然而，每隔幾年隧膘，臺積電代态、英特爾、AMD 等公司的研究人員就會找出解決這些問題的方法疹吃，并為這一長達數(shù)十年的趨勢注入新的活力蹦疑。
您可以對計算和數(shù)據(jù)瓶頸以及智能的真實本質(zhì)和基準的脆弱性進行所有這些心理體操。 或者你可以只看那該死的線萨驶。
結(jié)論
改變自我就夠了歉摧。 這是我個人的看法。
如果您在過去幾年中是規(guī)模的信徒腔呜，那么我們所看到的進步就會更有意義叁温。 有一個故事可以講述 GPT-4 的驚人性能如何通過一些永遠無法概括的習(xí)語庫或查找表來解釋。 但這是一個沒有任何懷疑論者預(yù)先登記的故事育谬。
舉個例子——我要為懷疑論者提供的一個鋼鐵人是券盅，LLM 尚未建立一個新的聯(lián)系，從而導(dǎo)致一個新的發(fā)現(xiàn)膛檀。 如果一個愚蠢的人能像LLM 一樣記住那么多東西锰镀，他們也能做到這一點。 老實說咖刃，我認為這是最令人信服的懷疑點之一泳炉，其他許多人也是如此。 然后嚎杨，幾天前花鹅，谷歌宣布其 FunSearch 設(shè)置有了新的數(shù)學(xué)發(fā)現(xiàn)8。 如果您是一個懷疑論者枫浙，您可能會一次又一次地經(jīng)歷過這種經(jīng)歷刨肃。
至于信徒，像 Ilya箩帚、Dario真友、Gwern 等人或多或少地闡明了我們早在 12 年前就因規(guī)模擴張而看到的緩慢起飛。
似乎很清楚紧帕，一定程度的擴展可以讓我們實現(xiàn)變革性的人工智能——也就是說盔然，如果你在這些擴展曲線上實現(xiàn)了不可減少的損失，你就創(chuàng)造了一個足夠聰明的人工智能，可以自動化大多數(shù)認知勞動（包括使人工智能變得更聰明所需的勞動） AI）愈案。
但生活中的大多數(shù)事情都比理論上困難挺尾，而且許多理論上可能的事情由于某種原因變得非常困難（聚變能、飛行汽車站绪、納米技術(shù)等）遭铺。 如果自我對弈/合成數(shù)據(jù)不起作用，模型看起來就完蛋了——你永遠不會接近柏拉圖式的不可約損失恢准。 此外掂僵，期望擴展能夠繼續(xù)發(fā)揮作用的理論原因尚不清楚，而擴展似乎能帶來更好性能的基準的普遍性也存在爭議味混。
所以我的初步概率是： 70%：擴展+算法進步+硬件進步將使我們在 2040 年實現(xiàn) AGI卤妒。 30%：懷疑論者是對的 - LLM 和任何類似的東西都完蛋了。
我可能錯過了一些關(guān)鍵的證據(jù)——人工智能實驗室根本沒有發(fā)布那么多研究成果，因為任何關(guān)于“人工智能科學(xué)”的見解都會泄露與構(gòu)建通用人工智能相關(guān)的想法饼问。 我的一位朋友是這些實驗室的研究員，他告訴我巷折，他懷念本科時寫一堆論文的習(xí)慣——現(xiàn)在淘钟，沒有什么值得一讀的文章發(fā)表了。 因此辅肾，我認為我不知道的事情會縮短我的時間队萤。
另外，就其價值而言矫钓，我的日常工作是播客要尔。 但那些本來可以寫出更好文章的人卻因為保密或機會成本而無法這樣做。 所以讓我休息一下新娜，讓我知道我在評論中錯過了什么赵辕。
附錄
以下是一些額外的注意事項。 我覺得我對這些主題的理解還不夠深入概龄，無法充分理解它們對擴展意味著什么还惠。
模型會獲得基于洞察力的學(xué)習(xí)嗎？
在更大的規(guī)模上私杜，模型自然會開發(fā)出更有效的元學(xué)習(xí)方法——只有當你有一個大型的過度參數(shù)化模型并且超出了你訓(xùn)練它對數(shù)據(jù)嚴重過度擬合的程度時蚕键，才會發(fā)生摸索。 摸索似乎與我們的學(xué)習(xí)方式非常相似衰粹。 我們有如何對新信息進行分類的直覺和心理模型锣光。 隨著時間的推移，隨著新的觀察寄猩，這些心理模型本身也會發(fā)生變化嫉晶。 對如此大量數(shù)據(jù)的梯度下降將選擇最通用和外推的電路。 因此，我們開始摸索——最終我們將獲得基于洞察力的學(xué)習(xí)替废。
懷疑論者：
神經(jīng)網(wǎng)絡(luò)具有摸索功能箍铭，但這比人類實際整合新的解釋性見解的效率要低幾個數(shù)量級。 你教一個孩子太陽位于太陽系的中心椎镣，這立即改變了他對夜空的理解诈火。 但你不能只將哥白尼的一個副本輸入到未經(jīng)任何天文學(xué)訓(xùn)練的模型中，并讓它立即將這種見解融入到所有相關(guān)的未來輸出中状答。 奇怪的是冷守，模型必須在如此多的不同上下文中多次聽到信息才能“理解”潛在的概念。
不僅模型從未展示過洞察學(xué)習(xí)惊科，而且考慮到我們用梯度下降訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式拍摇，我不明白這種學(xué)習(xí)是如何可能的——我們在每個例子中都給了它們一堆非常微妙的推動，希望足夠多 這樣的推動會慢慢地將他們推向正確的山頂馆截。 基于洞察的學(xué)習(xí)需要立即從海平面拖放到珠穆朗瑪峰的頂部充活。
靈長類動物的進化是否提供了規(guī)模化的證據(jù)蜡娶？
信徒：
我相信你會在黑猩猩的認知中發(fā)現(xiàn)各種令人尷尬的脆弱性混卵，它們比逆轉(zhuǎn)詛咒更可怕。 這并不意味著靈長類動物大腦存在一些無法通過 3 倍縮放加上一些微調(diào)來修復(fù)的基本限制窖张。
事實上幕随，正如 Suzana Herculano-Houzel 所證明的那樣，人腦的神經(jīng)元數(shù)量與你所期望的具有人腦質(zhì)量的靈長類動物大腦的數(shù)量一樣多宿接。 嚙齒類動物和食蟲動物的大腦具有更糟糕的尺度法則——這些目中大腦相對較大的物種的神經(jīng)元數(shù)量比您僅從它們的大腦質(zhì)量中預(yù)期的要少得多赘淮。
這表明，與其他物種的大腦相比澄阳，某些靈長類動物的神經(jīng)架構(gòu)確實具有可擴展性拥知，類似于 Transformer 比 LSTM 和 RNN 具有更好的擴展曲線。 進化在設(shè)計靈長類大腦時吸取了（或者至少是偶然發(fā)現(xiàn)）慘痛的教訓(xùn)碎赢，而靈長類動物競爭的利基環(huán)境會帶來智力的邊際增長（你必須從你的雙目視覺低剔、可對生拇指工具中理解所有這些數(shù)據(jù)—— 使用手，以及其他可以與你交談的聰明猴子）肮塞。
