隨著科技的飛速發(fā)展攒磨，人工智能領域取得了令人矚目的成就。在這其中汤徽，大型語言模型（LLMs）以其卓越的性能和廣泛的應用前景娩缰，成為了當前研究的熱點。然而谒府，盡管LLMs在文本生成拼坎、語言翻譯等領域展現出了驚人的能力，但它們對人類語言理解機制的模擬仍然處于初級階段完疫。香港理工大學的研究團隊最近在這一領域取得了重要突破泰鸡，他們通過引入下一句預測（NSP）任務，為理解人類話語理解機制提供了新的視角壳鹤。
該研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about discourse comprehension」為題盛龄，于 2024 年 5 月 23 日發(fā)布在《Science Advances》。
語言是人類交流的重要工具器虾，而話語理解則是這一過程中的關鍵環(huán)節(jié)讯嫂。它涉及到跨句子的意義構建蹦锋，需要整合多個層面的信息以實現對話語的全面理解兆沙。傳統上，LLMs主要依賴單詞預測作為其核心預訓練任務莉掂，但這種方式往往忽視了話語理解的多層面特性葛圃。香港理工大學的研究人員敏銳地捕捉到了這一點，他們通過引入NSP任務憎妙，試圖在模型層面模擬人類對話語理解的復雜過程库正。
NSP任務的核心思想是，通過預測文本中的下一句來增強模型對句間關系的理解能力厘唾。這與人類在處理和理解話語時的過程非常相似褥符。當我們閱讀或聆聽一段文字時，我們不僅會關注單個單詞或句子的意義抚垃，還會將它們整合起來喷楣，形成一個連貫的整體趟大。NSP任務的引入，使得LLMs能夠更好地模擬這一過程铣焊，從而更加準確地理解文本的含義逊朽。
為了驗證NSP任務的有效性，香港理工大學的研究團隊構建了兩個基于BERT的深度語言模型（DLM）曲伊，并在預訓練中操縱了NSP的存在叽讳。他們使用了兩個功能磁共振成像（fMRI）數據集，分別強調連貫和不連接的句子關系坟募，以測試模型在理解話語時的性能岛蚤。研究結果顯示，NSP預訓練顯著提高了模型在捕捉人類理解能力懈糯、編碼上下文信息以及產生更接近人類表示方面的能力灭美。
這一發(fā)現不僅揭示了NSP任務在模擬人類話語理解機制方面的潛力，也為解決語言神經科學中的一些問題提供了新的視角昂利。例如届腐，在個體差異層面，研究人員發(fā)現模型-大腦一致性與閱讀時間呈負相關蜂奸。這意味著犁苏，當模型與人類大腦在處理話語時表現出更高的一致性時，人們的閱讀速度也會更快扩所。這一發(fā)現對于理解閱讀技能的形成和提高具有重要意義围详，同時也為評估閱讀效率提供了新的指標。
此外祖屏，這項研究還為我們提供了關于左右腦功能分工的新見解助赞。雖然經典左腦語言網絡在詞語和句子處理中發(fā)揮著關鍵作用，但右腦在話語理解袁勺、雙語學習雹食、韻律處理及比喻語言理解等高級語言功能中同樣扮演著重要角色。這一發(fā)現進一步強調了大腦在處理和理解語言時的復雜性和多樣性期丰。
香港理工大學的研究團隊通過引入NSP任務群叶，為我們打開了一扇探索人類語言理解機制的新窗口。他們的工作不僅展示了LLMs在模擬人類語言處理方面的巨大潛力钝荡，也為解決語言神經科學中的一些問題提供了新的思路和方法街立。隨著技術的不斷進步和研究的深入，我們有理由相信埠通，在不遠的將來赎离，我們將能夠更加深入地理解人類語言處理的奧秘，并開發(fā)出更加智能端辱、高效的人工智能系統來服務人類社會梁剔。
