隨著大型語(yǔ)言模型（LLMs）在各行各業(yè)的應(yīng)用日益廣泛，確保這些模型輸出內(nèi)容的事實(shí)準(zhǔn)確性變得至關(guān)重要眯停。為此，研究者們提出了“FACTS Grounding”基準(zhǔn)測(cè)試滋觉，旨在評(píng)估LLMs是否能夠根據(jù)提供的具體材料準(zhǔn)確作答，同時(shí)避免產(chǎn)生所謂的“幻覺”——即無(wú)中生有地捏造信息覆致。這項(xiàng)測(cè)試不僅有助于提高模型的可信度肺蔚，還為推動(dòng)LLMs在更多關(guān)鍵領(lǐng)域如醫(yī)療、法律等的實(shí)際應(yīng)用鋪平了道路宣羊。可以說仇冯，這是提升人工智能技術(shù)可靠性和用戶信任感的重要一步。
FACTS Grounding 基準(zhǔn)測(cè)試的核心在于驗(yàn)證LLMs能否基于給定的文檔或數(shù)據(jù)集生成準(zhǔn)確比被、相關(guān)且沒有偏差的回答泼舱。這要求模型不僅要理解文本的內(nèi)容，還要具備良好的推理能力和事實(shí)核查機(jī)制尺迂。具體來說：
測(cè)試過程中冒掌，會(huì)明確告知模型所使用的參考資料，確保其答案直接來源于這些資料股毫，而不是憑空想象。
通過模擬真實(shí)場(chǎng)景中的多輪問答過程祭陷，檢驗(yàn)?zāi)Ｐ驮诔掷m(xù)交互中保持信息一致性的能力氧急，防止出現(xiàn)前后矛盾的情況。
考慮到不同行業(yè)和領(lǐng)域的特殊性吩坝，測(cè)試將涵蓋多個(gè)主題范圍，以評(píng)估LLMs在不同背景下的表現(xiàn)弧呐。
引入自動(dòng)化的工具來識(shí)別并標(biāo)記可能存在的不準(zhǔn)確之處，幫助開發(fā)人員及時(shí)調(diào)整優(yōu)化模型俘枫。
FACTS Grounding基準(zhǔn)測(cè)試是由谷歌DeepMind團(tuán)隊(duì)發(fā)布的，旨在評(píng)估大型語(yǔ)言模型（LLMs）根據(jù)給定材料是否能夠準(zhǔn)確作答鸠蚪，并避免“幻覺”（即捏造信息）的能力。這項(xiàng)測(cè)試通過提升LLMs的事實(shí)準(zhǔn)確性茅信，增強(qiáng)用戶對(duì)這些模型的信任度，并拓展其應(yīng)用范圍妖谴。
在數(shù)據(jù)集方面酌摇，F(xiàn)ACTS Grounding基準(zhǔn)測(cè)試包含1719個(gè)示例，覆蓋金融仍稀、科技怯伊、零售判沟、醫(yī)療和法律等多個(gè)領(lǐng)域。每個(gè)示例包括一篇文檔吧秕、一條基于文檔的系統(tǒng)指令和隨附的提示詞迹炼。文檔長(zhǎng)度不一，最長(zhǎng)可達(dá)32000個(gè)token（約20000字）砂碉。
用戶請(qǐng)求包括摘要刻两、問答生成和改寫等任務(wù)，但不包含需要?jiǎng)?chuàng)造力磅摹、數(shù)學(xué)或復(fù)雜推理的任務(wù)霎奢。數(shù)據(jù)集分為860個(gè)“公共”示例和859個(gè)“私有”示例幕侠，其中公共數(shù)據(jù)集已發(fā)布供評(píng)估使用碍彭，私有數(shù)據(jù)集用于排行榜評(píng)分，以防止基準(zhǔn)污染和排行榜作弊窗骑。
評(píng)估方案上漆枚，F(xiàn)ACTS Grounding采用Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet 3款模型作為評(píng)委软族，評(píng)估答案的充分性残制、事實(shí)準(zhǔn)確性和文檔支持性。
評(píng)估分為兩個(gè)階段：首先評(píng)估響應(yīng)是否符合資格颗祝，即是否充分回答了用戶請(qǐng)求恼布；然后評(píng)估響應(yīng)的事實(shí)準(zhǔn)確性，即是否完全基于所提供的文檔折汞，有沒有出現(xiàn)“幻覺”。
最終基于模型在所有示例上的平均得分計(jì)算得出损同。在FACTS Grounding Benchmark中鸟款，谷歌的Gemini模型在事實(shí)準(zhǔn)確的文本生成方面取得了最高分。
此外何什，為了鼓勵(lì)開發(fā)者關(guān)注這一重要議題，許多組織已經(jīng)開始舉辦相關(guān)的競(jìng)賽活動(dòng)禁炒，邀請(qǐng)全球的研究團(tuán)隊(duì)參與進(jìn)來。例如幕袱，一些知名的科技公司和學(xué)術(shù)機(jī)構(gòu)聯(lián)合發(fā)起了挑戰(zhàn)賽，獎(jiǎng)勵(lì)那些能夠在FACTS Grounding測(cè)試中取得優(yōu)異成績(jī)的團(tuán)隊(duì)涯捻。這類活動(dòng)不僅促進(jìn)了技術(shù)的進(jìn)步望迎，也為業(yè)界樹立了更高標(biāo)準(zhǔn)。
