幻覺的類型：
- 事實性幻覺：事實錯誤张惹；
- 忠實性幻覺：大模型的回答與用戶的Query有偏離洲鸠。
幻覺的原因：
數(shù)據(jù)漏洞：
- 訓(xùn)練數(shù)據(jù)可能有毒性，訓(xùn)練數(shù)據(jù)來源互聯(lián)網(wǎng)然遏，可能是垃圾數(shù)據(jù)；
- 訓(xùn)練和推理數(shù)據(jù)分布不一致吧彪，導(dǎo)致在推理時產(chǎn)生誤差
架構(gòu)缺陷：
架構(gòu)上的缺陷會影響訓(xùn)練和推理:
- 自回歸架構(gòu)缺陷-每次只基于上個窗口中的單詞進行預(yù)測待侵，可能會漏掉關(guān)鍵的上下文信息；如果上個窗口有錯誤姨裸，會影響到后面的預(yù)測秧倾。
- 自注意力模塊：token增加時，只能保持對某些token的注意力傀缩，可能會導(dǎo)致信息丟失那先；
- softmax 瓶頸：softmax只基于最后一個隱藏層進行輸出，如果這一層的維度限制導(dǎo)致信息不夠赡艰，會導(dǎo)致最終結(jié)果無法表示復(fù)雜特征售淡，即使增加網(wǎng)絡(luò)深度也沒用。
- 自身的隨機性：無論訓(xùn)練還是推理瞄摊，生成答案時本身就有隨機性勋又，大模型是按照概率選取可能的生成內(nèi)容；
訓(xùn)練：
訓(xùn)練：對齊階段不充分/有偏好引導(dǎo)
- 對齊階段時沒有對提問相關(guān)的能力做針對性的提升换帜；
- 對齊階段有偏好引導(dǎo)楔壤，使得大模型的回答更符合部分人的偏好 (Social Biases)；
參考：
A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
https://arxiv.org/abs/2311.05232?spm=ata.21736010.0.0.223d7536BYLdEI&file=2311.05232
