OpenAI 與喬治亞理工學院研究人員的突破性論文為語言模型中的幻覺現象提供了令人信服的解釋。核心洞察：模型產生幻覺是因為訓練獎勵猜測而非承認不確定性。這源於懲罰「我不知道」回應同時獎勵幸運猜測的二元評估方法。 論文追溯了從預訓練到後訓練修改的幻覺過程，將其與二元分類中的統計因素連結。它挑戰了誤解，證明幻覺既非不可避免也非神秘。 解決方案？修改評估以包含明確的信心目標，促進「行為校準」。這種方法已在較新的 OpenAI 模型中顯示成效，大幅降低錯誤率。 隨著 AI 進一步整合到關鍵應用中，解決幻覺問題對於建立可信賴系統變得至關重要。這項研究提供了理論洞察和實用建議，以改變 AI 開發和評估方式。
2023 年 9 月，一篇突破性的研究論文《語言模型為何產生幻覺》由 Adam Tauman Kalai、Ofir Nachum、Santosh S. Vempala 和 Edwin Zhang 等研究團隊發表。這項OpenAI 與喬治亞理工學院的重要合作，為人工智慧領域最持續存在的挑戰之一提供了令人信服的解釋：為什麼即使是最先進的語言模型有時也會產生看似合理但完全虛假的資訊。這篇論文提供了一個統計框架來解開幻覺的神秘面紗，追溯其從預訓練到透過後訓練修改而持續存在的起源。
語言模型中的幻覺長期以來一直是個令人困惑的現象。這些是 AI 模型自信地產生錯誤陳述而非承認不確定性的情況。研究人員在論文引言中用一個引人注目的例子說明了這個問題：當被問及 Adam Kalai 的博士論文標題時，三個熱門語言模型產生了三個不同的答案——沒有一個是正確的。這種編造資訊的傾向削弱了人們對 AI 系統的信任，即使這些系統正日益整合到我們的日常生活和工作流程中。
這篇論文的核心洞察既簡單又深刻：語言模型產生幻覺是因為標準的訓練和評估程序獎勵猜測而非承認不確定性。這造成了一個系統性問題，模型學會表現得像參加選擇題考試的學生——當不確定時，他們會做出最佳猜測而非承認無知，因為猜測至少提供了正確的機會，而說「我不知道」則保證得零分。
研究人員建立了生成錯誤與二元分類之間的新穎連結。他們引入了所謂的「是否有效」（IIV）二元分類問題，需要學習使用標記範例來識別有效的生成內容。透過數學分析，他們證明了生成錯誤率與 IIV 誤分類率之間的關係，顯示導致二元分類錯誤的相同統計因素也會造成語言模型錯誤。
預訓練是開發語言模型的第一階段，被證明會固有地產生某些類型的錯誤。即使使用完全無錯誤的訓練資料，預訓練期間最小化的統計目標也會導致模型產生錯誤。論文識別出這些錯誤背後的幾個因素，包括統計複雜性（如生日等任意事實）、建模能力不足（如字母計數任務），以及當訓練資料本身包含錯誤時的「垃圾進，垃圾出」原則。
對於像生日這樣的任意事實，研究人員證明幻覺率與「單例率」直接相關——在訓練資料中恰好出現一次的提示比例。這建立在艾倫·圖靈優雅的「缺失質量」估計器基礎上，該估計器衡量分配給尚未在分佈樣本中出現的結果的機率。
後訓練修改後幻覺的持續存在透過社會技術視角得到解釋。研究人員論證，二元評估方法的主導地位——僅根據準確性對模型評分而不獎勵不確定性表達——創造了一種強化幻覺行為的「流行病」。他們分析了眾多熱門基準評估，發現絕大多數使用懲罰棄權（說「我不知道」）同時獎勵幸運猜測的二元評分系統。
或許最重要的是，論文提供了一個實用解決方案：在評估指令中明確陳述信心目標。研究人員建議修改主流評估以停止懲罰適當的不確定性表達，而非僅僅增加更多幻覺特定評估。他們提議包含如下陳述：「只有在你 >t 信心時才回答，因為錯誤會被懲罰 t/(1-t) 分，而正確答案得到 1 分，回答『我不知道』得到 0 分。」
這種方法促進了研究人員所稱的「行為校準」，模型學會在信心低於指定閾值時棄權。這種方法的好處在OpenAI 的新型模型中得到證明，改進的系統相較於舊模型顯示出顯著更高的棄權率，儘管準確性分數相似，但錯誤率大幅降低。
論文挑戰了關於幻覺的幾個常見誤解。與某些說法相反，幻覺並非不可避免——模型可以在不確定時棄權。此外，避免幻覺不一定需要具有更多能力的更大模型；事實上，更好地認識自身限制的較小模型在某些領域可能較少產生幻覺。另外，幻覺不是神秘的故障，而是目前訓練和評估方法的可預測結果。
這項研究的影響超越了技術改進。隨著語言模型日益整合到醫療保健、教育和商業等關鍵應用中，減少幻覺對於建立可信賴的 AI 系統變得至關重要。透過理解幻覺背後的統計機制並修改評估方法以獎勵適當的不確定性表達，該領域可以在更可靠的 AI 助手方面取得重大進展。
正如OpenAI 在宣布這項研究時指出：「僅僅在旁邊增加一些新的不確定性感知測試是不夠的。廣泛使用的基於準確性的評估需要更新，使其評分不鼓勵猜測。如果主要排行榜持續獎勵幸運猜測，模型就會持續學習猜測。」
這篇論文代表了理解和解決現代語言模型最具挑戰性方面之一的重大進展。透過將幻覺框架為具有明確社會技術維度的統計問題，研究人員提供了理論洞察和實用建議，可能改變我們開發和評估AI 系統的方式。對於有興趣了解更多關於對抗語言模型幻覺的人，《無幻覺的 AI：對抗大型語言模型幻覺的技術》為實務工作者提供了寶貴技術。想要探索 OpenAI 方法的人可以查看《使用 ChatGPT 和 OpenAI 模型的現代生成式 AI》。對於專注於評估方法的專業人士，《使用 LLM 進行 AI 模型評估：自動化、可擴展且抗偏見的 AI 判斷實證方法》提供了自動化評估的實證方法。致力於實施這些洞察的組織應考慮《負責任的 AI：創建可信賴 AI 系統的最佳實務》，以獲得建立可靠 AI 解決方案的指導。
