LLM hallucination:不是笨,是本質

為什麼語言模型會「一本正經地胡說」——而這正是衛教一定要查證的理由

先別急著笑它「連這都不會」

「連這都不會」這句話,常常是在用對人的直覺,去評斷一台本質完全不同的機器。

開場實驗:問三家「PGGB 是什麼」

關鍵不是「哪一家答對」,而是:沒有一家選擇承認不知道。這個共同行為,背後有原因。

來源:Kalai et al., Nature 2026, "Evaluating large language models for accuracy incentivizes hallucinations"(DOI 10.1038/s41586-026-10549-w,OA 全文)。

為什麼會 hallucinate(一):訓練的統計壓力

第一層原因藏在預訓練本身:罕見、孤立的事實,先天就容易被「補」成一個看似合理卻錯誤的答案。

來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w)。

為什麼會 hallucinate(二):評測誘因——更關鍵

主流的 accuracy 評測怎麼計分?論文點出:它獎勵猜測、懲罰棄答(abstention)

模型的選擇得分
答錯0 分
說「不知道」(abstain)0 分
猜,而且猜對有分

在這套規則下,「猜」永遠是優勢策略(dominant strategy)——反正答錯和棄答都是 0,賭一把就有期望值。於是模型被訓練成一直處在「考試模式」

來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w)。

解法:讓模型可以說「我不知道」

現行評測

計分規則隱含「猜了不虧」
→ 鼓勵硬掰、懲罰誠實的棄答

公開計分規則(open rubric)

明說計分規則、答錯要扣分
→ 不確定時,棄答(abstain)反而划算

來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w);NEJM Perspective「Can AI Say I Don't Know?」。

Takeaway:所以衛教一定要查證

hallucination 不是模型笨,是訓練目標(next-word)+ 評測誘因(獎勵猜測)共同作用下的本質產物。

主要依據:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w,OA 全文已入庫)。