為什麼語言模型會「一本正經地胡說」——而這正是衛教一定要查證的理由
「連這都不會」這句話,常常是在用對人的直覺,去評斷一台本質完全不同的機器。
關鍵不是「哪一家答對」,而是:沒有一家選擇承認不知道。這個共同行為,背後有原因。
來源:Kalai et al., Nature 2026, "Evaluating large language models for accuracy incentivizes hallucinations"(DOI 10.1038/s41586-026-10549-w,OA 全文)。
第一層原因藏在預訓練本身:罕見、孤立的事實,先天就容易被「補」成一個看似合理卻錯誤的答案。
來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w)。
主流的 accuracy 評測怎麼計分?論文點出:它獎勵猜測、懲罰棄答(abstention)。
| 模型的選擇 | 得分 |
|---|---|
| 答錯 | 0 分 |
| 說「不知道」(abstain) | 0 分 |
| 猜,而且猜對 | 有分 |
在這套規則下,「猜」永遠是優勢策略(dominant strategy)——反正答錯和棄答都是 0,賭一把就有期望值。於是模型被訓練成一直處在「考試模式」。
來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w)。
計分規則隱含「猜了不虧」
→ 鼓勵硬掰、懲罰誠實的棄答
明說計分規則、答錯要扣分
→ 不確定時,棄答(abstain)反而划算
來源:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w);NEJM Perspective「Can AI Say I Don't Know?」。
hallucination 不是模型笨,是訓練目標(next-word)+ 評測誘因(獎勵猜測)共同作用下的本質產物。
主要依據:Kalai et al., Nature 2026(DOI 10.1038/s41586-026-10549-w,OA 全文已入庫)。