第 13 课，共 28 课 · 语言模型与聊天助手

什么是 AI 幻觉？

AI 幻觉是指 AI 模型生成了听起来自信、合理，实际上却错误、捏造或缺乏来源支持的信息，例如编造的引语、错误的日期，或引用一篇根本不存在的论文。之所以会这样，是因为语言模型生成的是“听起来像对的”文字，而不是去查找并核实事实。

AI 为什么会产生幻觉

大语言模型的训练目标是预测下一段文字。它学到的是“哪些词常跟在哪些词后面”，而不是一个经过核实的事实数据库。问到它学得很充分的内容时，最可能的答案通常就是正确答案；但当问题落在训练数据的空白处、涉及冷门细节，或发生在训练截止之后，它仍然会生成最像样的文字，因为它本来就是为此而设计的。

可以把它想象成一个考试时从不留空白的学生：拿不准时，就写一个看起来像正确答案的内容。除非经过训练或在提示词中被要求表达不确定，模型本身并没有“我不确定”的意识，而且它写错误内容时的语气，和写事实时一样流畅、笃定。

常见的幻觉类型

美国国家标准与技术研究院（NIST）在其生成式 AI 风险框架中，把这类风险称为“虚构”（confabulation），这个说法避免了暗示模型真的“感知”到了什么。研究人员还把幻觉分为两类：与所给资料相矛盾的内容，以及资料无法支持的额外说法（Ji 等人，2022）。在日常使用中，最常见的形式有：

捏造来源：不存在的书籍、论文、判例或链接。
细节错误：日期、数字、人名、价格或产品功能。
误读文档：摘要中出现原文根本没说过的内容。
虚构代码：并不存在的函数、配置项或软件包。

幻觉不是什么

幻觉不是撒谎：模型既没有欺骗的意图，也意识不到自己错了。它也不同于知识过时（曾经正确、后来发生变化的信息）和偏见（从训练数据中学到的系统性倾向），尽管三者可能出现在同一个回答里。

幻觉也不是某次更新就能彻底消除的偶发故障。它源于这类模型生成文字的方式，因此任何 AI 工具都可能出现，包括能联网搜索或读取你文件的工具。

使用 AI 时如何减少幻觉

幻觉无法彻底关闭，但可以让它更少出现、更容易被发现。对比 AI 工具时，留意回答是否标注来源、能否把每个说法追溯到原文，这比笼统的“准确率”宣传更能说明可靠性。实用做法如下：

把资料交给模型：直接粘贴文档，或使用先检索可信来源再作答的工具（检索增强生成，即 RAG）。
要求注明出处，然后逐一打开核对。真实的链接或 DOI（论文的永久标识符）可以验证，看似合理的标题却不行。
明确告诉它：“不知道”也是可以接受的回答。
事实类任务使用低温度；涉及数字、人名、法律或医疗等内容时，先核实再使用。

示例

动手试试：揪出捏造的引用

试试这个提示词

第 1 步，提问：
列出三项关于咖啡如何影响记忆力的同行评审研究，每项都给出作者、年份、期刊和 DOI。

第 2 步，核对：在浏览器中把每个 DOI 接在 https://doi.org/ 后面打开。

第 3 步，换一种更稳妥的提问方式：
只列出你确定存在的研究。如果不确定，请直接说明，不要猜测，并标出你无法核实的细节。

结果因助手而异，也取决于它能否联网搜索。凡是打不开、或指向另一篇论文的 DOI，都是幻觉。

要点

幻觉是模型自信给出的错误或无依据的内容。
根源在于预测“可能的文字”，而不是查询事实。
捏造引用、数字错误和虚构代码最为常见。
基于来源作答（RAG）并要求注明出处，可以减少幻觉。
重要事实在使用前一定要核实。

在 Mindber 上试试

术语表：幻觉

查找 AI 研究助手

并排对比 AI 助手

常见问题

ChatGPT 为什么会胡编乱造？

和其他聊天助手一样，ChatGPT 基于语言模型，它生成的是最合理的下一个词，而不是检索经过核实的事实。缺少可靠信息时，它依然可能给出流畅而笃定的回答。联网搜索和来源引用（如可用）能缓解这个问题，但无法根除，所以重要事实仍需核实。

AI 幻觉能被彻底消除吗？

就语言模型的工作原理而言，做不到。基于可信来源作答、改进训练、加入推理步骤和自动事实核查，都能降低幻觉出现的频率，但任何通过预测生成文字的系统，仍可能输出错误内容。请把 AI 的输出当作一位快速但会犯错的助手写的草稿，在出错代价高的场景保留人工审核。

怎么判断 AI 的回答是不是幻觉？

重点检查可以核实的细节：人名、数字、引语、链接和参考文献。打开每个来源，确认它确实说了回答里声称的内容。如果回答对冷门话题给出非常精确的细节、无法提供来源，或者重复提问时事实前后不一，就要格外小心。答案前后矛盾是很强的警示信号。