幻觉

语言模型根据训练数据中的规律，预测提示词最可能的后续内容。当它缺乏相关知识，或提示词把它引向某个答案时，它仍会用同样自信的语气写出流畅的文字。研究者将幻觉区分为与原始材料相矛盾的输出，以及无法从原始材料中得到验证的输出。

为什么重要：幻觉是 AI 输出需要人工审核的主要原因，在法律、医疗、金融和学术工作中尤其如此，虚构的引文或数据可能造成实际损害。比较工具时，要关注能降低并暴露这一风险的功能：基于你的文档或搜索结果作答（RAG）、可点击的引用来源，以及模型不确定时的明确提示。

举例：让模型找支持某个论点的判例时，它可能给出一个看似真实、实际并不存在的案件名称和引用编号。

修正手段的局限：检索、更好的提示词和更新的模型都能减少幻觉，但无法根除。请把 AI 输出当作草稿，并对照原始来源核实重要内容。