幻觉不是bug,是模型的默认工作方式
大语言模型生成每个字的时候,做的事很朴素——猜下一个词。
它脑子里没有一张事实清单,也不会先查证再开口。给定上文,它按概率挑一个看起来顺理成章的字,接着再挑下一个。于是问题一旦落到训练语料稀薄的角落,它照样能编出一段读起来毫无破绽的话。流畅和正确,从来不是一回事。
举个例子。你问它某本冷门手册第 42 页写了什么,它可能还你一个结构完整的段落:有小标题,有术语,甚至有页码引用。听着挺像那么回事。可那本书它压根没读过。这就是常说的“一本正经地胡说八道”。

反幻觉的几条常见技术路线
把幻觉当敌人打,思路大致分四层。
输入层:先查再答。这就是 RAG(检索增强生成)在做的事——把外部资料切成片段,检索出相关的几段塞进上下文,让模型做开卷考试。它不需要记住所有事,只要读懂眼前这几页。实操里,切片粒度、召回排序、是否强制标注引用,对结果影响都挺大。
提示与流程层:给它退路。允许模型说“我不知道”,或者“这超出我掌握的信息”,听着像废话,实际很有用。再配上分步推理、交付前自检一遍这类流程约束,能压掉一部分硬编。
解码层:把概率收紧。温度调低、top-p 收窄,输出会保守一些。有些场景还会用约束解码,把候选范围锁死在可枚举的集合里——比如订单号只能从数据库已有的值中挑,那它就没法凭空造一个出来。

训练与后处理层。事实性微调、在人类反馈阶段给幻觉降权、对特定知识做局部编辑,都属于这一类。输出端还能再挂一层核查:同一个问题采样多次取多数一致的答案,或者用另一个模型专门比对事实。
落地时容易踩的几个坑

路线图看着清楚,真上手就不是那么回事了。
检索库本身脏,是挺常见的问题。资料过期、格式混乱、同一件事存在几个互相矛盾的版本,模型读完只会更迷茫。垃圾进、垃圾出,这条规律在反幻觉里同样成立。
还有个反直觉的现象:约束加得太狠,模型会变得畏首畏尾。动不动就“我无法确认”,该答的也不答了,用户体验直线下滑。这个度怎么把握,说实话挺依赖具体业务——写营销文案时,合理的发挥是加分项;查法规条文时,同样的发挥就是事故。
评估环节也值得留意。行业里通常看两个维度:答案对检索到的资料是否忠实,以及该回答的内容覆盖住了多少。只盯一个指标,很容易被“答得极少但都不错”这种策略刷上去。
从实操角度看,反幻觉更像一场权衡,而不是一个能被彻底关闭的开关。想让它一个字都不编,目前还做不到。据一些用户反馈,在提示词里加一句“信息不足请直接说明”,客服场景下的错误率会有可感知的下降,成本几乎为零。就是得多测几轮,看它会不会矫枉过正。
它和知识库问答是一回事吗

不完全一样。知识库问答偏重检索和匹配,反幻觉覆盖的范围更宽——从训练目标、解码策略,一直管到输出核查。两者经常叠着用,边界也没那么清晰。
你在实际搭系统的时候,遇到过哪些让人哭笑不得的幻觉?欢迎结合具体场景接着聊。