模型为什么会编?先看它的“填空”习惯
大语言模型做的是概率接龙。给定前文,它猜下一个词。猜得顺,不等于猜得对。比方说,用户问“这款耳机的防水等级”,训练语料里出现过 IPX4、IPX5、IPX7,模型可能把相邻概念缝在一起,给出一个听着合理的数字。它没有恶意,也没有事实数据库在背后按开关。
这就是幻觉:流畅、具体、但和事实对不上。反幻觉技术基础,绕不开两个字——验证。没有验证,模型只是个会讲故事的文本引擎。

从实操角度看,幻觉常出现在三类问题里:长尾事实、实时信息、多跳推理。比如问某个小城市公交线路,或者刚发生的发布会细节,模型容易用旧模式补出新答案。还有一种情况,问题本身带着诱导。用户问“是不是因为XX才导致YY”,模型顺着语气编出一串因果链。
检索增强:先把资料塞进上下文,再让它开口
RAG,检索增强生成。名字挺唬人,拆开就三步:查资料、拼上下文、生成回答。说实话,这招在客服、法务、内部知识库场景里比较常见。用户问“退货要几天”,系统先去文档库捞相关条款,再把条款和问题一起交给模型。
不过话说回来,RAG不是护身符。检索错了,模型会拿着错资料一本正经地推导。检索到了,模型也可能忽略。关键在引用锚点:让回答里的每个事实点,尽量能回指到原文片段。做不到逐字回指,至少标出来源段落。

据一些用户反馈,知识库切块太碎,检索结果会散;切块太大,噪声又多。这个可能因人而异,通常要按文档类型调。合同、工单、FAQ,切法不一样。还有一个细节:检索器召回多篇文档时,重排模型会影响最终上下文,别只盯着生成模型。
校验与拒答:不会就说不会,比硬编强
反幻觉技术基础里,拒答机制常被低估。模型不知道,就让它说“资料里没有”。这听起来简单,做起来要改提示词、改评分、改产品交互。比如医疗问答,如果检索不到明确依据,输出“建议咨询医生”比编一个剂量安全得多。
校验层可以做什么?事实一致性检查、数值核对、实体链接、多模型交叉投票。这些词听着干,其实就是在回答前多问几句:这个数字来自哪段?这个人物和事件对得上吗?两个模型答案冲突时,谁有引用?

有意思的是,有些团队会把“自信度”暴露给用户。低置信就折叠答案,或者标黄提示。不丢人。用户更怕的是被蒙在鼓里。拒答率太高也会伤体验,所以通常要分场景设阈值。
工程上的土办法:分段、抽检、留痕迹

别一上来追求全自动。先把回答拆成小段,每段要求可验证。再把高风险问题拉进人工抽检池。比如金融、医疗、法律,抽检比例高一些;闲聊、创意写作,可以松一些。
还有,日志要留。模型当时检索了什么、引用了什么、生成了什么,都存下来。出问题时,能回溯。这个习惯比堆参数管用。评测集也要养,定期加新出现的错误案例,像滚雪球一样更新。
再补一个边界:反幻觉技术基础不等于消灭幻觉。它更像给模型装护栏。护栏能减少跑偏,但不能保证不跑偏。评估时看事实准确率、引用命中率、拒答合理率,比只看流畅度靠谱。
您在实际使用中还遇到过哪些模型“编故事”的情况?欢迎结合具体场景继续探讨。