先搞懂:反幻觉不是“让模型不犯错”
反幻觉技术基础,说白了,就是一套让生成式模型在回答时尽量有据可依、别凭空编造的工程习惯。你可能在客服机器人里见过——用户问退款政策,它却编出一个不存在的条款。尴尬吧?
它的常见使用场景包括企业知识库问答、医疗法律辅助检索、电商导购、代码助手。核心不是追求毫无错误。现实点,是降低胡说概率,并且让错误更容易被发现。

基础手段挺多。检索增强生成,也就是RAG,先查资料再回答。提示词里要求模型引用原文。解码时调低温度。还有工具调用,让它去查数据库,而不是硬猜。
从实操角度看,单靠一个技巧通常不够。比如你只加一句“不要编造”,模型可能还是会编。要配合检索、校验、兜底话术,才比较稳。
关键细节:数据、提示和评测都得盯住
先看知识源。文档切分太碎,检索会丢上下文。切分太大,噪声又多。一般要留重叠,比如一百到两百字。还要给文档打时间戳。过期的政策不清理,反幻觉就成了反时效。
提示词别写得太虚。说“请基于以下资料回答,资料没有就说不知道”,比“请准确回答”有用。再给两个示例。模型更容易照做。
然后是解码参数。温度调低,采样更保守。top_p 也别开太大。不过这个可能因人而异,创意写作和事实问答的配置不一样。

评测环节容易被忽略。据一些用户反馈,上线前只测几十条问题,线上照样翻车。比较常见的做法是建一个“幻觉测试集”,覆盖长尾、时效、多跳问题。每次改提示或换模型都跑一遍。
需要留意的是,引用来源也可能被伪造。模型会生成看似合理的链接或文献名。所以做引用时,最好让系统回查原文片段,别只信模型输出的 URL。
延伸视角:反幻觉和“知识截止”不是一回事

知识截止是模型训练数据的时间边界。反幻觉是减少无依据生成。两者会重叠,但解法不同。前者靠检索更新,后者靠流程约束。
还有人问,微调能不能解决?能帮上忙,尤其领域术语和格式。但它不保证事实新鲜度。RAG 加轻量微调,通常更务实。
趋势上,工具调用和结构化输出在变多。让模型先输出检索查询,再让外部系统核查,接着才组织答案。这个链路长,但可观测性更好。
成本呢?会增加延迟和工程复杂度。小团队可以先从提示词、低温度、人工抽检做起。别一上来就堆全套架构。对吧?
您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。