反幻觉技术基础：大模型减少不实生成的入门逻辑

什么是反幻觉技术的基础认知

简单说，AI的「幻觉」就是它编了不存在的内容，假得有模有样。反幻觉技术的基础，就是从生成流程的源头做约束，不是事后改。

举个例子，当你让大模型整理某科技公司2023年的公开财报要点。没有反幻觉基础的模型可能瞎编营收数字，有基础约束的模型会先锚定可信内容再输出。

说实话，很多人以为反幻觉是成品出来再修改，其实基础功夫全在生成前和生成中。

反幻觉技术的常见基础路径

目前行业较为常见的基础做法，主要分两类。

第一类是检索增强生成，就是生成回答前，先去提前建好的可信知识库搜出对应内容，把这些真实材料喂给模型，要求模型只能基于材料回答。

第二类是逻辑自校验，模型生成内容后，会自己走一遍校验流程，检查内容有没有和常识冲突，前后逻辑能不能对上。

据一些用户反馈，加了基础反幻觉约束后，企业内部知识库问答的不实内容占比能降不少。

需要留意的是，反幻觉技术基础只是降低幻觉概率，没法完全消除。它通常还会稍微牺牲一点生成的创造性，需要根据场景调整强度。

容易混淆的概念区分

很多人会把反幻觉和内容审核搞混。这完全是两回事。

内容审核管的是内容合不合规，有没有违规信息。反幻觉管的是内容真不真实，有没有瞎编。

有意思的是，不同场景对反幻觉基础的要求差很多。写创意文案不需要太强的约束，做医疗、金融类问答，就必须把反幻觉基础做扎实。