到底什么是反幻觉技术基础?
说白了,大模型生成内容是按概率拼下一个词,不是真的“知道”自己说的对不对。
很容易编出不存在的事件、论文甚至人物,业内把这种瞎编的情况叫“幻觉”。反幻觉技术基础,就是从底层逻辑上减少这种瞎编的一套规则和方法。
比如你问AI某高校2024年考研复试分数线,它没拿到最新公开数据的话,没做反幻觉的模型会随便编一个分数出来,做了基础反幻觉处理的,会直接告诉你找不到对应信息。

目前常见的两类基础技术路径
业内较为常见的反幻觉基础思路,分训练端和推理端两种,各有适用场景。
训练端的基础做法,是给模型投喂大量经过人工标注校验的真实数据,让模型在学习阶段就建立“哪些内容是确定可输出”的判断标准。
推理端的基础做法,是模型生成内容之前,先去联网或者调用内部已有知识库做检索,只有匹配到对应可信内容才会输出,匹配不到就触发不确定提示。
说实话,现在多数面向C端的AI工具,用的都是推理端的方案,落地快成本也低。据一些用户反馈,加了检索环节的工具,瞎编概率确实降了不少。

普通人用AI要知道的实用要点

首先,不要觉得有了反幻觉技术就不会出错,它只是降低出错概率,不是完全杜绝幻觉。
需要留意的是,如果你要查专业内容、可公开验证的信息,只要在提问的时候加一句不确定的内容不要瞎编,直接说明,就能触发多数工具自带的反幻觉基础机制,效果提升很明显。
这个可能因人而异,有些工具对这句话的响应度不高,那你可以再加一句要求,让它给每一个结论标注信息来源,自己交叉核对一下就行。
有意思的是,很多人用AI踩坑,就是忘了提这个要求,白白吃了瞎编内容的亏。
您在实际使用AI工具的时候,还碰到过哪些离谱的幻觉内容?欢迎结合具体场景继续探讨。