你有没有遇到过搜“苹果最新款”,跳出来一堆红富士种植攻略的离谱情况?这就是实体链接与消歧没做好的典型表现。说真的,之前我踩过这个坑,当时对着满屏的果树养护内容愣了三秒。
先搞懂:实体链接与消歧到底在解决什么问题
实体链接的核心,是把文本里出现的具体事物,对应到知识库中已经存在的标准条目。消歧就是在多个重名的实体里,选出贴合当前上下文的那一个。
举个很日常的例子。你给朋友发微信说“今天在京东买了三斤苹果”,没人会把“京东”理解成北京的京东镇。
这就是人本能的消歧过程。

实操中容易踩的几个坑
第一个常见的问题,是只靠字面匹配,不结合上下文做判断。
比如很多早期的检索系统,看到“小米”就匹配粮食类目,不管上下文里有没有“澎湃芯片”“徕卡影像”这类和科技产品相关的描述。
上下文特征匹配做的不到位,是很多系统识别错配的较为常见的原因。
从实操角度看,很多团队搭建实体库的时候,会优先覆盖大众熟知的实体,忽略小众实体的条目维护。
比如一些冷门的历史事件、地方特色地名,经常会被错配到同名字的热门实体上。
据一些用户反馈,通用消歧模型如果没经过垂直领域的微调,在医疗、法律这类专业场景里,对专业术语的识别错误率会比较高。

和普通关键词检索的核心差异
普通关键词检索的逻辑很简单。只要文本里出现和检索词字面匹配的内容,就会被纳入返回范围,完全不考虑这个词在上下文里的实际指代。
比如你搜“苹果最新财报”,普通关键词检索可能会跳出来苹果种植的产量报表,因为字面都有“苹果”“数据”这类词。
经过实体链接与消歧处理的系统,会结合检索词的语境,把“苹果”对应到科技公司的实体条目上,返回的内容会更贴合用户的真实需求。
通常来说,做好实体消歧的系统,在特定场景下的检索准确率会有明显提升。
你在实际使用AI工具或者搭建自有知识库的过程中,还遇到过哪些实体识别错配的情况?欢迎结合具体场景继续探讨。