别急着谈算法,先看“苹果”这个词有多坑
早上刷新闻,看到“苹果发布新机”。中午点外卖,看到“苹果一斤 6 块”。同一个词,两个世界。实体链接与消歧干的事,就是让机器别把这两个苹果搞混。
说白一点,实体链接是把文本里提到的名字,挂到知识库里的某个具体条目上;消歧是候选不止一个时,选出对的那个。
听着简单?真做起来,坑不少。

候选生成、上下文打分,两步走通常跑不掉
从实操角度看,多数系统先做候选生成。比如“小米”出现,先召回:粮食小米、小米公司、小米汽车、甚至小米粥。然后打分。
打分靠什么?上下文词、实体类型、流行度先验、共现关系,还有图嵌入相似度。现在也常见用预训练语言模型,把提及和候选描述拼起来算匹配分。
但别迷信单一信号。只靠流行度,长尾实体容易翻车。只靠上下文,短文本又可能信息不够。
有意思的是,集体消歧经常比单点判断稳。一篇文章里“詹姆斯”和“湖人”一起出现,往篮球运动员那边靠的概率就高些。反过来,“詹姆斯”和“心理学”一起出现,可能指的是威廉·詹姆斯。机器也得看朋友圈。

落地时容易踩的坑,比论文里多

一类坑,别名表不全。“字节跳动”有人写“字节”,“Bytedance”有人拼“ByteDance”。据一些用户反馈,维护别名表这件事,往往比换模型还影响效果。
另一类坑,领域漂移。通用知识库在医疗、法律、金融文本里,可能不够细。一个“CR”在医学里可能是完全缓解,在计算机里可能是回车。没领域词典,模型只能瞎猜。
再一类坑,新实体。今天刚冒出来的网红、公司、梗,知识库没有条目,链接就无从谈起。需要增量更新和回退策略,比如先聚类,后续再人工确认。
还有评估。别只看准确率。长尾实体召回差,整体数字可能还行,业务方一用就骂人。通常要分类型看指标:人、地、机构、作品,分开统计。
它和NER、共指消解不是一回事
NER是找出“这里有个实体提及”。实体链接是“它对应知识库哪个ID”。共指消解是“这几个提及说的是同一个东西”。三者常串在一起,但目标不同。
比如“张三昨天来了。他吃了饭。”NER标出张三、他;共指知道“他=张三”;实体链接再把张三挂到某个具体人。少一环,后面问答、搜索、推荐都可能歪。
现在大模型来了,有人觉得端到端一把梭。可以,但可解释性和知识库约束仍然是问题。比较常见的做法是,LLM做候选重排或辅助生成,规则和图谱做兜底。
如果只想先动手,可以盯这几件事

先把实体类型体系定清楚。人、组织、地点、产品、作品,别混。类型约束能砍掉一批离谱候选。
再准备一个可迭代的评估集。不用几千条,几百条真实业务句子,标出提及和正确实体,就够暴露问题。
然后留意阈值策略。高分直接链接,中分进人工或二次模型,低分保持未链接。别硬链,错链比不链更麻烦。
还有,知识库更新要跟得上。没有新鲜血液,消歧再聪明也只能在老条目里打转。
您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。