实体链接与消歧，是自然语言处理里帮机器搞懂你说的到底是哪个“事物”的核心技术，我们每天搜东西刷推荐都在用到它。
基础认知：到底在解决什么问题？
说实话，很多人听名字觉得拗口，其实场景就在你我身边。
你搜“苹果”两个字，到底是说吃的水果，还是苹果公司的电子产品？这就是典型的实体歧义问题。
实体链接，就是把你文本里的这个词，对应到知识库中某个确定的实体条目上。
比如你搜苹果的时候，搜索历史里全是手机测评，它就会链接到“苹果公司”这个实体条目，给你推数码相关内容。
NLP实体链接与消歧日常搜索场景示例
再举个例子，本地新闻说“张磊当选市人大主任”，全国叫张磊的人数不胜数，消歧就是帮机器选出这条新闻里对应的那个张磊，再链接到对应的人物百科条目上。对吧？
实操中容易踩的常见误区
从实操角度看，不少团队做自有知识图谱的时候，都容易在这一步踩坑。
第一个误区，就是把
实体链接和消歧与实体标注混为一谈。实体标注只是找出文本里哪几个词属于实体，链接和消歧是要确定它具体指向哪一个实体，完全不是一回事。
第二个误区，就是忽略上下文的弱信号。比如文本里只提了一次“小米”，前文提了雷军，那肯定对应小米公司，要是前文提的是“杂粮粥”，那就是粮食作物。
据一些用户反馈，不少小模型只看当前实体不结合上下文，错连率能达到两成以上，非常影响下游使用体验。
实体链接消歧错误案例对比图
需要留意的是，开放域场景下的实体消歧，目前还做不到完全不出错，毕竟每年都有大量新的人物、品牌、产品冒出来，知识库更新不及时就容易出问题。
行业里的常见做法
行业里的常见做法
有意思的是，现在业内常用的方案大致分两类。
一类是基于规则的匹配方法，提前给不同实体标注好特征，匹配上就对应跳转，适合封闭域场景，比如企业内部的合同文档处理，常用实体也就几千个，准确率还不错。
另一类是基于大模型微调的方法，把全上下文信息都输入模型，让模型自己学习不同场景下的歧义区分，适合开放域的搜索、推荐场景，当然成本也会高一些。
不过话说回来，没有哪种方案能适配所有场景，还是要根据自己的数据集规模和使用需求调整。
您在处理文本数据的过程中，还遇到过哪些实体混淆的问题？欢迎结合具体场景继续探讨。
