快讯

实体链接与消歧:把“苹果”放回它该在的位置

搜“苹果”时,机器其实在猜你的心思

苹果。就这俩字。

搜索引擎能返回水果、手机公司、电影、甚至某个人的外号。人扫一眼上下文就懂了。机器不行,它得先找到“苹果”这个字符串,再去判断它到底指哪个东西。

实体链接与消歧,干的就是这件事。把文本里的一个名字,连到知识库里那个具体实体上。比如“小米”在“小米发布新手机”里,通常指公司;在“熬了一锅小米粥”里,指谷物。有意思的是,同一段话里两个“小米”可能指两个实体。对吧?

知识图谱实体链接与消歧流程示意图
知识图谱实体链接与消歧流程示意图

据一些用户反馈,很多项目卡住,不是因为模型不够大,而是候选实体表里压根没有正确选项。这个后面聊。

别急着上模型,先分清“链接”和“消歧”

实体识别先找出 mention。也就是文本里可能是实体的片段。然后实体链接负责把它挂到知识库。消歧是在多个候选里挑一个。

举个例子。文本:“老张去了北大。” 北大可能是北京大学,也可能是北大荒。要看上下文。如果前面聊高考,大概率是前者。如果聊农业,后者也有机会。

从实操角度看,候选生成往往比消歧模型更影响结果。候选都没包含正确实体,后面打分再精细也白搭。这里常见做法有:别名表、同义词、缩写映射、百科重定向、搜索日志。知识库的覆盖度也很关键。冷门人物、新公司、地方小吃,缺一个就漏一个。

还有异名同义。“北京大学生”和“北大学生”可能指向同一类群体,不是同一个实体。别混。实体链接通常连的是具体实体,不是一个群体标签。这个边界要分清。

上下文打分的几个坑,踩过的人都懂

只做字符串匹配?那“苹果”全连到水果,或者全连到公司。上下文一变,答案就变。

模型需要看左右词、句子主题、篇章一致性。比如同一篇新闻里,“苹果”多次出现,通常指同一家公司。这就是一致性约束。可以加图结构、实体嵌入、注意力。

但别忽略时间。知识库会过时。某年“字节跳动”可能还没上市,某年“推特”后来叫“X”。实体链接与消歧不是一次建库就完事,它需要维护周期。 据公开报告,知识库更新频率因领域而异。新闻领域可能要天级,企业内部门可能月级,学术领域季度级也常见。这个可能因人而异。

新闻文本中实体链接与消歧上下文示例
新闻文本中实体链接与消歧上下文示例

还有多语言和跨语言。中文简称、英文全称、日文片假名,可能指同一实体。候选生成要能跨语言召回。不然消歧模型连题都看不到。

搭个小流程,别一上来就大而全

搭个小流程,别一上来就大而全
搭个小流程,别一上来就大而全

如果只是内部文档检索,可以先这么做:

  • 圈定领域知识库:先覆盖高频实体,别贪多。
  • 做 mention 检测:词典加规则,再叠一个序列标注模型。
  • 候选生成:别名表、模糊匹配、向量召回一起上。
  • 消歧打分:先用规则和上下文词,再试轻量模型。
  • 人工抽检:每周看一批错例,回填别名和负例。

说实话,人工抽检很烦。但它能告诉你,错在候选、特征还是知识库。别只看总体准确率。分场景看。长尾实体、缩写、新词分开评估。

从实操角度看,先跑通闭环,再换大模型。小模型加好特征,有时比直接调通用接口更稳。通用接口在开放域表现不错,到了垂直领域可能把“黑芝麻”连到食品,而不是那家AI公司。这个需要领域数据校准。

它和实体识别、共指消解不是一回事

它和实体识别、共指消解不是一回事
它和实体识别、共指消解不是一回事

实体识别管“这是不是一个实体”。共指消解管“代词和名字是否指同一个东西”。实体链接与消歧管“它对应知识库哪个实体”。三个环节常串在一起。

有人问,大语言模型来了,还需要实体链接吗?需要。模型可能知道很多,但它不一定给你可追溯的实体ID。做搜索、推荐、风控、图谱,还是要落到具体节点。LLM可以帮忙生成候选、做上下文打分、解释理由。但可验证的链接结果依然有价值。

趋势上,检索增强生成和知识图谱结合,让实体链接更多出现在问答和事实核查里。不过话说回来,数据质量差的图谱,连错一次,后面错一串。这个得留意。

您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。如有侵权请联系删除。
文章名称:实体链接与消歧:把“苹果”放回它该在的位置
文章链接:https://www.ttrenwu.com/geo/4137.html