快讯

知识图谱与实体识别:搜苹果时,机器怎么知道你要的是手机还是水果?

你搜“苹果手机壳”,结果没给你推苹果手机,也没给你推水果摊——背后就有实体识别和知识图谱在忙活。

说实话,这俩词听着唬人,拆开看其实挺接地气。

实体识别到底在“识”什么?

简单讲,就是从一堆文字里把“东西”揪出来。人名、地名、公司名、产品名、时间、金额……都算实体。

比如一段新闻:“张三在杭州开了家叫‘味知香’的餐厅。”

实体识别要标出:张三(人名)、杭州(地点)、味知香(组织/品牌)。这步做不准,后面知识图谱就歪了。

有意思的是,同一个词在不同语境里可能是不同实体。“苹果”既可以是水果,也可以是公司。机器得看上下文。

从实操角度看,中文实体识别比英文麻烦。没有空格,边界模糊,还有各种简称、别称。哎,这个坑我踩过。

常见做法是先分词,再标注。但中文分词本身就有歧义。比如“乒乓球拍卖完了”,是“乒乓球拍/卖完了”还是“乒乓球/拍卖/完了”?你看,头疼吧。

中文实体识别标注实例图
中文实体识别标注实例图

知识图谱不是一张图,而是一套关系网

光识别出实体还不够。它们之间有关系,才是知识图谱的价值。

还是上面那个例子。张三和味知香之间是“创始人”关系,味知香和杭州之间是“位于”关系。

把这些关系连起来,机器就能回答:“张三在哪开餐厅?”或者“味知香是谁创立的?”

不过话说回来,知识图谱不是画个图就完事。它需要持续维护、更新、清洗。不然三个月后,数据就烂了。

实体识别是知识图谱的入口,知识图谱是实体识别的归宿——两者经常一起出现,但解决的问题不同。

知识图谱通常用图数据库存储,比如Neo4j、Nebula Graph。但别被工具绑架,先想清楚要解决什么问题。

知识图谱中人物与公司关系网络图
知识图谱中人物与公司关系网络图

落地时容易踩的几个坑

有个坑:一上来就想搞大而全的图谱。

据一些用户反馈,很多团队花几个月搭了个框架,结果发现数据质量根本撑不起来。建议先从小场景切入。

比如只识别某类产品名称,或者只处理某个垂直领域的文本。跑通了再扩。

另一个坑:忽略同义词和缩写。你写“北大”,机器可能不认识“北京大学”。得建同义词库。

还有个坑:实体边界模糊。比如“上海市人民政府”,到底算一个实体还是两个?这个可能因人而异,但得定规则。

还有,知识图谱更新滞后也很常见。今天公司CEO换了,图谱里还是旧人。你说气不气人?

隐性成本也别忽略:标注数据。找一群人标实体,又慢又贵。而且标准还不统一。从实操角度看,能自动化就自动化,但完全自动还不太容易。

延伸视角:它和搜索、推荐有什么关系?

延伸视角:它和搜索、推荐有什么关系?
延伸视角:它和搜索、推荐有什么关系?

传统搜索靠关键词匹配。你搜“苹果”,它可能给你一堆水果和手机混在一起。

有了实体识别和知识图谱,搜索就能理解“苹果”是公司还是水果,再结合你的历史行为,推得更准。

推荐系统也一样。知道你刚买了iPhone,给你推手机壳就顺理成章,而不是推苹果派食谱。

现在大模型火了,有人问知识图谱是不是过时了?其实两者可以配合。大模型擅长理解语言,但容易胡说。知识图谱提供事实约束,减少幻觉。这叫神经符号结合,听着玄乎,但方向挺有意思。

需要留意的是,这背后涉及隐私和偏见问题。图谱里如果只收录了男性科学家,那搜索结果就可能失衡。

所以,技术好用,但别神化它。

您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。

赞 (0)
dananjindananjin
内容可信度建设:让AI搜索愿意引用你的几个笨办法
上一篇 13小时前
语义检索与匹配:搜索怎么从“认字”变成“懂你”?
下一篇 12小时前