快讯

语义检索与匹配:搜索怎么从“认字”变成“懂你”?

搜的是词,还是意思?

先来个场景。你在电商平台搜“能装下15寸电脑的帆布包”。传统关键词系统会盯住“帆布包”“15寸”“电脑”。结果可能给你推电脑内胆包,或者普通帆布手提袋。气不气人?语义检索与匹配想解决的,就是这种字面匹配的尴尬。它把查询和文档变成向量,放进同一个空间里算距离。离得近,就认为相关。

语义检索与匹配向量空间模型示意图
语义检索与匹配向量空间模型示意图

关键词匹配像查字典,语义匹配像猜意图。不过话说回来,两者不是谁替代谁。很多搜索系统是混着用。BM25、倒排索引负责快速召回。向量检索负责补语义,兜住长尾。比如“苹果手机电池不耐用”和“iPhone续航差”,字面重叠少,向量模型可能觉得它们近。

向量、双塔、交叉编码器,各自忙什么

语义检索与匹配的底层,通常离不开文本嵌入。一句话,变成一串数字。几百维,几千维。然后算余弦相似度,或者点积。实操里,常见架构有两类。

  • 双塔模型:查询一个塔,文档一个塔。两边各自编码。文档向量提前存进近似最近邻索引,比如HNSW、IVF。优点是快,适合大规模召回。缺点是查询和文档没有早期交互,细粒度匹配弱一点。
  • 交叉编码器:查询和文档拼在一起送进模型,输出相关性分数。准,但贵。通常用来做精排。比如先召回100个,再用交叉编码器挑前10个。这个可能因人而异,看延迟预算。
语义检索与匹配双塔模型与交叉编码器对比图
语义检索与匹配双塔模型与交叉编码器对比图

别一上来就堆大模型。从实操角度看,先看数据量。几万条文档,暴力算向量也许够用。几百万条,就得上ANN索引。上千万条,还得考虑分片、量化、缓存。内存和延迟,都是成本。

还有个常见误区:以为向量检索能搞定多数问题。不是。查询里有精确编号、型号、日期,比如“订单号A12345”,关键词过滤反而更稳。语义模型可能把A12345和A12346看成差不多。那就麻烦了。

评估与调优:别只看“感觉准了”

评估与调优:别只看“感觉准了”
评估与调优:别只看“感觉准了”

语义检索与匹配做得好不好,不能靠拍脑袋。得有评估集。查询-文档对,标相关性等级。看Recall@K、MRR、NDCG。做RAG的话,还得看答案忠实度。不过很多团队一开始没标注。怎么办?可以从搜索日志里挖。点击、停留、改写查询,都是信号。

有意思的是,负样本构造也很关键。随机负样本太简单。模型学不到细粒度。可以用同一查询下未点击但召回的文档,或者用BM25高分但语义不相关的难负样本。据一些用户反馈,难负样本挖得好,比换更大模型还管用。

另外,别忽略分块。长文档切得太碎,语义会漂。切得太大,噪声多。标题、段落、表格,尽量带结构信息。比如在RAG里,给每个块加上来源标题和章节路径,召回时通常更稳。

您在实际使用中还遇到过哪些情况?欢迎结合具体场景继续探讨。

赞 (0)
dananjindananjin
知识图谱与实体识别:搜苹果时,机器怎么知道你要的是手机还是水果?
上一篇 12小时前
提示词工程入门:把你想干的事说明白
下一篇 11小时前