混合检索
混合检索将语义向量检索与词法关键词检索相结合,以检索相关段落。向量检索捕捉含义和释义,关键词检索捕捉精确的词项和标识符,而一个融合步骤会合并两组结果,使精确的 token 和概念匹配都不会被遗漏。
同义词:hybrid search, dense-sparse retrieval, vector plus keyword search, fusion retrieval
混合检索承认,单一的检索信号不足以达到生产质量。稠密的向量嵌入擅长概念相似度,却会模糊精确标识符;稀疏的词法方法能精准命中 token,却忽略含义。通过同时运行二者并融合它们的排名,混合检索在不牺牲精确率的前提下提升召回率,这在答案必须恰好接地于正确段落时尤为重要。随后对融合候选项进行的一次重排序,会精炼最终交给模型的上下文。
常见问题
为什么要将向量检索与关键词检索相结合?
向量检索可能遗漏诸如 SKU 或错误代码之类的罕见精确词项,而关键词检索则会错过释义。将二者融合可重新获得各自的优势,并在真实世界查询上提升召回率。
两组结果如何被合并?
一种融合方法(如倒数排名融合或加权分数混合)会对合并后的候选项重新排序,通常随后再用一个交叉编码器重排序器来获得最终精确率。