混合檢索
Hybrid retrieval 將 semantic vector search 同 lexical keyword search 結合,去 retrieve relevant passages。Vector search 捕捉意思同 paraphrase,keyword search 捕捉 exact terms 同 identifiers,而 fusion step 合併兩邊 result sets,令 precise tokens 同 conceptual matches 都唔會漏。
同義詞:hybrid search, dense-sparse retrieval, vector plus keyword search, fusion retrieval
Hybrid retrieval 承認 production quality 唔可能靠單一 retrieval signal。Dense vector embeddings 擅長 conceptual similarity,但會模糊 exact identifiers;sparse lexical methods 捉 precise tokens 好準,但忽略意思。兩者一齊跑再融合 rankings,hybrid retrieval 可以提升 recall 而唔犧牲 precision;當答案必須 grounded 喺完全正確嘅 passage 時,呢點好重要。再對 fused candidates 做 reranking,會令最後交畀 model 嘅 context 更精準。
常見問題
點解要結合 vector 同 keyword search?
Vector search 可能漏咗 SKU 或 error code 呢類罕見 exact terms;keyword search 又會漏 paraphrases。融合兩者可以取回各自強項,提升 real-world queries 嘅 recall。
兩組 results 點樣合併?
可以用 reciprocal rank fusion 或 weighted score blend 呢類 fusion method 重新排序 merged candidates,通常再用 cross-encoder reranker 做 final precision。