ハイブリッド検索
ハイブリッド検索は、意味的なベクトル検索と語彙的なキーワード検索を組み合わせて関連する一節を取得します。ベクトル検索は意味と言い換えを捉え、キーワード検索は正確な語句と識別子を捉え、融合ステップが両方の結果集合をマージするため、正確なトークンも概念的な一致も取りこぼしません。
同義語: hybrid search, dense-sparse retrieval, vector plus keyword search, fusion retrieval
ハイブリッド検索は、単一の検索シグナルだけでは本番品質に十分でないことを認めます。密なベクトル埋め込みは概念的類似度に優れますが、正確な識別子をぼかします。疎な語彙的手法は正確なトークンを的確に捉えますが意味を無視します。両者を実行してランキングを融合することで、ハイブリッド検索は適合率を犠牲にせず再現率を改善します。これは回答がまさに正しい一節に根拠づけられねばならないときに重要です。融合された候補に対するリランクのパスが、モデルへ渡される最終的な文脈を研ぎ澄まします。
よくある質問
なぜベクトル検索とキーワード検索を組み合わせるのですか？
ベクトル検索はSKUやエラーコードのような稀で正確な語句を見落としうる一方、キーワード検索は言い換えを取りこぼします。両者を融合すると各々の強みを取り戻し、実世界のクエリで再現率を高めます。
二つの結果集合はどのように結合されますか？
相互ランク融合や重み付けスコアブレンドのような融合手法が、マージされた候補を並べ替え、しばしば最終的な適合率のためにクロスエンコーダーのリランカーが続きます。