رفتن به محتوا
واژه‌نامه

Retrieval ترکیبی

Retrieval ترکیبی semantic vector search را با lexical keyword search ترکیب می‌کند تا passageهای مرتبط را بازیابی کند. Vector search معنا و paraphrase را می‌گیرد، keyword search اصطلاح‌ها و شناسه‌های دقیق را می‌گیرد، و مرحله fusion هر دو مجموعه نتیجه را merge می‌کند تا نه tokenهای دقیق و نه matchهای مفهومی از دست بروند.

مترادف‌ها: hybrid search, dense-sparse retrieval, vector plus keyword search, fusion retrieval

Retrieval ترکیبی می‌پذیرد که هیچ signal منفردی برای quality تولید کافی نیست. embeddingهای dense vector در similarity مفهومی عالی‌اند اما identifierهای دقیق را blur می‌کنند؛ روش‌های sparse lexical tokenهای precise را خوب می‌گیرند اما معنا را نادیده می‌گیرند. با اجرای هر دو و fusion rankingهایشان، retrieval ترکیبی recall را بی‌آنکه precision قربانی شود بهتر می‌کند، چیزی که وقتی پاسخ باید دقیقاً در passage درست grounded باشد اهمیت دارد. سپس یک pass reranking روی candidateهای fused، context نهایی تحویل‌شده به مدل را sharpen می‌کند.

پرسش‌های پرتکرار

چرا vector و keyword search را ترکیب کنیم؟
Vector search ممکن است اصطلاح‌های دقیق نادر مثل SKU یا error code را از دست بدهد، و keyword search paraphraseها را از دست می‌دهد. fusion هر دو، قوت‌های هرکدام را برمی‌گرداند و recall را روی queryهای واقعی بالا می‌برد.
دو مجموعه نتیجه چگونه ترکیب می‌شوند؟
یک روش fusion مانند reciprocal rank fusion یا weighted score blend candidateهای merge شده را rerank می‌کند، و اغلب برای precision نهایی یک cross-encoder reranker هم بعد از آن می‌آید.