檢索增強生成 (RAG)
Retrieval-augmented generation 係一種技術，將 language model 嘅 output grounded 喺 retrieved source documents，而唔係只靠 parametric memory。System 會由 knowledge base fetch relevant passages，作為 context 提供，並要求 model 只用呢啲 evidence 回答。
同義詞：RAG, retrieval augmented generation, grounded generation, context augmentation
Retrieval-augmented generation 將 model 知識同佢訓練過嘅內容分開。Query time 時，retriever 會由 maintained knowledge base 拉出最 relevant chunks，model 就根據呢啲 evidence 組成答案。呢個做法減少 hallucination，透過 citations 令 answers 可審計，亦讓 teams 唔需要 retraining 都可以更新 knowledge。喺 governed setting 入面，RAG 係將問題變成 grounded、cited response 嘅機制，俾人或者 policy 可以喺信任之前 verify。
常見問題
點解用 RAG 而唔係 fine-tuning？
RAG 將 knowledge 保留喺可以即時更新嘅 external store，所以 answers 保持 current，每個 claim 都可以 trace 到 source。Fine-tuning 將 knowledge 烘入 weights，刷新較慢，亦更難 attribution。
RAG pipeline 包含啲咩？
通常包括 ingestion 同 chunking、embedding、vector 或 hybrid search index、retriever，以及 generation step，將 model condition 喺 retrieved passages 上並回傳 cited evidence。