Skip to content
所有標籤

#retrieval-augmented-generation

2 篇文章
ai deep-dive

Self-RAG:用 Reflection Token 讓模型自己決定要不要檢索

Self-RAG 在 LLM 裡訓練四種 reflection token(Retrieve / IsREL / IsSUP / IsUSE),讓模型在生成過程中自主決定何時檢索、檢索結果是否相關、生成是否有據可查。ICLR 2024 Oral(top 1%),7B 模型在多個 QA benchmark 超越 ChatGPT 和 Llama2-chat + RAG。代價是必須 fine-tune,無法用在 API-only 模型。

ai deep-dive 認識 AI 模型

Fine-tuning vs RAG:什麼時候該教模型、什麼時候該幫模型查資料

資料常更新、需要引用來源 → RAG。需要統一風格、要跑在小裝置上 → fine-tuning。實務上很多系統兩者都用:fine-tune 一個懂你領域語言的小模型,再用 RAG 補上最新資料。