手刻第一個 RAG:從切 chunk 到讓 agent 決定何時查|Stanford CS329Z 第 3 堂
Lecture 03 從 project 問題出發,依序拆解 RAG 的動機、chunk 邊界、近似向量搜尋、BM25/dense/hybrid/reranker,以及讓 agent 決定何時查。指定讀物 Lewis 等人的 RAG 論文與 ColBERT 補上原始配方與 late interaction。
Lecture 03 從 project 問題出發,依序拆解 RAG 的動機、chunk 邊界、近似向量搜尋、BM25/dense/hybrid/reranker,以及讓 agent 決定何時查。指定讀物 Lewis 等人的 RAG 論文與 ColBERT 補上原始配方與 late interaction。
Lecture 08 先問單一 agent 夠不夠,再比較 orchestrator、swarm、hybrid 三種編排,以及 handoff、留言板、A2A 協議與 task ledger、共享記憶、worktree 隔離等協調設施,最後追查多智慧體為什麼失敗。讀物從 AutoGen 讀到 MAST、單一 agent 反論與 DyLAN。
Lecture 11 整理 agent 資料的形式與來源:軌跡、示範與回饋,優化用與評估用資料的區分,資料飛輪、合成資料,以及從人機互動收集資料,也提醒資料會意外教會模型捷徑。讀物是 Shankar 的資料飛輪與 LLM 資料標註合成綜述。
先從第一堂投影片理解 agent 迴圈、元件與工程問題,再分別深讀 BAIR 的複合系統觀點、Ng 的工作模式,以及 Si 的執行回饋實驗;清楚區分課堂主線、指定閱讀與延伸閱讀。