用 LLM 評 LLM，先防三種偏誤｜Stanford CME295 第 8 堂
CME295 第 8 講從「人工評分又慢又貴、BLEU/ROUGE 看不懂換句話說」出發，講 LLM-as-a-Judge 的做法、位置／冗長／自我偏好三種偏誤與六條實務原則，再把 agent 的錯誤拆成工具選擇、工具執行、回答生成三段，最後用 MMLU、AIME、SWE-bench、HarmBench、τ-bench 說明 benchmark 各量什麼，以及 pass^k 和 Goodhart 定律。
ai
1264 篇文章reasoning model 怎麼學會想久一點，GRPO 又省掉了 PPO 的什麼｜Stanford CME295 第 6 堂
CME295 第 6 講把 reasoning model 拆成三件事：先輸出推理鏈再給答案、用「答案對不對」這種可驗證獎勵跑 RL、用 GRPO 以同組答案的平均分當基準而不另訓 value model。DeepSeek-R1-Zero 只靠 RL，AIME 2024 pass@1 從 15.6% 升到 71.0%；而把 R1 的推理軌跡蒸餾給 Qwen-32B，分數還比直接對 32B 做 RL 高。
LLM 系統：同一個模型怎麼跑快好幾倍｜Stanford CME295 2026 版 第 5 堂
2026 版 CME295 第 5 講「LLM systems」（10 月 30 日）課表列了 7 個主題：分散式訓練、推論最佳化、KV caching、speculative decoding、高效 kernel、FlashAttention、硬體取捨。本篇在開課前，用 2025 版第 3、4 講約 70 頁投影片加原始論文，把它們串成同一本帳：H100 每搬 1 byte 大約要做 295 次運算才吃得滿算力，而逐字生成時每讀 1 byte 權重只做約 1 次，所以多數加速手法都在想辦法少搬資料。
LLM 訓練的帳單，預訓練、SFT 與 LoRA 各花在哪裡｜Stanford CME295 第 4 堂
CME295 第 4 講把 LLM 訓練拆成兩段：先用上兆個 token 做預訓練（Llama 3 用了 15 兆），再用數千到數百萬筆示範資料做 SFT，讓模型從「接話」變成「回答」。中間穿插一張省記憶體的地圖：ZeRO、FlashAttention、混合精度；最後用 LoRA 與 QLoRA 讓沒有大 GPU 的人也能微調，QLoRA 在 65B 模型上省下約 16 倍 VRAM。
SFT 教不會「別這樣回答」，RLHF 與 DPO 怎麼補上負面訊號｜Stanford CME295 第 5 堂
SFT 只會叫模型模仿好答案，沒辦法告訴它哪種回答不行。CME295 第 5 講先教怎麼收集偏好對，再走 RLHF 兩步（約 1 萬筆人工標註訓練 reward model、約 10 萬筆用 PPO 調模型），最後用 DPO 把整套 RL 收成一條監督式 loss。2026 版把這講拆進第 3 講（訓練）與新增的第 4 講（強化學習）。
SFT、PPO、GRPO、on-policy distillation 其實是同一條 policy gradient｜Stanford CME295 2026 版 第 4 堂
2026 版 CME295 第 4 講（10 月 16 日）把 RL 獨立成一講，課表列了數學記號、reward design、policy gradient、限制、PPO、GRPO、on-policy distillation 七項。本篇把這條數學線先推一遍：從 ∇log π 乘上一個分數出發，SFT 的分數是 1，PPO 用 value model 估，GRPO 用同組平均，on-policy distillation 用教師對每個 token 的 log 機率差。Qwen3 報告裡，從同一個起點出發，RL 花 17,920 GPU 小時做到 AIME'24 67.6，on-policy distillation 只花約 1/10（1,800 小時）就做到 74.4。
從切字到 Transformer，一句話怎麼被翻成另一種語言｜Stanford CME295 第 1 堂
CME295 第 1 講用同一句「A cute teddy bear is reading.」串完整堂課：先切成 token，再變成向量，接著說明 RNN 為什麼記不住長句，最後用 self-attention 和 encoder-decoder 把它翻成法文。2026 版刪掉整節 NLP 任務與評估指標，把開場換成從 2017 到 agent 時代的時間軸。
同一台 Transformer，怎麼長出 BERT、GPT 和各種 attention 變體｜Stanford CME295 第 2 堂
CME295 第 2 講把原始 Transformer 拆開改裝：位置資訊從「加在 embedding 上」一路改到 RoPE「在 attention 裡旋轉 Q 和 K」；attention 用 sliding window 和 MQA/GQA 省成本；再把模型分成 encoder-only、encoder-decoder、decoder-only 三家，花後半堂拆解 BERT 的 MLM（15% token）與 NSP 預訓練。2026 版把這些併進「Large Language Models」一講，BERT 不再是課表項目。
親手寫一個 agent harness——同一個 ReAct 迴圈，修 bug、壓上下文、下西洋棋｜CMU 11-768 作業 1
CMU 11-768 第一份作業要你從空白的 ReAct 迴圈做起：先讓 CodeAgent 用 bash 修好一個西洋棋 app 的 bug，再加上下文壓縮去修一題 SWE-bench，最後讓同一個迴圈變成下棋的 ChessAgent，並用 simulate_move、run_python 與 skill 做兩步搜尋；100 分全部靠離線重播 patch 與軌跡評分。
替資料視覺化 agent 寫評分器——四類錯誤、MCC 與 Harbor 驗證器｜CMU 11-768 作業 2
11-768 的 Assignment 2 要學生只用一個固定的 Qwen3-VL-30B-A3B 當裁判，替資料視覺化 agent 的每一次執行判四類錯誤，並用四類 MCC 的平均在私有測試集上評分（占作業 30%）；後半還要把自己出的題包成 Harbor 任務，寫一個被驗證器擋下、一個騙過驗證器的錯誤解。它的主題是：評分器就是之後 RL 的 reward。
agent 是跑在迴圈裡的模型，難的是讓它真的做得好｜CMU 11-768 第 1 堂
11-768 第 1 講先把 agent 拆到最小：工具定義和工具呼叫都只是 token，harness 負責解析、執行、把結果塞回 context，ReAct 迴圈一跑就是 agent。接著 Neubig 列出好 agent 要的六種能力，每一種都能從訓練或 harness 兩條路補，並主張 agent 是由 harness、沙盒、推論、訓練、監控五塊組成的系統，不只是一個模型。
Tool Use 怎麼從 token 變成動作——schema、受限解碼、MCP 與平行呼叫｜CMU 11-768 第 2 堂
Neubig 把 tool use 拆成五層：能力、機制、約束、介面、系統。工具呼叫本質上是模型吐出的 token，要靠 harness 解析、驗證、用 call ID 對回結果；受限解碼只保證格式不保證對；MCP 的真正價值是憑證中介；同一個模型換家 provider，工具呼叫錯誤率可以從約 15% 掉到 0.1% 以下。
長 context agent 怎麼管記憶體——混合注意力、RoPE 外推、prompt cache 與 compaction｜CMU 11-768 第 3 堂
Agent 每一步都把整段歷史重新送進模型，五次呼叫就累積 80K token 的輸入；OpenHands 的 1,500 個 session 平均 7.8 萬 token，其中 37% 是工具結果。Neubig 分兩層處理：模型層靠「多層局部 + 一層全域」的混合注意力與長度課程撐起百萬 context；harness 層靠穩定前綴吃到便宜約十倍的 cache，再用保留錨點、外存證據的 compaction 撐過上限，而且 compaction 要用接續任務來評。
Skills and Memory——agent 怎麼不從零開始｜CMU 11-768 第 4 堂
CMU 11-768 第 4 講把跨任務的經驗分成 episode、fact、skill 三種，存在 context 與權重之外的外部檔案裡：人寫的 skill 靠 SKILL.md 與漸進揭露載入，SkillsBench 上把平均通過率從 33.9% 拉到 50.5%；agent 自己歸納的 skill 寫成程式碼時可以先測再收，但換個網站就容易壞。最難的是生命週期：判官不準、檢索太多、技能庫膨脹，每一段都會吃掉收益。
Planning——agent 什麼時候該先想清楚，什麼時候該邊做邊改｜CMU 11-768 第 5 堂
CMU 11-768 第 5 講把 agent 的計畫定義成「針對這個任務、可被檢查和修改的未來行為表示」，並用四個理由決定要不要加計畫結構：模組化、環境回饋、長時程、控制。講者 Fried 自己的 MACU 用管理者拆出 DAG、平行派子 agent，在 Odysseys 上把成功率從 8.5% 拉到 34.0%；在 OSWorld 子集上，完全不規劃是 25.0%，只給初始 DAG、之後不准改是 27.8%，允許改 10 次升到 58.3%。
Coding Agents——從補一行程式到修完整個 repo｜CMU 11-768 第 6 堂
Neubig 的 L6 把 coding agent 拆成三層：先把模型訓練成會寫程式（預訓練、中訓練、infilling、測試獎勵的 RL），再用 localize–edit–verify 迴圈和一套編輯工具讓它改 repo，最後用 SWE-bench 類的可執行環境評測與訓練；修 bug 只佔開發者一天的 15%，下一步是測試、CI、維護這些外迴圈任務。
Computer Use Agent 怎麼看螢幕、怎麼評分、怎麼訓練｜CMU 11-768 第 7 堂
JY Koh 這講把 computer use agent 拆成三件事：評測從單步點擊（ScreenSpot-Pro、Mind2Web）一路走到程式驗證終態（WebArena、OSWorld）、VLM 評審與長時程 rubric（Odysseys、OSWorld 2.0）；模型就是吃「截圖＋動作」交錯歷史的 VLM；訓練走預訓練 grounding → SFT 模仿人類與合成軌跡 → 在可重置的模擬環境做 RL。
Agent 的 SFT 怎麼做——loss mask、軌跡挑選、資料格式與交棒給 RL｜CMU 11-768 第 8 堂
Yueqi Song 這講把 agent SFT 拆成六個決定：loss 只算 assistant token（停止 token 也要算）、挑哪些軌跡（通過測試的也會教壞模型，換老師、加新任務比多抽樣有用）、用 Agent Data Protocol 統一格式、訓練時注意 packing 與 template drift、用實際 harness 評估，以及 SFT 要為接下來的 RL 選 checkpoint，而不是訓到自己最好。
RL 基礎——policy gradient 就是 SFT loss 乘上一個權重｜CMU 11-768 第 9 堂
Daniel Fried 用 1 到 16 猜數字當例子，把 RL 講成 SFT 的延伸：先點出 SFT 的三個缺口（任務不對齊、學不了失敗、沒見過自己的錯），再依序推出 ReST、REINFORCE、baseline 與 GRPO／DrGRPO——四者都是對 agent 自己產生的 token 算 log 機率，差別只在每個 token 乘上的權重。
Deep Research Agent 怎麼評、怎麼訓、怎麼檢索｜CMU 11-768 第 10 堂
Akari Asai 的 L10 把 deep research agent 拆成三塊：評測要補齊搜尋難度、領域專業、長答案品質與引用支持四個缺口；訓練走 mid-training → SFT → RL，長答案用 DR Tulu 的演化式 rubric 當 reward；檢索要讓 retriever 看到 agent 的推理，AgentIR-4B 在 BrowseComp-Plus 搭 Tongyi-DR 拿到 68%。