LLM 推理：中間 token 為什麼有用｜Stanford CS329A 第 15 堂
推理是輸入與輸出之間的中間 token；RL 微調勝過模仿人類解答的關鍵是可靠的驗證器，多次取樣再選最常見的答案能再往上推。
#reasoning
39 篇文章數學奧林匹亞的三套系統：驗證從哪裡來｜Stanford CS329A 第 16 堂
AlphaGeometry2 靠符號引擎、AlphaProof 靠 Lean 驗證，2024 年合計 28 分；2025 年 Gemini Deep Think 用自然語言拿 35 分，驗證改由人類閱卷。
能產生答案，為什麼還需要驗證｜Stanford CS329A 第 1 堂
Agent 要能根據可信回饋修正行動；同一次任務做得更好，不代表模型權重已經學會。
推論時多試幾次，怎麼選出正確答案｜Stanford CS329A 第 2 堂
多產生候選只能提高正解出現的機會；可信的選擇器才把機會變成實際成功。
驗證答案之前，先驗證推理步驟｜Stanford CS329A 第 3 堂
最後答案正確不代表推導成立；步驟回饋能定位錯誤，驗證器本身仍需檢查。
工具回饋如何改變下一步，而不只是增加紀錄｜Stanford CS329A 第 4 堂
外部觀察、執行測試與原則批評提供不同回饋；先辨認訊號，再決定修正或訓練。
多步驟規劃：哪一步失敗，才拆哪一步｜Stanford CS329A 第 5 堂
多步驟任務要區分搜尋、平行執行與訓練；子任務產物必須支撐原任務的成功條件。
訓練時改進：讓回饋真的變成學習｜Stanford CS329A 第 6 堂
組內回饋必須能區分好壞；正解篩選、相對優勢與取樣策略，決定訓練是否真的得到有用訊號。
搜尋與深度研究：候選很多，怎麼選出可交付的答案｜Stanford CS329A 第 8 堂
候選搜尋解決選擇問題，文件檢索補知識缺口；兩者都需要保留規格與可檢查的依據。
長任務評估：做完、做對與值得交付是三件事｜Stanford CS329A 第 17 堂
人類任務時長、成品品質與引用支持率回答不同問題；長任務驗收應同時檢查流程與交付物。
未來研究：把自我改進的瓶頸寫成可驗證假說｜Stanford CS329A 第 20 堂
多樣性、驗證、資料選擇與效率是不同瓶頸；研究計畫要有保留測試與足以推翻假說的條件。
Apodex：Reasoning-First 的長程研究與預測模型
Apodex 由 Apodex 團隊訓練，是一個 reasoning-first 的 Mixture-of-Experts 模型，專為複雜長程研究、預測與可驗證任務設計。搭配代理執行環境，可用工具處理檔案、資料與程式碼；原始模型 API 僅接收文字。
Dots Studio Dots：長上下文 MoE、多模態與工具工作流
Dots3-Note Preview 的 OpenRouter 頁列出長上下文、圖片輸入與工具呼叫；自架授權仍須取得可確認的官方資料。
Liquid AI LFM：裝置端推理與 Agent 工作流
LFM2.5-2.6B 是裝置端 hybrid 推理模型；官方權重與 OpenRouter 端點的上下文限制不同，部署前也要核對授權與資料條款。
NVIDIA Nemotron 系列：開放權重推理與多模態模型家族
Nemotron 涵蓋文字推理、多模態理解與安全分類；Ultra、Super、Lightning、Nano Omni 及 Content Safety 的架構、上下文與授權不同。本文區分官方模型規格與 API 端點限制。
LLM 推理的 RL 與 test-time compute｜Stanford CS224R 第 10 堂
CS224R Spring 2026 第十講由 OpenAI 的 Noam Brown 客座，論點只有一條：reasoning model 替 scaling 開了新的維度，把算力從訓練推到推論。他從自己做撲克 AI 的經驗講起，再用西洋雙陸棋、西洋棋和圍棋說明「推論時多想一下」一直都有用；接著談 LLM 怎麼做到這件事：chain of thought、多數決、o1/o3、GRPO 和 DeepSeek-R1-Zero。後半段主張整個領域要為大規模 test-time compute 重新思考：multi-agent、以分數對算力作圖的評估方式、安全評估的預算假設。投影片以圖為主，本文只寫投影片上看得到的論點。
文字模型與圖像模型互搶地盤——生成式 AI 新趨勢與期末專案｜政大蔡炎龍 生成式AI 第 14 堂
最後一講看的是兩條技術線開始互相越界：ChatGPT 這類 LLM 開始畫圖，投影片用 early fusion 和 VQ-VAE／VQGAN 解釋「把圖像切成 token」怎麼做；反過來，Inception Labs 的 Mercury 用 diffusion 生成文字，把一句話加噪成一排 [MASK] 再還原。接著是幾篇人人都用得上的研究：怎麼自動評 RAG、推理模型更容易被劫持、DeepMind 的四種 AI 風險。最後是 Vibe Coding 與一串應用工具，以及用 Gather Town 線上研討會進行的期末專案。
清大 NLP 課程總結與 LLM Reasoning 筆記：一張三欄地圖收掉整學期，再用 Denny Zhou 的演講問「預訓練模型會不會推理」｜清大高宏宇 自然語言處理 主題單元
Fall 2025 第 14 週，高宏宇用兩份投影片收尾：Course_summary 把整學期分成 NLP Fundamentals、NLP Models、NLP Advances 三欄，外加助教課兩欄與五個延伸方向；另一份是他整理的 Denny Zhou（Google DeepMind）2025 年 4 月 Stanford 演講筆記，主張「預訓練模型本來就能推理，關鍵在解碼」，並用 CoT decoding、self-consistency、retrieval + reasoning 串成四條不等式。Fall 2026 的 W16「Reasoning / Agent」單元尚未公開。
Reasoning：從 CoT、Test-Time Scaling 到用 RL 學推理｜台大陳縕儂 深度學習之應用 第 12 堂
預訓練資料快用完之後，模型的進步改從「回答前多想一點」來。ADL 第 12 堂分兩半講這件事。前半是 test-time scaling：模型不動，推論時多花運算資源，做法有 short CoT、平行多答幾次再選（多數決、答案信心、outcome reward model）、用 process reward model 逐步評分並搭配搜尋，以及循序修改。後半是 learning to reason：要更新權重，資料可以來自人、來自模型自己產生再篩選、或來自更強的老師模型，也可以像 DeepSeek-R1-Zero 那樣只給答案對錯、用強化學習讓模型自己長出推理行為。
多花推論算力，投票、Self-Certainty、DeepConf 各換到多少準確率｜台大李宏毅 機器學習 作業 8
HW8 不用寫程式也不用交程式：助教給一份已經寫好的 Colab，用 Llama-3.2-1B-Instruct 在 GSM8K 前 100 題上比較直接推論、Self-Consistency、Self-Certainty 與 DeepConf（Confidence），每種方法各 sample 16 條推理。你讀三篇論文、跑完 notebook，到 NTU COOL 答 20 題：18 題論文題、2 題看 Colab 結果。先備是李宏毅 2025 年第七講 Reasoning。題目中英兩版都印在 hw8.pdf，Colab 可公開下載；只有 COOL 測驗與成績需要台大帳號。
李宏毅 ML 2026 Self-Correction：模型能改自己的錯嗎？改 decoding、改 workflow、改參數各換到什麼｜台大李宏毅 機器學習 主題單元
這一講問：沒有人介入時，模型能不能自己發現錯誤並改正？李老師把做法分成三條路。改 inference：contrastive decoding 一家族都在「製造一個會答錯的版本，再把它減掉」，差別只在錯誤版本怎麼來。改 workflow：插一句「再檢查一下」有時有用但不穩定，外部回饋比自我反思可靠，而且在算力有限時，拿同樣算力多抽幾個答案投票往往更划算。改參數：直接教自我修正會遇到「訓練後犯的錯不一樣了」，所以業界改用 RL；RL 到底是教會新能力還是只把本來就有的路徑變常見，目前仍在爭論。
reasoning model 怎麼學會想久一點，GRPO 又省掉了 PPO 的什麼｜Stanford CME295 第 6 堂
CME295 第 6 講把 reasoning model 拆成三件事：先輸出推理鏈再給答案、用「答案對不對」這種可驗證獎勵跑 RL、用 GRPO 以同組答案的平均分當基準而不另訓 value model。DeepSeek-R1-Zero 只靠 RL，AIME 2024 pass@1 從 15.6% 升到 71.0%；而把 R1 的推理軌跡蒸餾給 Qwen-32B，分數還比直接對 32B 做 RL 高。
Multi-hop Retrieval：當答案散落在多份文件裡
標準 RAG 一次檢索只找一組文件，但真實問題常需跨 2-4 份文件推理。IRCoT 開創交錯式檢索推理，PAR²-RAG 在四個基準上比 IRCoT 準確率高 23.5%，CompactRAG 把 LLM 呼叫壓到只有兩次。
Agentic / Reasoning RAG：從 Search-R1 的 RL 多輪搜索到 Deep Research 與 MCP 的推理×檢索新範式
2025 年的 RAG 不再是「檢一次、生成一次」。Search-R1 用 RL 讓模型在推理中自主多輪搜索，REX-RAG/AlignRAG 補上策略與對齊的分支，OpenAI Deep Research 把整條鏈產品化，MCP 則把檢索泛化為統一的工具調用。本文拆開設計哲學、與舊世代的取捨、以及何時該用這套新範式。
2025 AI 頂會導讀：機器學習篇
2025 年是 ML 頂會投稿量全面破紀錄、審稿系統承壓到極限的一年。NeurIPS 收了 21,575 篇投稿動用超過兩萬名審稿人，ICML 首度突破 12,000 篇，ICLR 也衝上 11,565 篇。研究主題上，reasoning 與 agent 成為最強勢的兩股潮流——NeurIPS Best Paper 之一直接質疑 RLVR 是否真的帶來新推理能力，拿下該屆唯一滿分；而 attention 機制的結構性改進（Alibaba Qwen 的 Gated Attention）和 neural scaling laws 的理論解釋同時獲獎，標誌著社群正從「衝規模」轉向「理解為什麼有效」。
2025 AI 頂會在收什麼題目：Agent 爆發與 Reasoning 革命
2025 年 AI 頂會的兩個最強訊號：reasoning 論文從 47 篇暴增到 216 篇（4.6 倍）、agent 相關關鍵詞合計超過 150 篇（4.3–11 倍成長）。Diffusion model 已從「爆發」進入「基礎設施」階段，RAG 以五會議全覆蓋的罕見擴散速度成為企業 AI 的主流架構，而 state space model 和 world model 正複製 2020–2021 年 Vision Transformer 的早期軌跡。純 prompt engineering 論文開始遭遇 reviewer fatigue。
Gemini——Google 的原生多模態旗艦，1M context 與科學推理的雙料冠軍
Gemini 是 Google DeepMind 推出的原生多模態 LLM 家族，以 1M context window、原生影片/語音輸入和科學推理能力聞名。3.1 Pro 在 GPQA Diamond 94.1% 和 ARC-AGI-2 77.1% 拿下科學推理雙冠，定價 $2/$12 只有 Claude 的 1/6。3.8 Flash 以 $0.75/$3.75 提供追平 frontier 的 agentic coding 能力（Terminal-Bench 2.1 89.4%、DeepSWE v1.1 73.7%），且 3.6／3.7／3.8 連續三代不漲價。
GPT——閉源 API 收營收、開源 GPT-OSS 補生態，統一路由架構的全球最大 AI 平台
GPT 是 OpenAI 推出的 LLM 家族，從 2018 年的 117M 參數到 2026 年的 GPT-5.6 Sol/Terra/Luna 三層產品線，擁有超過 10 億使用者和 200 萬企業客戶。GPT-5.6 Sol 在 LiveBench 81.1%、Terminal-Bench 2.1 88.8%、Artificial Analysis Coding Agent Index 80 等多項 benchmark 領先，同時首次推出開源模型 GPT-OSS（Apache 2.0）。
Kimi——從 200K 長文本工具到 2.8T 開源前沿，以及 K3 的架構躍進
Kimi 是月之暗面（Moonshot AI）推出的 LLM 家族，以超長 context 起家。2026 年 7 月發布的 Kimi K3 是全球首個開源 3T 級模型——2.8T 參數、104B 活躍、1M context，在 Artificial Analysis Intelligence Index 得分 60 與 GLM-5.3 並列開源第一。其 Kimi Delta Attention 架構帶來 2.5 倍 scaling 效率提升。
小模型如何跨過 Scaling Law 的門檻｜Stanford CS224N 第 19 堂
最後一講把 Open Questions in NLP 2026 收斂成 smart scaling：以 prolonged RL、Prismatic synthetic data、RL as pretraining 與開放協作，讓小模型不只靠增加參數追求推理能力。
Decoding、DeepSeek-R1 與推理訓練｜Stanford CS224N 第 12 堂
第 12 講先證明輸出策略不是小細節：greedy、beam 與 sampling 會產生不同文字；再由 R1-Zero/R1 走進 PPO、GRPO、DAPO，最後追問長推理何時真的有用。
Speculative Decoding 與 Test-Time Scaling｜Stanford CS224N 第 13 堂
第 13 講從推論效率走到推論能力：speculative decoding 用小模型草擬、大模型驗證；on-policy distillation 處理資料漂移；長上下文與 test-time scaling 則用更多推論資源換取表現。
RLVR 用可驗證獎勵擴大推理，但 GRPO 不是免費的 PPO｜Stanford CS336 第 16 堂
第十六講從 PPO 走到 GRPO 與 RLVR：數學、程式碼和環境結果提供可規模化 reward，避開一般偏好模型的部分 overoptimization；但 group-normalized advantage 會引入難度與長度偏差，rollout infrastructure 也成為主要成本。
Inference-time Compute、Reasoning 與 Embodied Agents｜Berkeley CS288 主題單元
15–18 組教材把 NLP 模型放進感知、推理、工具與環境迴圈；核心問題從下一個 token，轉成如何分配推論計算並驗證多步行動。
自我改進 Agent：課程主軸與閱讀路線｜Stanford CS329A 課程總覽
產生正確候選與辨認正確候選是兩種能力。系列依 Autumn 2025 課表，以一篇總覽與十七篇逐堂導讀串起十七個內容場次，其中五場客座沒有公開材料，改用講者類似題目的公開材料；影片 Part 7–9 對應原課第 8、17、20 堂。
Agent 的資源理性：在 token、工具呼叫、延遲之間做最優決策
資源受限下的 agent 決策是 bounded rationality 的復活：Rational Metareasoning 用 VOC 獎勵省 20–37% token、BATS 證明沒有 budget awareness 加預算也沒用、FrugalGPT cascade 最高省 98% 成本、Speculative Actions 降 20% 延遲。三約束最後收斂成一條 Pareto 曲線，主線是「從人手調旋鈕走向模型自己做資源理性決策」。
Machine Theory of Mind：Agent 如何推斷其他 agent 的意圖、知識與目標
從觀察行為反推他者的信念/目標/意圖，學界叫 Machine Theory of Mind。三條血脈：符號 BDI、貝氏逆向規劃、深度學習 ToMnet。LLM 時代最大爭議是 ToMBench 上 GPT-4 仍落後人類 >10 分——高分到底是真推理還是統計捷徑。
AI Agent 的三個核心支柱：Context、Cognition、Action
AI Agent 不是黑盒子——它由三層構成：知道什麼（Context）、怎麼想（Cognition）、能做什麼（Action）。搞清楚這三層，才能理解 agent 為什麼有時聰明、有時失控，以及怎麼設計一個真正好用的 agent 系統。
Plan-and-Execute：先規劃再執行的 RAG 模式
對複雜問題，先讓 LLM 規劃出需要哪些資訊、分幾步取得，再按計畫執行，比邊搜邊想更系統化。