推論方法：模型訓練完之後，還能靠多算一點變聰明｜MIT 6.7960 第 24 堂
訓練完的模型不是只能做一次前向傳遞。貪婪取樣不保證找到模型認為最可能的序列（本文的例子裡它拿到 0.30，最佳是 0.36），所以多取樣幾次挑最好的就會進步；評分標準換成驗證器，還能挑出真的對的答案。再把搜尋到的好答案拿回去訓練模型，就是 AlphaGo 與 STaR 的迴圈，Isola 推測 o1 也是這樣做的。
#test-time-compute
4 篇文章LLM 推理的 RL 與 test-time compute｜Stanford CS224R 第 10 堂
CS224R Spring 2026 第十講由 OpenAI 的 Noam Brown 客座，論點只有一條：reasoning model 替 scaling 開了新的維度，把算力從訓練推到推論。他從自己做撲克 AI 的經驗講起，再用西洋雙陸棋、西洋棋和圍棋說明「推論時多想一下」一直都有用；接著談 LLM 怎麼做到這件事：chain of thought、多數決、o1/o3、GRPO 和 DeepSeek-R1-Zero。後半段主張整個領域要為大規模 test-time compute 重新思考：multi-agent、以分數對算力作圖的評估方式、安全評估的預算假設。投影片以圖為主，本文只寫投影片上看得到的論點。
台大李宏毅 ML 2026 導讀：AI 自我成長（上）——由 AI 產生答案、reward 與 loss，人類能放手到哪一步｜台大李宏毅 機器學習 主題單元
李宏毅 5/8 這堂先說清楚：「AI 自我成長」沒有明確定義，它是人類漸漸放手的過程。他把機器學習拆成三步，逐一檢查「我」能不能換成 AI：答案可以由 AI 自我修正後當標準答案，reward shaping 可以交給 LLM 寫，loss 可以讓模型自己訂（打分、多數決、entropy），連題目都能讓 proposer 自己出。但實驗一再顯示，完全不靠人會卡在天花板甚至把自己訓練壞；強 AI 訓練比自己弱的 AI 已經做得到，只是還沒超過人類。結論：2026 年 5 月，AI「還在盧比孔河邊」。
Agent 的資源理性：在 token、工具呼叫、延遲之間做最優決策
資源受限下的 agent 決策是 bounded rationality 的復活：Rational Metareasoning 用 VOC 獎勵省 20–37% token、BATS 證明沒有 budget awareness 加預算也沒用、FrugalGPT cascade 最高省 98% 成本、Speculative Actions 降 20% 延遲。三約束最後收斂成一條 Pareto 曲線，主線是「從人手調旋鈕走向模型自己做資源理性決策」。