Reasoning：從 CoT、Test-Time Scaling 到用 RL 學推理｜台大陳縕儂 深度學習之應用 第 12 堂
預訓練資料快用完之後，模型的進步改從「回答前多想一點」來。ADL 第 12 堂分兩半講這件事。前半是 test-time scaling：模型不動，推論時多花運算資源，做法有 short CoT、平行多答幾次再選（多數決、答案信心、outcome reward model）、用 process reward model 逐步評分並搭配搜尋，以及循序修改。後半是 learning to reason：要更新權重，資料可以來自人、來自模型自己產生再篩選、或來自更強的老師模型，也可以像 DeepSeek-R1-Zero 那樣只給答案對錯、用強化學習讓模型自己長出推理行為。