Reasoning：從 CoT、Test-Time Scaling 到用 RL 學推理｜台大陳縕儂 深度學習之應用 第 12 堂

🌏 English version

影片狀態：已附影片。 影片來源與說明

本文依據台大陳縕儂《深度學習之應用》（ADL）Fall 2025（114-1，2025/09/01–12/15）播放清單上的第 12 堂影片 12.1–12.5。 這是台大陳縕儂 深度學習之應用 導讀系列的第 12 堂。上一篇 Language Agents 把 reasoning 當成 agent 的三個關鍵概念之一；這一堂把它單獨拉出來問：模型怎麼學會「先想再答」，而且想得對？

這一堂沒有公開投影片，影片也沒有字幕。本文是把五支影片的音訊轉成逐字稿後整理的，所以內容是老師的口述；文中標了「投影片」的數字，是我從影片畫面上的投影片讀到的；其餘歸給老師的數字是她口述的。標成「本文自編」的例子不是課堂內容。

讀完這一堂要能做五件事：說出 test-time scaling 與 learning to reason 差在哪裡；算 pass@k；用多數決、答案信心、ORM、PRM 各選一次答案；說明為什麼訓練資料不能只留完美的推理；說出 R1-Zero 與 R1 的差別。

為什麼大家突然都在談推理

老師先分清楚兩個中文常混在一起的詞。inference 指的是模型訓練完、拿來用的那個時間點；reasoning 指的是「因為 A、因為 B，所以 C」這種邏輯推導。這一堂講的是後者。

接著是動機。GPT、Claude、Gemini 每一代都比上一代好，但進步的幅度越來越小。老師轉述的一種解釋是：過去每一代都還能加進更多訓練資料，現在模型訓練用掉的資料量，快要追上人類累積的公開文字總量，預訓練這條路快要沒有新資料可加。

那下一代的進步要從哪裡來？OpenAI 的 o1 給了一個方向。它的做法在使用者看來很簡單：問它問題，它不馬上回，先想一陣子。想的過程其實也在產生 token，只是當時的版本把這些 token 藏起來不給看；用 API 的話，這些看不到的 token 照樣計費，所以想得越久越貴。

老師用一張圖說明重點（老師提到 OpenAI 同時發了一篇文章說明 o1；投影片上的圖標題是 o1 AIME accuracy，沒有另外印出處，對得上那篇文章裡的圖）：縱軸是 AIME 數學競賽題的正確率，一張圖的橫軸是訓練時的運算資源，另一張是推論時的運算資源，兩張圖的正確率都往上走。意思是：同一個模型、不再訓練，只要推論時讓它想久一點或多想幾次，表現還能再進步。訓練一個大模型不是人人做得到，但推論時換策略人人都能試，所以學界很多研究轉到這一邊。

現在這類模型很多，老師舉了 o1、o3、Gemini 的 Thinking 版本、DeepSeek 的 R1 系列與 Claude 的部分版本。它們的輸出會先有一段包在 <think> 裡的思考，最後才是答案。這段思考裡會出現人解題時的策略：驗算、換一條路試、把大問題拆小。

o1 的時間點補充：影片說是 2024 年 12 月，那是 o1 正式版推出的時間。附那張圖的文章〈Learning to reason with LLMs〉與 o1-preview 更早，在 2024-09-12 發表。

Short CoT：給詳解，或只說「一步一步想」

推論時讓模型多想的起點是 2022 年的 Chain-of-Thought。

原本的 few-shot prompt 是給幾組「題目、答案」，再問新題目。數學題常常錯，老師的解釋是：語言模型是在做接龍，從題目直接接出正確數字的機率很難估。CoT 把範例改成「題目、詳解、答案」。例如範例寫出「原本有 5 顆球，買了 2 罐、每罐 3 顆，所以多 6 顆，5 + 6 = 11」。模型照著範例先寫中間步驟，每一步都只是接一小段，最後接出正確答案就容易得多。老師說，當時光靠這種 prompt，語言模型在數學題上的表現就追上了專門為這類題目設計的模型。老師說，作者來台灣分享時提過這個想法跟他教小孩很像。老師的說明是：只跟小孩說「你錯了」，他下次還是不會，要給他看詳解。

後來發現連範例都可以省。直接加一句「Let's think step by step」，夠會照指令做的模型就會自己先寫步驟再答，表現也比直接叫它解題好，這是 zero-shot CoT。它現在常被當成實驗的比較基準，因為 few-shot 還得交代範例有幾個、從哪來、怎麼挑。

老師把這些做法歸納成一個說法，後面整堂都用它：一段推理是一條路徑（reasoning path）。同一題有很多條路徑，有些通到正確答案，有些通到錯的。所有方法的目標，都是提高走到正確路徑的機會。

從 short CoT 到 long CoT

上面這種只推幾步的叫 short CoT。現在推理模型的思考長得多，介面上通常收合起來，有些模型只給摘要。老師介紹了一篇整理 long CoT 的 survey（投影片註明是 Chen 等 2025 的 Towards Reasoning Era），說 long CoT 多了三個特徵：

同一次回答的一條長路徑裡，三種行為可以都出現。

推論時多花運算資源（一）：多答幾次，再選一個

最直接的做法是 parallel sampling：同一題讓模型答 k 次，把 temperature 調高一點讓答案分散（temperature 見第 9 堂）。

衡量「有沒有機會走到正確路徑」的指標是 pass@k：k 個答案裡只要有一個對就算對。k 越大，pass@k 越高（投影片上的 pass@k 圖註明出自 Brown 等 2024 的 Large Language Monkeys）。老師提醒兩件事：

• 模型本身的能力很重要。弱的模型抽 10 次可能一次都不對，要抽到上百次、上千次才開始出現正確答案。
• pass@k 是上限，不是你實際拿得到的分數。實際上你不知道哪一個是對的，還得選。

選答案的三種常見做法（投影片各標了一篇出處：多數決是 Wang 等 2022，答案信心是 Wang 與 Zhou 2024，ORM 是 Cobbe 等 2021）：

1. 多數決（majority voting）。 哪個答案出現最多次就選它。這也叫 self-consistency：同一題問很多次都答同一個，代表模型對這個答案比較有把握。
2. 答案信心（answer confidence）。 看模型解碼出「答案那個 token」時的機率，機率高的比較可信。注意看的是答案本身，不是整段輸出的機率。投影片的例子是「我有 3 顆蘋果，爸爸比我多 2 顆，總共幾顆」：五條路徑裡三條答 5、兩條答 8，但答 8 的信心明顯高，於是選 8。這五條路徑在投影片上是把第一個 token 分別取前五名、後面照 greedy 接下去得到的。投影片上的 GSM8K 結果：greedy 是 44.0%；解碼 10 條、用整段輸出的 log-prob 排序是 37.0%，做長度正規化後是 51.0%；改用答案信心是 72.0%。
3. Outcome reward model（ORM）。 另外訓練一個模型當 verifier，輸入題目與整份回答，輸出這份回答有多可能正確，然後選分數最高的，也叫 best-of-n。verifier 要用另一份有標準答案的資料集來訓練：讓現成的模型去解題，對照答案標出哪些回答是對的，就得到訓練資料。ORM 本身也可以是一個語言模型。老師強調，這種選法好不好，很大一部分取決於 ORM 訓練得好不好。

比較不同方法時，橫軸要用「總共產生多少 token」，不用「答了幾次」，因為有的回答長、有的短。在這樣的圖上，多數決落在 pass@1 與 pass@k 之間，ORM 又比多數決高一些。

影片沒有提到下面這組數字，是我補的。OpenAI 那篇文章裡有一組數字剛好對得上這三層：o1 在 2024 年 AIME 上，每題只答一次平均 74%，64 個樣本取共識是 83%，用學出來的評分函數對 1000 個樣本重新排序是 93%。

一個可以手算的例子（本文自編）

下面的數字是我編的，用來把上面幾種選法各算一次。假設某一題的正確答案是 8，模型答了 5 次，每次的推理分三步：

• pass@5：D 和 E 答對，所以是 1。這只說明「正確答案有被抽到」。
• 多數決：5 有 3 票，8 有 2 票，選 5，答錯。
• 答案信心：這裡用「同一個答案的機率取平均」。答 5 的平均是 (0.40 + 0.45 + 0.35) ÷ 3 = 0.40，答 8 的平均是 (0.90 + 0.85) ÷ 2 = 0.875，選 8，答對。影片沒有說怎麼彙總，取平均是我的假設。
• ORM（best-of-n）：分數最高的是 D 的 0.70，選 8，答對。
• PRM：把每步分數取平均當成整份回答的分數。A 是 0.47、B 是 0.50、C 是 0.43、D 是 0.87、E 是 0.83，選 D，答對。

這個例子的意思是：正確答案被抽到了，多數決還是可能選錯，因為錯的路徑可以剛好比較多條。答案信心與 reward model 用的是票數以外的資訊。但要注意：如果 verifier 訓練得不好，best-of-n 一樣會選錯，所以它不保證贏過多數決。

再看一個上限的算法。假設模型每次獨立作答、答對的機率是 0.3，那麼 pass@5 = 1 − 0.7⁵ ≈ 0.83。單次只有三成，五次裡至少對一次的機會卻有八成三，從 0.3 到 0.83 是多抽幾次帶來的上限；實際能拿到多少，要看選答案的方法。

推論時多花運算資源（二）：邊走邊評分，提早砍掉壞路徑

ORM 要等整份回答寫完才能評分。如果一條路徑走到一半就已經歪了，後面的 token 都是浪費。於是有了 process reward model（PRM）：對推理的每一步給分。

老師分兩階段講 PRM 的用法：

1. 先只換評分方式。 每條路徑照樣走完，只是把每一步的分數彙總（最簡單就是平均）當成整份回答的分數。光是這樣，就比 ORM 再好一些：投影片引的結果是 ORM 72.4%、PRM 78.2%（多數決 69.6%），差將近 6 個百分點。
2. 再接上搜尋。 既然每一步都有分數，就能在中途停掉分數低的路徑，把省下的運算資源給還有希望的路徑往下走。beam search、Monte Carlo 類的搜尋都能接進來。以 beam search 為例：一開始展開四條，把評分低的停掉，只讓好的繼續延伸；原本的額度可能只夠每一條都走到第二層，現在省下來的額度可以讓留下的路徑多走一層。有些做法還會先往前看一步、覺得不好再回來改。

回到上面的表：A、B、C 三條路徑第二步的分數是 0.2、0.3、0.2。如果在第二步就停掉它們，可以省下三次「第三步」的生成，拿去讓 D、E 這類路徑多展開幾個分支。

平行，還是循序？

parallel sampling 的每一次作答彼此獨立。另一種做法是 sequential revision：第一版寫完後，把它交給模型看，請它檢查哪裡不對、再寫一版，如此反覆。每一版仍然是完整的回答，所以 ORM 一樣可以對每一版評分。

老師引的分析（投影片註明是 Snell 等 2024）比較了兩者：在相同的生成次數、數學這類較難的題目上，生成次數多了以後，不論最後用多數決還是用 reward model 加權，循序修改都比平行抽樣好。兩者唯一的差別是「看不看得到前一版」。前一版就算是錯的，也帶著有用的資訊。她的結論是一句話：想深一點，比想很多次好。

平行與循序也可以混用，老師說那就接近前面的搜尋方法了。

順著這個方向，老師介紹了自己實驗室的一項工作。負責解題的模型叫 policy model，自己一個人想容易鑽牛角尖；於是加進另一個 nudging agent，像家教一樣看著每一步，先分析、再判斷這一步是 positive 還是 negative，如果是 negative 就給一句建議。老師的定位是：它做的事像 PRM，只是除了給分還多給一句建議。建議會被寫進同一份回答裡，讀起來像模型在對自己說「不對，這裡應該改成……」。這樣回答變長、思考方向變多，老師說表現比搭配 PRM 的 best-of-n 還高。投影片標示的出處是 Yen-Ting Lin 2025 年的博士論文。

換一邊：更新權重，讓模型學會推理

前面都不動模型。後半堂叫 learning to reason，要微調。

一個推理長什麼樣子

老師拿自己問 Gemini 的一題排列組合當例子。投影片上的題目是：把「庭院深深深幾許」七個字任意排成一直線，恰有兩個「深」字相鄰的排法有幾種。模型的思考過程是這樣的：

• 先確認目標，注意到有三個「深」。
• 策略一：把相鄰的兩個「深」綁成一個，排出 6! = 720 種，再扣掉三個「深」連在一起的 240 種，得到 480。
• 策略二：用插空法驗算。中途發現空位設得不對，自己寫了一句「Let's refine the slotting」，改完也得到 480。
• 兩種算法一致，才整理成最後的答案。

七個字是三個「深」加上庭、院、幾、許四個相異的字。投影片上兩種算法的數字如下，括號裡的說明是我補的：

• 綁定法：把兩個「深」當成一塊，加上剩下的一個「深」和四個相異字共 6 個單位，排列數 6! = 720。三個「深」全相鄰的排法是 5! = 120 種，而每一種在綁定法裡被算了兩次（「塊＋深」與「深＋塊」），投影片寫成 120 + 120 = 240，扣掉後得到 480。
• 插空法：先排四個相異字，4! = 24 種，產生 5 個空位。「兩個深的塊」與「單獨的深」要放進不同的空位，有 P(5, 2) = 5 × 4 = 20 種放法。24 × 20 = 480。

老師還點出一件事：她用中文問，模型用中文答，但思考是英文的。推理路徑可以用任何語言走，哪一種比較容易走對，要看模型對那個語言的熟悉程度。模型也不是每次都用英文想，有時會用中文。

資料從哪裡來

要用監督式學習教模型推理，訓練資料除了輸入與輸出，還要有中間的思考過程。來源有三種：

1. 人寫。 請奧林匹亞金牌選手寫解題思路，或請醫師寫診斷時怎麼想。品質好，但很難大量取得。
2. 模型自己產生，再篩選。 拿有標準答案的資料集讓模型解題，留下答案正確的那些路徑；更嚴格一點，再用 PRM 檢查，只留每一步分數都高的路徑。
3. 請更強的模型產生（蒸餾）。 這一項放在後面講。

第二種做法有一個陷阱。只留「每一步都正確」的路徑，等於只給模型看完美的詳解。可是前面 Gemini 那個例子最有價值的地方，正是它中途想錯、自己發現、再改回來。全部餵完美的資料，模型學不到「會錯、會改」這個能力，資料量與多樣性也都變少。

所以中間有瑕疵的路徑值得留下來。nudging agent 產生的資料就是一個來源：裡面有對的步驟、有錯的步驟，也有被提醒之後的修改。用這種長資料做 SFT（監督式微調，見第 7 堂）之後，原本只會 short CoT 的模型，輸出的 token 長度分布會明顯往長的方向移，表現也再提高。投影片上，短的回答平均約 656 個 token（中位數 524），長的平均約 2,743 個（中位數 1,497）。

不丟掉錯的資料，那怎麼告訴模型哪些是好的

老師接回第 7 堂的 DPO 與 KTO：它們用「人比較喜歡哪一個輸出」來訓練模型。這裡把 reward model 的分數當成偏好就可以了。

Step-KTO 多做一層：除了對整份回答給 outcome 層級的回饋，也用 process reward 對每一步給回饋。模型因此知道一條長路徑裡哪幾步是對的、哪幾步是錯的但後來被修正了，不會把錯的步驟也當成該學的。投影片的表比較了三個模型（Llama-3.1-8B、Llama-3.1-70B、Llama-3.3-70B）在 MATH-500、AMC23、AIME24 上的結果：Step-KTO 在多數欄位高於只用 outcome 的 KTO，也高於把答錯的樣本直接丟掉的 rejection 做法。例如 Llama-3.1-8B 在 MATH-500 的 pass@1，rejection 是 53.8、KTO 是 60.6、Step-KTO 是 63.2。

蒸餾：讓厲害的老師出詳解

既然已經有很強的推理模型，可以直接讓它產生推理路徑，拿來訓練小模型。老師的比喻是：老師準備詳解，學生大量刷題。DeepSeek-R1 產生的推理資料蒸餾到 Qwen、Llama 這些原本不會推理的模型上，它們在需要推理的題目上就有不錯的表現。

限制也要知道：學生只是模仿老師。遇到跟以前都不一樣的難題，老師模型比較有機會探索出新路徑，學生模型沒有那麼強的探索能力。很多使用情境用不到那麼複雜的推理，學生模型就夠了。

使用推理模型時的一個取捨

推理模型想多久，可以用額度控制，也可以直接寫在指令裡，例如「我很急，馬上要答案」或「請仔細想、可以想久一點」。題目難的時候，多花 token 推理有幫助；代價是延遲變長、成本變高。老師說，要在延遲與表現之間取得平衡相當困難。有些題目根本不用想那麼多，這時候就算給了很多額度，理想的模型也應該短短答完。

用強化學習讓模型自己長出推理

最後一支影片講另一條路：不給思考範例，讓模型自己演化出推理行為。老師說這條路效果更好，但也比較困難。這是 DeepSeek-R1 的做法。

R1-Zero 很直接。給模型題目，讓它隨意嘗試，中間怎麼想完全不限制。一開始只需要稍微引導，例如請它一步一步想，或把 temperature 調高，讓它有機會試出不同的結果；題目有標準答案，最後只告訴它答對還是答錯，把這個當成 reward 做強化學習。投影片上的訓練曲線：AIME 的 pass@1 從大約 0.15 開始，隨著訓練慢慢上升到 0.7 左右，接近圖上作為參考線的 o1（pass@1 約 0.74）；另一條線是 16 個樣本取共識的結果，後期到 0.8 以上，圖上對應的另一條參考線是 o1 用 64 個樣本取共識（約 0.83）。老師口頭說起點「大概 0.1%」，應是 0.1（一成多）的口誤；論文寫的是從 15.6% 升到 71.0%。訓練過程中，模型的思考裡自己出現了很口語的句子，例如投影片上的這一句：「Wait, wait. Wait. That's an aha moment I can flag here.」

R1-Zero 的缺點是推理內容雜亂、可讀性差，有時中英文跳來跳去，因為訓練時完全沒有管它寫什麼。公開的 R1 因此多了幾個步驟：

1. 把 R1-Zero 產生的推理篩過，留下可讀性好的，加上少量人工標註的資料，先對 base model 做一次監督式訓練。老師稱這一步是處理 cold start：先學會一種像樣的推理寫法。
2. 從這個模型開始做 RL。reward 除了答對與否，還加上語言要前後一致這類限制。
3. 用得到的模型對更多領域的輸入產生推理資料，再篩選，回頭重新訓練 base model，最後再做一次 RL（投影片在這一步標了 safety 與 helpfulness，老師沒有展開）。

所以公開的 R1 不是純 RL 的模型，R1-Zero 才是。老師說中間的細節不用記，抓住一件事就好：先用純 RL 得到推理能力，再反覆篩選資料，把品質與可讀性練上來。

為什麼推理的研究幾乎都在做數學和程式

老師最後補了一個說明。很多任務都需要推理，例如常識推論、寫報告，情況可能比數學更複雜。研究集中在數學和程式，是因為這兩種任務的答案容易驗證：數學有標準答案，程式跑一次就知道結果對不對。其他任務的推理對不對很難客觀評估，所以推理的進展常常被評估方法綁住。

我的歸納：這也說明了這一堂好幾種做法的共同前提。訓練 ORM、篩選推理路徑、R1-Zero 的 reward，都需要「知道答案對不對」。多數決、答案信心與循序修改則不需要標準答案。

常見的誤解

• 「模型想比較久，是因為被重新訓練過。」 不一定。test-time scaling 的做法完全不動權重。
• 「pass@k 很高，代表系統很準。」 pass@k 只說正確答案有被抽到。選不選得出來是另一回事。
• 「訓練推理資料要越乾淨越好。」 把所有出錯的步驟都濾掉，模型就學不到發現錯誤並修改。
• 「蒸餾出來的小模型和老師一樣會推理。」 它會的是老師走過的那類路徑，遇到新型難題的探索能力比較弱。

自我檢查

1. 同一個模型對同一題產生五個候選，再選一個答案，算不算重新訓練？

不算。權重沒有更新，這是 test-time scaling。候選變多只提高「抽到正確答案」的機會，還需要可靠的選法。

2. 模型單次答對的機率是 0.5，獨立作答 3 次。pass@3 是多少？多數決答對的機率又是多少？（假設每次答錯都錯成同一個答案。）

pass@3 = 1 − 0.5³ = 0.875。多數決要至少 2 次答對：3 × 0.5² × 0.5 + 0.5³ = 0.375 + 0.125 = 0.5。注意多數決的 0.5 和只答一次一樣，在這個設定下投票沒有帶來任何好處。0.5 到 0.875 之間的差距，要靠比多數決更好的選法才拿得到。

3. 一條推理路徑的 PRM 分數是 0.9、0.1、0.9、0.9，最後答案正確。做 SFT 資料時，該不該因為第二步分數低就丟掉它？

依這一堂的說法，不該直接丟。先看第二步之後有沒有修正：如果模型是想錯之後自己改回來，這正是要教的行為。比較好的用法是保留路徑，並用逐步的回饋（例如 Step-KTO）告訴模型哪一步好、哪一步不好。

4. ORM 和 PRM 都能用來選答案。哪一個才能用來提早停止一條路徑？為什麼？

PRM。ORM 的輸入是整份回答，要等寫完才有分數；PRM 每一步都給分，走到一半就能判斷要不要繼續。

5. 把前面那張五個樣本的表改一格：樣本 C 的答案改成 8，其餘不變。多數決選什麼？用「同一個答案的機率取平均」的答案信心又選什麼？

多數決：8 有 3 票（C、D、E），5 有 2 票，選 8。答案信心：答 5 的平均是 (0.40 + 0.45) ÷ 2 = 0.425，答 8 的平均是 (0.35 + 0.90 + 0.85) ÷ 3 = 0.70，也選 8。兩種方法這次一致。

6. DeepSeek-R1-Zero 和公開的 DeepSeek-R1 差在哪裡？為什麼要多做後面那些步驟？

R1-Zero 是純 RL：只用答案對錯當 reward，不給推理範例。它的推理能力練出來了，但內容雜亂、可讀性差。R1 先用篩選過的推理資料做監督式訓練，再做 RL，並在 reward 裡加上語言一致性的限制，之後又用產生的資料重訓一輪。多出來的步驟是為了讓推理內容可讀、涵蓋更多領域。

延伸閱讀

• CS224N 第 12 堂：解碼、DeepSeek-R1 與推理訓練：R1-Zero／R1、PPO、GRPO、DAPO，對應這一堂最後的 RL 路線。
• CS224N 第 13 堂：Speculative Decoding 與 Test-Time Scaling：對應前半的 test-time scaling。
• CME295：LLM Reasoning，以及講 RL 訓練的 CME295：RL with LLMs。
• Let's Verify Step by Step：process reward model 的代表論文，講 PRM 的那張投影片引的就是它。
• 同校的 李宏毅 機器學習 2026 Spring 導讀：ADL 第 12 堂五支影片的說明欄都註明投影片借自李宏毅老師，可以對照他自己的課。

系列導覽：系列總覽｜上一篇 Language Agents｜下一篇 對話系統與工具使用

課程影片來源

以下影片已於 2026-10-10 對照官方課程頁與官方 YouTube 播放清單（講次編號與標題相符）；不提供時間跳轉。

原始影片：12.1 What is Reasoning?、12.2 Short CoT、12.3 Test-Time Scaling、12.4 Learning to Reason、12.5 RL for Reasoning

課程與錄影入口：

• 官方課程與錄影入口

查核日期：2026-10-13。

內容核對：已依影片核對（2026-10-13）：五支影片都沒有字幕，本文把 12.1–12.5 的音訊用語音辨識轉成逐字稿後整理。逐字稿可能有聽錯的專有名詞；幾處數字另外擷取影片畫面、對照畫面上的投影片（Gemini 例題、答案信心的表、PRM 與 ORM 的表、token 長度分布、Step-KTO 的表、R1-Zero 的訓練曲線、R1 的流程圖）；其餘數字依口述。五支影片於 2025-11-20 上傳，說明欄日期是 2025/11/17，並註明投影片借自李宏毅老師；課程頁則把 Reasoning 排在 12/01。

更新紀錄

• 2026-10-10：標註影片狀態，核對錄影來源與取得方式。
• 2026-10-10：重查影片狀態。嵌入影片與官方課程頁、播放清單的講次相符。
• 2026-10-11：補上自編概念例子與理解檢查。
• 2026-10-13：查證歷程移出正文；系列內互相引用由篇序改為堂次。
• 2026-10-13：依五支影片的課堂口述重寫全文。原稿只依影片標題排出路線，沒有課堂內容；這一版補上各段的機制、一個可手算的例子與附答案的自我檢查。
• 2026-10-13：依投影片畫面修正 Gemini 例題（字是「深」，題目與兩種算法都在投影片上），補上投影片印出的出處與數字（PRM 與 ORM、token 長度、Step-KTO 的三個模型），並加上學習目標。

參考資料

• 台大陳縕儂《深度學習之應用》Fall 2025 課程頁 — 12/01 列只有「Reasoning」標題
• 2025 Fall 台大資訊 深度學習之應用 播放清單
• 影片：12.1 What is Reasoning?、12.2 Short CoT、12.3 Test-Time Scaling、12.4 Learning to Reason、12.5 RL for Reasoning
• Learning to reason with LLMs（OpenAI，2024-09-12） — o1 的說明文章，AIME 的 74%／83%／93% 出自這裡
• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models（arXiv 2201.11903）
• Large Language Models are Zero-Shot Reasoners（arXiv 2205.11916） — 「Let's think step by step」
• Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models（arXiv 2503.09567）
• Let's Verify Step by Step（arXiv 2305.20050）
• Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback（arXiv 2501.10799）
• DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning（arXiv 2501.12948）