影片狀態：錄影需登入或課程授權。 影片來源與說明
一個prompt加一個示範答案，與一個prompt加兩個偏好回應，不是相同資料。SFT學示範token；典型RLHF管線先學reward再做受約束的policy更新；DPO由偏好對與reference-relative比率直接建立loss。這篇整理它們的分界，完整推導與驗收各有單獨教學篇。
先讀哪一篇
總覽的 課程地圖列出完整核心主線；本篇是主題導覽，不是額外課堂。先選你要回答的問題，再去對應的教學篇。
用一個例子看出分界
本站自擬DPO例子：preferred回應在policy的機率是0.4、reference是0.2；rejected則都是0.2。兩者相對reference的log-ratio差是log(2)。若beta=1，sigmoid(log2)=2/3，負log偏好loss約0.405。這不是「模型回答正確率為2/3」：它是這個偏好對在指定loss下的數值。SFT若只學preferred回應，看的則是其token條件機率；它沒有這裡的兩個reference比率。
自我檢查
policy與reference對兩個回應的機率都相同時，上例loss是多少？
答案與判準
log-ratio差為0，sigmoid為0.5，loss為log2約0.693。這是單一偏好對的中性起點，不保證所有評估任務的中性表現。
怎麼使用這張地圖
先不看答案，用自己的話指出輸入、被改動的部分與輸出，再到上面的教學篇完成變式。如果把兩種機制混在一起，回到資料流，找出哪一步的條件不同。這篇只驗關係與分界；不能用它代替各堂的推導、實作或評估。
本文沿用Spring 2026公開教材；自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。
更新紀錄
-
2026-10-11：重整教學範圍、完整例子與理解檢查，保留原網址及發文日期。
-
2026-10-10：標註影片狀態，核對錄影來源與取得方式。
-
2026-10-10：重查影片狀態。確認登入牆屬實（匿名開啟 Panopto 資料夾無影片並提示登入），官方頁面也沒有公開 YouTube 版本，狀態維持不變。
參考資料
- CMU 10-423/623/723 Generative AI（Spring 2026）課程首頁
- 課程講次表——L11、L12 日期與 Quiz 3
- Lecture 11 投影片：In-Context Learning / Instruction Fine-tuning / RLHF
- Lecture 12 投影片：DPO / Latent Diffusion Models（手寫註記版）
- HW3 handout（hw3.zip）——DPO 大題的結構與配分
- Practice Exam（Spring 2026）
- Ouyang et al. 2022：Training language models to follow instructions with human feedback（InstructGPT）
- Bai et al. 2022：Training a Helpful and Harmless Assistant with RLHF
- Rafailov et al. 2023：Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- Schulman et al. 2017：Proximal Policy Optimization Algorithms
- Williams 1992：Simple statistical gradient-following algorithms for connectionist reinforcement learning
- Wei et al. 2021：Finetuned Language Models Are Zero-Shot Learners（Flan）
- Longpre et al. 2023：The Flan Collection——投影片的指令資料集比較圖
- Xu et al. 2023：MultiInstruct
- databricks/databricks-dolly-15k