搜尋、GPT-2、AlphaZero 為什麼在同一門課？｜CMU 07-280 課程總覽
07-280 是 CMU Spring 2026 首開的 AI＋ML 核心：24 講、12 個作業編號，從 heuristic search、CSP 與機器學習一路做到 AlexNet、GPT-2、AlphaZero。教材足以自學，但官方課表未列完整公開錄影連結、Canvas checkpoint 或 Gradescope 回饋。
29 篇文章
CMU 07-280 AI & ML I 導讀
逐講讀 CMU AI 核心改制後的 07-280：從 linear regression、MLE 到 N-gram、attention/transformer 與 Q-learning，對照官方 Spring 2026 教材。
系列導讀
AI、機器學習與表示學習的共同問題｜CMU 07-280 第 1 堂
Lecture 1 用 alien autoencoder、AI／ML 範圍與 AI 發展史建立全課座標：智慧系統不是模型清單，而是在不確定下把輸入表示成可計算決策。
從 UCS、Greedy 到 A* 的 heuristic search｜CMU 07-280 第 2 堂
Lecture 2 把搜尋拆成 problem、frontier 與 priority：UCS 看已付成本，Greedy 看估計剩餘成本，A* 用 `f=g+h` 合併兩者；tree 與 graph search 的最優條件並不相同。
Minimax、Alpha-Beta 與 Expectimax｜CMU 07-280 第 3 堂
Lecture 3 把單一路徑改成 contingent plan：minimax 對抗最佳對手，alpha-beta 在不改 root value 下跳過無關分支，expectimax 則用機率取代最壞情況。
CSP、AC-3 與搜尋順序｜CMU 07-280 第 4 堂
Lecture 4 利用 variables、domains、constraints 暴露問題結構，再把 DFS 升級成 backtracking、forward checking、AC-3、MRV 與 LCV；重點是更早證明某些選擇不可能成功。
用 Loss、Risk 與 ERM 定義機器學習｜CMU 07-280 第 5 堂
Lecture 5 把機器學習寫成 `X → Y`、loss、risk 與 empirical risk minimization：訓練集只能提供平均已知損失，真正目標仍是未知分布上的 generalization。
Decision Trees 如何用 Mutual Information 分裂資料｜CMU 07-280 第 6 堂
Lecture 6 從 decision stump 遞迴建樹，用 entropy 衡量 label uncertainty，再以 `I(Y;W)=H(Y)-H(Y|W)`選擇分裂；這是計算可行的 greedy ERM，不是全域最佳樹保證。
Linear Regression 與 Normal Equation｜CMU 07-280 第 7 堂
Lecture 7 把 ERM 套到 linear functions 與 squared loss，從一維 slope 推到矩陣形式 `argmin ||y-Xθ||²`，再在 `XᵀX` 可逆時得到 normal equation。
Gradient Descent、SGD 與 Learning Rate｜CMU 07-280 第 8 堂
Lecture 8 從一維 parabola 推到 vector gradient，再比較 batch GD、SGD 與 mini-batch；learning rate 決定更新是收斂、震盪或發散。
Logistic Regression 如何把分類改寫成機率估計｜CMU 07-280 第 9 堂
Lecture 9 不直接預測 0 或 1，而以 sigmoid 建模 P(y=1|x)，再用 cross-entropy 與凸最佳化學出參數；多類別版本自然延伸成 softmax regression。
Feature Engineering 與 Regularization 如何交換表達力和穩定性｜CMU 07-280 第 10 堂
Lecture 10 先用 φ(x) 讓線性模型表達非線性，再以 train/validation/test 分工、L1/L2 regularization 與 model selection 限制新增自由度造成的過度擬合。
從 Logistic Regression 組出第一個 Neural Network｜CMU 07-280 第 11 堂
Lecture 11 把單一 logistic neuron 擴成多層網路：linear layer 產生 z、activation 產生 a，多個 neuron 共同學出 feature transform，再以 loss 和 gradient descent 訓練權重。
Backpropagation 如何重用 Chain Rule｜CMU 07-280 第 12 堂
Lecture 12 把神經網路視為 computation graph：forward pass 保存中間量，backward pass 從 loss 開始傳遞 upstream gradient，並用線性層、activation 與 softmax 的局部規則一次算出全部參數梯度。
AI Alignment 從 Reward Hacking 走到可稽核的 AI Scientist｜CMU 07-280 第 13 堂
Lecture 13 把 alignment 拆成目標規格、distribution shift、監督與修正能力，並用 autonomous AI scientists 的 benchmark selection、data leakage 與 post-hoc selection 實驗說明：只看最終論文不足以稽核整個研究流程。
CNN 如何把影像的空間結構寫進模型｜CMU 07-280 第 14 堂
Lecture 14 以 local connectivity 與 parameter sharing 取代全連接影像模型，從 convolution、stride、padding、pooling 走到 AlexNet、GPU data parallelism、ResNet skip connection 與 BatchNorm。
Pre-training、Transfer Learning 與 Fine-tuning 的分工｜CMU 07-280 第 15 堂
Lecture 15 將 pretrained model 拆成 representation g 與 task head h：可以凍結 g 只訓練 head，也能用較小 learning rate fine-tune 部分或全部參數；選擇取決於資料量與 source-target 差距。
Maximum Likelihood 如何統一 Logistic 與 Linear Regression｜CMU 07-280 第 16 堂
Lecture 16 從 likelihood p(D|θ) 出發，以 i.i.d. 將聯合機率寫成乘積，再用 log 變成和；Bernoulli MLE 得到樣本比例，conditional Bernoulli 得到 logistic cross-entropy，Gaussian noise 則得到 squared error。
從 Tokenization 到 N-gram Language Model｜CMU 07-280 第 17 堂
第 17 講先決定文字如何切成 token，再用 N-gram 把序列機率改寫成可從 corpus 計數的條件機率；tokenization 不是前處理小事，而是模型能看見什麼的第一個設計決定。
N-gram 如何訓練、取樣與失敗｜CMU 07-280 第 18 堂
第 18 講把 chain rule 截成 N-gram Markov assumption，以 corpus counts 做 MLE，再比較 greedy、categorical sampling 與 temperature；真正的瓶頸是未見 context 的零機率與固定視窗。
Word Embedding 如何把下一詞預測變成幾何｜CMU 07-280 第 19 堂
第 19 講以兩個 embedding matrices、dot-product similarity、softmax 與 cross-entropy 建立最小 next-token model，讓相似 context 透過共享向量參數取代 N-gram 的獨立計數格。
從 Position Encoding 推到 Causal Self-Attention｜CMU 07-280 第 20 堂
第 20 講先把單 token embedding 擴成 sequence，以 positional encoding 補順序，再推導 Q/K/V scaled dot-product attention、causal mask 與 multi-head blocks，最後接到 GPT-2。
Bellman Equation 如何解 Markov Decision Process｜CMU 07-280 第 21 堂
第 21 講把隨機序列決策寫成已知 dynamics 的 MDP，以 Bellman backup 定義 value 與 Q-value，再用 value iteration 或 policy iteration 求最佳 policy。
不知道 Dynamics 時如何做 Q-learning｜CMU 07-280 第 22 堂
第 22 講保留 MDP 骨架，拿掉已知 transition 與 reward 的假設；TD learning 用一步 sample 更新 value，Q-learning 再以 off-policy target 直接學最佳 action values。
從 Approximate Q-learning 到 DQN｜CMU 07-280 第 23 堂
第 23 講以 Qθ(s,a) 取代巨大 Q-table：先用 features 線性近似並由 squared TD error 推導 gradient update，再以 replay data 與固定 target network 形成 DQN。
Monte Carlo Tree Search 如何接上 AlphaZero｜CMU 07-280 第 24 堂
Spring 2026 Lecture 24 是 MCTS，不是 Fall 2026 的 LLM post-training；本講以 selection、expansion、rollout、backup 與 UCB 分配模擬，再由 policy/value heads 與 self-play 接到 AlphaZero。
從搜尋問題走到監督式學習｜CMU 07-280 主題單元
第一階段把 Lectures 1–12 串成同一條決策鏈：先定義狀態、動作與目標，再用 heuristic、loss、regularization 與 backpropagation 控制龐大搜尋空間。
用 AlexNet 與 GPT-2 把模型真正組起來｜CMU 07-280 主題單元
第二階段不把 CNN 與 Transformer 當兩份架構圖背誦，而是透過 HW8 與 HW11 檢查表示、計算圖、訓練、遷移與生成是否真的接得起來。
從 MDP、Q-learning 到 AlphaZero｜CMU 07-280 主題單元
第三階段把 value、policy、bootstrapping、function approximation 與 MCTS 接成 AlphaZero：network 提供先驗與估值，search 改善決策，self-play 再產生下一輪資料。
學會什麼、缺什麼，以及下一門怎麼選｜CMU 07-280 課程地圖
完成 07-280 不等於看完 24 篇導讀；至少要留下搜尋器、監督式模型、CNN／GPT-2 實驗與一個 RL＋MCTS 小系統，再依缺口選 07-380、10-301 或專題課。