影像分類、kNN 與線性分類器｜Stanford CS231N 第 2 堂
L2 從一個問題出發：電腦看到的是一堆 0 到 255 的數字，要怎麼認出貓？寫規則行不通，所以改用 data-driven 方法：收集資料、訓練、在新圖上評估。第一個分類器是 kNN，它教會你 train/val/test 怎麼切，但像素距離沒有語意。第二個是線性分類器 f(x,W)=Wx+b，可以從代數、視覺（模板）、幾何（超平面）三個角度看，再用 softmax 把分數變成機率，用 −log 機率當 loss。
全部文章
第 36 頁，共 129 頁
電腦視覺從哪裡來，這門課要走到哪裡｜Stanford CS231N 第 1 堂
CS231N 2026 的第一講分成兩份投影片。第一份用一條時間軸講視覺與深度學習的歷史：從 Hubel & Wiesel 的貓實驗、Marr 的視覺表示階段，到 Neocognitron、backprop、LeNet，再到 ImageNet 與 AlexNet 把兩條線接起來。第二份講課程地圖、評分與規則，並把作業全面搬到 Colab。讀完這一講，你會知道後面 17 講各自在補哪一塊。
神經網路與反向傳播——計算圖上的「上游乘以本地」｜Stanford CS231N 第 4 堂
L4 前半把線性分類器 f = Wx 換成兩層網路 f = W₂ max(0, W₁x)，說明拿掉 max 這個激活函式就會退回線性分類器。後半回答網路變深之後梯度怎麼算：把函式畫成計算圖，每個節點只要知道自己的本地梯度，再乘上從後面傳回來的上游梯度。add 分配梯度、mul 交換、max 路由、copy 相加，四個模式就能追蹤任何網路。最後推到矩陣：dL/dx 永遠和 x 同形狀，所以不要真的建出 Jacobian。
循環神經網路與影像描述——RNN、LSTM 與 captioning｜Stanford CS231N 第 7 堂
RNN 用同一組權重，在每個時間步更新一個隱藏狀態，所以能處理任意長度的序列。CS231N L7 從手工造一個偵測連續 1 的 RNN 講起，接著是字元級語言模型、把 CNN 特徵接進 RNN 做影像描述，再用梯度流解釋為什麼 vanilla RNN 難訓練：梯度爆炸靠 gradient clipping，梯度消失靠改架構，也就是 LSTM。最後把 Mamba 這類 state space model 稱為「現代 RNN」。
正則化與最佳化——從隨機亂試到 AdamW 與學習率排程｜Stanford CS231N 第 3 堂
L2 給了分數函式和 loss，L3 回答「怎麼找到好的 W」。前半講正則化：在 data loss 旁邊加 λR(W)，讓模型不要把訓練資料背得太好。後半是一條最佳化器的演進線：SGD 在窄長山谷裡會來回震盪，Momentum 累積速度，RMSProp 依每個維度調步伐，Adam 把兩者合起來再做偏差修正，AdamW 把 weight decay 移到動量計算之外。投影片最後的實務建議是：多數情況先用 Adam(W)，SGD+Momentum 可能更好，但要花更多力氣調學習率與排程。
自監督學習——沒有標註，怎麼學到好的表示｜Stanford CS231N 第 12 堂
CS231N 第 12 講的問題是：大規模訓練需要大量標註，能不能不靠人工標註學到好的表示？答案分三段。第一段是從影像變換自動產生標籤的 pretext task：預測旋轉、拼圖、補洞、上色，以及把遮罩比例拉到 75% 的 MAE。第二段是更通用的對比學習：InfoNCE 損失、需要大 batch 的 SimCLR、用佇列解耦 batch 與負樣本數的 MoCo，以及序列層級的 CPC。最後是不需要負樣本的 DINO：學生網路去預測動量老師的輸出，靠 centering 與 sharpening 避免崩塌。評估方式的核心是 linear probing：凍結編碼器，只訓練一層線性分類器。
訓練 CNN 與經典架構——正規化、初始化、遷移學習與 VGG 到 ResNet｜Stanford CS231N 第 6 堂
CS231N 第 6 講的 2026 投影片標題是「Training CNNs and CNN Architectures」，分成「怎麼搭」和「怎麼訓練」兩半。架構只細講兩個：VGG 證明三層 3×3 卷積比一層 7×7 更深、參數更少；ResNet 讓層去學殘差 F(x) = H(x) − x，解決深網路連訓練誤差都更差的最佳化問題。訓練那半最實用的是遷移學習：資料不到約一百萬張，就先找大資料集上的預訓練模型。
影片理解——多了時間維度，模型要怎麼改｜Stanford CS231N 第 10 堂
CS231N 第 10 講把影片看成「2D＋時間」的 T×3×H×W 張量，再沿著一條效率主線往下走：先在短片段上訓練、測試時平均多個片段；架構從逐幀 2D CNN、late fusion、3D CNN，到用光流分出動作的 two-stream 與把 2D 權重「充氣」成 3D 的 I3D；2021 年後換成 Transformer，但 token 數會爆炸，於是有 divided space-time attention、Video Swin、MViT 與 tubelet。最後一段擴展到時序定位、影音多模態、VideoLLM 與長影片理解，並用 HourVideo 指出這塊還差得遠。
視覺與語言——從 CLIP 的對比學習到會看圖說話的多模態基礎模型｜Stanford CS231N 第 16 堂
CS231N Spring 2026 的視覺與語言講次，先把課程前半的「一個任務一個模型」換成「基礎模型」：先用大量多樣的資料預訓練一個模型，再用微調、zero-shot 或 few-shot 接到許多任務。主角有三條線。第一條是 CLIP：用 4 億組網路圖文配對做雙向對比學習，再把類別名稱寫成句子，就能不經微調直接分類；它也有弱點，分不出「草地上的杯子」和「杯子裡的草」。第二條是 LLaVA、Flamingo 到 Qwen3-VL、Molmo 的視覺語言模型：把圖片特徵接進 LLM，讓模型看圖輸出文字。第三條是 chaining：讓 LLM 寫描述或寫程式，把現成的視覺模型串起來。
World Modeling／Robot Learning、Human-Centered AI 與期末專題｜Stanford CS231N 主題單元
CS231N Spring 2026 的最後兩講沒有公開投影片：L17 在課表上只寫「World Modeling」與客座講者 Gordon Wetzstein，L18 只寫「Human-Centered AI」。校外讀者能看的是 2025 年的替代品：L17 當年是另一個主題 Robot Learning（Yunzhu Li，有投影片與錄影），L18 是李飛飛的錄影，沒有投影片。本文把三者分開標示年份，不把 2025 的內容寫成 2026。後半講期末專題：占 35%，分 Applications 與 Models 兩條 track，專案必須處理像素，交付物是一段提案、三次 milestone check-in、6–8 頁報告與海報。
有效視野、reward hacking、Bellman residual 與 RiverSwim｜Stanford CS234 作業 1
CS234 Winter 2026 的作業一共 68 分、四題：庫存 MDP 看視野與折扣怎麼改變最佳策略（8）、自駕車的 proxy reward 為什麼讓 AI 車乾脆不上匝道（5）、用 Bellman residual 界住貪婪策略的表現（30），以及在 RiverSwim 上親手寫 value iteration 與 policy iteration（25）。三題紙筆在練同一件事：你寫下的 reward、γ 與價值函數，不一定是你以為的那個目標。
REINFORCE、baseline 與 PPO 實作，外加策略誘導的分布｜Stanford CS234 作業 2
CS234 Winter 2026 的作業二共 102 分、四題：DQN 紙筆題（8）、在 CartPole、Pendulum、HalfCheetah 三個 PyBullet 環境上實作 REINFORCE、神經網路 baseline 與 clipped PPO（54 分程式＋21 分報告），證明策略誘導的狀態分布與 performance difference lemma（14），以及用 Belmont Report 檢視一個會邊學邊影響學生的 RL 實驗（5）。程式題的重點是把 L5–L7 的式子一行一行變成可以跑出 21 條學習曲線的程式。
Hopper 上的 reward engineering、RLHF、DPO 與 best arm identification｜Stanford CS234 作業 3
CS234 Winter 2026 作業三共五題、94 分。前三題都在 MuJoCo Hopper 上：先用手寫 reward 跑 PPO（13），再從 1 萬筆偏好對學 reward model 後跑 PPO（19＋8），最後用 SFT＋DPO 直接從偏好學策略、完全不碰環境（6＋19）。第四題換成純理論：用 Hoeffding 與 union bound 算出找 ε-最佳臂要幾次試驗（25），這題要等讀完下一篇 bandit 再做。第五題是新聞推薦的 stated vs revealed preference（4）。
multi-armed bandit、regret 與 UCB｜Stanford CS234 主題單元
CS234 L9 與 L10 前半把「探索」從 ε-greedy 這種經驗法則，變成可以證明的東西。先定義 regret：跟一直選最好的手臂相比，你少拿了多少。greedy 會鎖死在次佳手臂，固定 ε 的 ε-greedy 永遠有 ε 比例在亂選，兩者的 regret 都隨時間線性成長。Lai-Robbins 下界說最好也要對數成長，而 UCB 靠「對不確定的手臂樂觀一點」做到了：Bandit Algorithms 定理 7.1 給出每隻次佳手臂只會被拉大約 16 log n / Δ² 次。
強化學習：先修、評分與 10 週自學路線｜Stanford CS234 課程總覽
CS234 是 Emma Brunskill 在 Stanford 教的強化學習入門課，從有模型的 MDP 規劃一路講到策略梯度、RLHF／DPO、bandit 探索和 MCTS。Winter 2026 的 14 講投影片、三份作業的題目與起始碼、專題規格都能匿名下載，本系列評為 A3（足以自學）。缺口是官網沒有 2026 錄影、L15 與 L16 沒有投影片、期中考與 tutorials 不公開。公開錄影是 Spring 2024 版，本系列只拿它當補充；2024 有兩講 Offline RL，2026 投影片裡沒有對應內容。
DQN——deadly triad、experience replay 與 fixed Q-targets｜Stanford CS234 主題單元
Q-learning 在表格上會收斂，接上函數近似就可能發散。CS234 把原因歸成 deadly triad：bootstrapping、function approximation、off-policy learning 三者同時出現。DQN 用兩招撐住：experience replay 打散樣本之間的相關性，fixed Q-targets 讓目標值在 C 步內不動。投影片引用的 Atari 消融表裡，Breakout 從線性模型的 3 分、沒有兩招的深度網路 3 分，到兩招都用的 317 分；只加 replay 就到 241。
資料效率 III——MDP 的 PAC、MBIE-EB、PSRL 與策略性探索｜Stanford CS234 主題單元
前兩篇的 UCB 與 Thompson sampling 只處理單步決策。CS234 第 12 講把同一組想法搬進有狀態的 MDP：先換一把尺，用 PAC 限制「不夠好的步數」而不是總 regret；再看樂觀派的 MBIE-EB（計數＋探索獎勵）與抽樣派的 PSRL（每個 episode 抽一個 MDP 來解）。狀態多到數不完時，計數失效，就改成在 Q-learning 目標上加 bonus，這是 Montezuma's Revenge 上贏過 ε-greedy DQN 的關鍵。最後一段問：探索策略能不能用學的？答案之一是 Decision-Pretrained Transformer。
Shane Gu〈World of World Modeling〉——世界模型是 model-based RL 裡的那個 model｜Stanford CS234 主題單元
CS234 Winter 2026 的最後一份客座投影片，由 Google DeepMind 的 Shane Gu 主講，36 頁、沒有公開錄影。主線有三段：先用 Solomonoff induction 說「最好的預測就是找出最短的生成程式」，再把預測分成三個層次；接著把正向模型 F、逆向模型 Π 與 Q 寫在同一組符號裡，說明 shooting 與 direct collocation 兩種規劃方式怎麼各用一種模型，並把 TDM 與 Generalized Decision Transformer 解讀成「換了時間尺度的世界模型」；最後談影片模型能不能成為物理世界的基礎模型。
behavioral cloning、DAgger、inverse RL 與 MaxEnt IRL｜Stanford CS234 主題單元
有專家示範、沒有 reward 時，CS234 L7 後半給三條路：直接用監督式學習抄動作（behavioral cloning），發現誤差會隨時間累積後改成邊跑邊問專家（DAgger），或者乾脆反推專家在最佳化什麼 reward（inverse RL）。反推 reward 會碰到「無限多組 reward 都解釋得了示範」的問題，feature matching 與最大熵原則是兩種收斂答案的方式。這一段是下一篇 RLHF 的前身：從示範換成偏好，問題結構幾乎一樣。
RL 是什麼、MDP 的語言｜Stanford CS234 第 1 堂
CS234 Winter 2026 第一講先回答 RL 是什麼：在不確定之下，從經驗學會做好決策。它通常同時牽涉四件事：最佳化、延遲後果、探索、泛化。接著用火星探測車的七格世界，從 Markov process 一路加到 Markov reward process，定義 return、value function 和折扣因子，最後推出 MRP 的 Bellman 方程：可以直接解矩陣反轉，也可以用動態規劃迭代。加上動作之後就是 MDP，這是下一講的起點。