用深度學習做自然語言處理：從 word2vec 到自己刻 Transformer｜Stanford CS224N 課程總覽
CS224N 是 Stanford 用深度學習做自然語言處理的課：從詞向量、反向傳播講到 Transformer，之後每一堂都建立在 Transformer 之上，四份作業包含自己刻一個 decoder-only Transformer。現行投影片與作業公開，第三份作業附可以在筆電上跑的單元測試；公開的完整錄影是較早的版本，跟現行課表有落差。
20 篇文章
Stanford CS224N Natural Language Processing with Deep Learning 導讀
逐講讀 Stanford CS224N：從詞向量、序列模型與 Transformer，到大型語言模型、評估與責任議題。
系列導讀
NLP 的四次典範轉移｜Stanford CS224N 第 1 堂
Winter 2026 第 1 講用四個時代整理 NLP：早期探索、符號系統、統計機器學習、深度與自監督學習；重點不是背年表，而是看每個時代如何重新定義語言問題。
word2vec 如何把語意變成向量｜Stanford CS224N 第 2 堂
第 2 講從 word2vec 的預測任務、目標函數與梯度一路走到 count-based vectors 和評估，核心是：詞義不是查表得到的標籤，而是從上下文分布學出的高維座標。
矩陣微積分與反向傳播｜Stanford CS224N 第 3 堂
第 3 講把神經網路訓練拆成計算圖、局部導數與鏈鎖律：forward pass 算結果，backprop 由輸出往回累積梯度，讓每個參數知道自己該往哪裡移。
語言模型、RNN 與消失梯度｜Stanford CS224N 第 4 堂
第 4 講把語言模型定義成下一詞機率分布，再用 RNN 壓縮任意長前文；它同時揭露 recurrence 的核心代價：資訊與梯度都必須沿時間步逐步傳遞。
從 recurrence 到 Transformer｜Stanford CS224N 第 5 堂
第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention，再組成 Transformer；它縮短位置間的資訊路徑並容許平行計算，但付出二次方 attention 成本與位置資訊必須另行注入的代價。
把期末專案收斂成可驗證的研究問題｜Stanford CS224N 第 6 堂
第 6 講先補完 Transformer encoder、decoder 與 cross-attention，再把期末專案拆成題型、評分、研究題目與資料來源；好題目必須能用一個明確 baseline 和指標驗證。
預訓練、subword 與 in-context learning｜Stanford CS224N 第 7 堂
第 7 講把預訓練拆成可擴張資料、subword tokenization、三種模型目標與 in-context learning；核心取捨是用通用的自監督目標換取可重用表示，再用下游訊號指定用途。
從 instruction tuning、RLHF 到 DPO｜Stanford CS224N 第 8 堂
第 8 講解釋預訓練模型如何經 instruction tuning、偏好資料與 RLHF 變成助理，再以 DPO 直接從勝負配對學習；每一步都把人的判斷轉成訓練訊號，也把偏差帶進模型。
Prompting、LoRA 與參數高效微調｜Stanford CS224N 第 9 堂
第 9 講比較 prompting、pruning、LoRA、prompt tuning 與 adapters：它們都在回答同一題——要讓一個大型預訓練模型適應新任務，究竟需要改多少參數與儲存多少任務狀態？
RAG 與 Language Agents 的六個元件｜Stanford CS224N 第 10 堂
第 10 講從問答與 RAG 進入 language agents，再拆成推理規劃、記憶、工具、資料與評估；agent 不是單一模型，而是模型與外部狀態之間可被逐步檢查的迴圈。
Benchmark 與 LLM 評估為什麼會過期｜Stanford CS224N 第 11 堂
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
Decoding、DeepSeek-R1 與推理訓練｜Stanford CS224N 第 12 堂
第 12 講先證明輸出策略不是小細節：greedy、beam 與 sampling 會產生不同文字；再由 R1-Zero/R1 走進 PPO、GRPO、DAPO，最後追問長推理何時真的有用。
Speculative Decoding 與 Test-Time Scaling｜Stanford CS224N 第 13 堂
第 13 講從推論效率走到推論能力：speculative decoding 用小模型草擬、大模型驗證；on-policy distillation 處理資料漂移；長上下文與 test-time scaling 則用更多推論資源換取表現。
Tokenization 如何製造多語言成本差｜Stanford CS224N 第 14 堂
第 14 講從 word、character/byte 與 subword 切分一路走到 BPE failure cases 和跨語言公平：tokenizer 決定序列長度、運算成本與模型看到的語言單位，因此不是中立前處理。
沒有公開投影片時，如何讀 Agentic Interpretability｜Stanford CS224N 第 15 堂
第 15 講由 Been Kim 客座談 interpretability，但 Winter 2026 官網沒有公開投影片或 agenda；本文不虛構講授內容，只用官方五篇閱讀建立概念發現、agentic investigation 與新詞彙三條閱讀路線。
Hallucination、創造力、工作與價值對齊｜Stanford CS224N 第 16 堂
第 16 講把 NLP 的社會影響拆成四題：模型為何 hallucinate、AI 輔助創作的同質化悖論、工作如何重組，以及價值對齊為何不能化約成單一 reward。
Multimodality 的官方閱讀地圖｜Stanford CS224N 第 17 堂
第 17 講由 Luke Zettlemoyer 客座談 multimodality，但官網沒有公開投影片或 agenda；官方閱讀清單可確認三條主線：視覺推理介面、early-fusion token 模型、文字自回歸加影像 diffusion。
LoRA 低秩更新：Tinker 客座課前預習｜Stanford CS224N 第 18 堂
手算低秩更新、分清更新與完整權重的秩，並計算可訓練參數。這是依 LoRA 論文的課前預習，不重建尚未取得公開材料的 Tinker 客座內容。
小模型如何跨過 Scaling Law 的門檻｜Stanford CS224N 第 19 堂
最後一講把 Open Questions in NLP 2026 收斂成 smart scaling：以 prolonged RL、Prismatic synthetic data、RL as pretraining 與開放協作，讓小模型不只靠增加參數追求推理能力。