Harvard CS50 AI Week 6：Language——N-gram 語言模型、TF-IDF 問答系統、Parser 與 Attention
Week 6 處理自然語言：N-gram 語言模型平滑、CFG 句法解析、TF-IDF 文檢索、注意力機制、Transformer 概念，專案 Parser 生成句子、Questions 實作問答系統。
#nlp
32 篇文章Embedding：模型怎麼把文字變成可以計算的向量
模型不懂文字，只懂數字。Embedding 把每個 token 對應到一組幾百維的向量，意思相近的詞在向量空間裡距離相近。這是搜尋、RAG、分類背後共用的基礎機制。
模型怎麼知道自己錯了：Loss Function 與 Cross-Entropy
模型每次預測下一個 token 時，會給每個候選詞一個機率。Loss function 衡量這個機率分佈跟正確答案差多遠——差越多，loss 越高，模型就知道自己錯得越離譜。Cross-entropy 是最常用的算法，perplexity 是它的直覺版。
Tokenization：BPE 演算法，以及為什麼中文比英文貴
模型不是按字數收費，是按 token 收費。BPE 演算法從字元開始，反覆合併最常出現的相鄰配對來建詞表。英文 'understanding' 可能是 1-2 個 token，但中文「理解」可能要 2-3 個——同樣的意思，中文就是比較貴。
Transformer 與 Attention：模型怎麼決定該看哪些字
Transformer 的核心是 self-attention：對每個 token，模型算出它跟其他所有 token 的相關程度，然後按權重加總。這讓模型能跨越距離抓到「it 指的是 cat 不是 mat」這種關係，也是它處理長文的基礎。
2021 AI 頂會導讀：自然語言處理篇
2021 年是 NLP 從「fine-tune 整個模型」轉向「只調一小部分參數」的分水嶺——Prefix-Tuning（ACL）、LoRA（arXiv，後成為業界標準）、Prompt Tuning（EMNLP）三篇同年出現，ACL Rolling Review 同年啟動，Findings track 正式站穩成為第二發表管道。
2022 AI 頂會導讀：自然語言處理篇
2022 年是 NLP 從「模型能力展示」走向「模型對齊與控制」的轉折年——InstructGPT 把 RLHF 推上主流、Chain-of-Thought 證明推理能力可以靠提示詞解鎖、Flan 2022 讓 instruction tuning 的方法論成熟化。ACL 與 NAACL 同年全面啟用 ARR 滾動審稿，暴露了大量基礎設施與審稿人負載問題。年底 ChatGPT 上線，NLP 研究的遊戲規則從此改寫。
2023 AI 頂會導讀：自然語言處理篇
2023 年是 ChatGPT 之後的第一個完整學術年——NLP 頂會的議程被 LLM 全面重寫：ACL 的 Best Paper 研究幽默理解和政治偏見追蹤，EMNLP 的 Best Paper 用資訊流視角解釋 in-context learning，而 HackAPrompt 這篇 prompt injection 競賽論文直接拿下 EMNLP Best Paper，標誌著安全研究正式進入主流。整年最大的主題轉變是：研究者不再問「怎麼讓模型更準」，開始問「怎麼知道模型在不在騙你」。
2024 AI 頂會導讀：自然語言處理篇
2024 年的 NLP 頂會在 LLM 全面統治下重新定義自己：ACL 把開放科學列為年度主題、七篇 Best Paper 有四篇在問語言模型的根本能力邊界；EMNLP 則把焦點轉向多語言與跨文化，Best Paper 從語音表徵做到梯度可解釋性。投稿量持續爆炸（ACL+EMNLP 合計破萬），但社群真正焦慮的不是數量，而是當 LLM 能做幾乎所有 NLP 任務時，NLP 研究本身還剩什麼。
2025 AI 頂會導讀：自然語言處理篇
2025 年 NLP 頂會的投稿量全面翻倍（ACL 8,360 篇、EMNLP 8,174 篇），中國第一作者在 ACL 佔比突破 51%，DeepSeek 的 Native Sparse Attention 拿下 ACL Best Paper——但最值得注意的是會議本身的身份危機：ACL 主席說『ACL 不是 AI 會議』，一篇量化分析問『Has ACL Lost Its Crown?』，EMNLP 被質疑跟 ACL/NAACL 還有什麼差別。
CS124 Week 1 Introduction and Setup：先把語言問題拆成可計算的元件
CS124 Winter 2026 第一週不是先教 Transformer，而是先畫出從斷詞、分類、檢索到語音與網路的十週路線，並用 PA0 建好後續九週共同使用的 Jupyter 環境。
CS124 Week 2 Words, Tokens, Edit Distance, and N-grams：LLM 之前先決定模型看見什麼
Week 2 把文字處理拆成三層：以 BPE 建立 token 詞彙、以動態規劃求最小編輯距離，再以 n-gram 近似序列機率；PA1 把正規表示式與 BPE 變成可執行作業。
CS124 Week 3 Logistic Regression and Text Classification：從特徵到機率與 loss
Week 3 用 logistic regression 串起文字特徵、sigmoid 機率、cross-entropy loss 與 gradient descent，讓分類不只輸出標籤，也能說明每個特徵如何推動預測。
CS124 Week 4 Information Retrieval：從倒排索引、tf-idf 到 RAG 的檢索底座
Week 4 從倒排索引建立候選集，以 tf-idf 與 cosine similarity 排序，再把檢索結果接到生成模型；PA3 要求實作的不是聊天介面，而是 RAG 前半段可檢查的搜尋核心。
CS124 Week 5 Embeddings and Social NLP：語境向量與公開材料的證據邊界
Week 5 的公開材料支持 distributional hypothesis、word embeddings 與 cosine similarity；同週 Social NLP 現場課未錄影且投影片受限，具體 audit 方法只作作者延伸。
CS124 Week 6 Neural Networks and LLMs：從神經元、反向傳播到 decoder-only 模型
Week 6 以公開 neural-network slides 建立 weighted sum、nonlinearity、loss 與 backpropagation，再用檔名標示 2025 的公開 LLM/Transformer deck 連到 decoder-only 架構，不視為 2026 現場逐字內容。
CS124 Week 8 Speech and PA7/Git Lab：把 TTS→STT pipeline 當成可稽核的資訊損失
Week 8 以 PA6b 把文字轉語音再轉回文字，要求分類錯誤、檢查格式遺失與口音偏差；同週 Lab 4 以 Git 與 PA7 協作把課程帶入團隊 agent 專案。
CS224N 第 3 講：矩陣微積分與反向傳播
第 3 講把神經網路訓練拆成計算圖、局部導數與鏈鎖律：forward pass 算結果，backprop 由輸出往回累積梯度，讓每個參數知道自己該往哪裡移。
CS224N 第 11 講：Benchmark 與 LLM 評估為什麼會過期
第 11 講把評估拆成測什麼、怎麼量與何時不再可信：benchmark 會飽和、遭污染或被提示格式左右，LLM judge 也只是帶著自身偏差的模型。
CS224N 第 6 講：把期末專案收斂成可驗證的研究問題
第 6 講先補完 Transformer encoder、decoder 與 cross-attention，再把期末專案拆成題型、評分、研究題目與資料來源；好題目必須能用一個明確 baseline 和指標驗證。
CS224N 第 1 講：NLP 的四次典範轉移
Winter 2026 第 1 講用四個時代整理 NLP：早期探索、符號系統、統計機器學習、深度與自監督學習；重點不是背年表，而是看每個時代如何重新定義語言問題。
CS224N 第 4 講：語言模型、RNN 與消失梯度
第 4 講把語言模型定義成下一詞機率分布，再用 RNN 壓縮任意長前文；它同時揭露 recurrence 的核心代價：資訊與梯度都必須沿時間步逐步傳遞。
CS224N 第 5 講：從 recurrence 到 Transformer
第 5 講從 RNN 的長距離與循序瓶頸走到 self-attention，再組成 Transformer；它縮短位置間的資訊路徑並容許平行計算，但付出二次方 attention 成本與位置資訊必須另行注入的代價。
CS224N 第 2 講：word2vec 如何把語意變成向量
第 2 講從 word2vec 的預測任務、目標函數與梯度一路走到 count-based vectors 和評估，核心是：詞義不是查表得到的標籤，而是從上下文分布學出的高維座標。
Berkeley CS288（一）：從 n-gram、詞表示到文字分類
前四組教材先建立可計數、可表示、可分類的文字模型；A1 再要求從 n-gram、perceptron 做到 NBOW MLP。
Berkeley CS288 Spring 2026 導讀：18 組教材、三份作業與自學邊界
CS288 用 18 組公開投影片與三份作業，從 n-gram 走到 RAG、reasoning 與 agents；錄影需 Berkeley 登入，所以這是一條教材型 A3 路線。
Berkeley CS288（二）：Sequence Models、Seq2Seq 與 Transformer
05–07 組教材把固定向量的分類器推進序列狀態、encoder-decoder，再用 attention 與 Transformer 改寫資訊路徑。
Stanford CS124 導讀：課號掛 100，先修寫死四門，而且下一學年整年不開
CS124 是 Stanford NLP 分支的第一門課，教科書是 Jurafsky 自己免費放在網路上的《Speech and Language Processing》，九個作業 repo 全部公開。但課程網站首頁掛著一行公告：2026–27 學年整年不開。而且那份課綱指定的章號，已經跟 2026 年 8 月版的教科書對不上了。
Stanford CS224N 導讀：打開 2019 年那版課表，Transformer 還排在第 14 堂
CS224N 把 2000 年以來每一屆的課程網站都留在線上。2019 冬季那版，Transformer 是第 14 堂的客座講題；2026 冬季那版，它是第 5 堂，之後每一堂都預設你已經懂它。機器翻譯作業整個消失了，第三份作業改成自己刻一個 decoder-only Transformer，附 pytest 可以在筆電上跑。
Stanford CS224U 導讀：課程網站停在 2023 年春季，但整套教材可以 clone 下來跑
CS224U 的教材不是投影片，是一個 Apache-2.0 的 GitHub repo，講義、作業、評分文件全在裡面。但校內班從 2023 年春季之後連停三個學年，ExploreCourses 把它排回 2026-27 春季；官方課程描述至今仍列著 relation extraction 與 semantic parsing，2023 年的講次表一堂都沒有。第一份作業的資料載入 cell 在今天的新環境會卡在 Hugging Face 的相容性改動上。
NLP & LLM 面試攻略：從 tokenization 到 RLHF
LLM 面試的分水嶺是你有沒有實際用過這些東西。高頻考點：BPE tokenization 的邏輯與多語言問題、預訓練目標（CLM vs MLM）、fine-tuning 的三種層次（full/LoRA/prompt tuning）、RLHF 的流程與 failure mode、prompting 的工程實踐、LLM 評估的困難與現有方法。
「推薦下一條」和「推薦類似的」不是同一件事 — RAG 推薦系統的意圖消歧
攀岩 RAG 系統中「推薦下一條路線」（progression）和「推薦類似路線」（similarity）被同一個 hasSimilarRouteIntent() 函式混為一談，導致推薦品質崩壞。解法是 Regex Fast Path + LLM Fallback 的兩階段意圖分類。