今天的核心是 bias-variance tradeoff 在「規模變大」這個條件下會怎麼變化：資料量變大會在同樣模型複雜度下自然壓低 variance，所以規模夠大時常常可以負擔得起更複雜的模型而不過擬合；L1／L2 正則化的差別是幾何上的（diamond 有角 vs circle 沒有角），bagging 降 variance、boosting 降 bias 則是用演算法設計直接對應誤差分解裡的兩項；優化器選 SGD 還是 Adam，也是另一種规模下的 trade-off（Adam 收斂快但記憶體多三倍、可能收斂到較平的 minima 而略為犧牲泛化）。練習題取自 Apple Machine Learning Engineer 面試的真實問法——解釋 bias-variance tradeoff，以及規模變大時你會怎麼想——這類題目的陷阱是只會背公式，答不出「規模」這個條件到底改變了什麼。
今天的核心是三種『模型上線後變差』的失效模式怎麼分開診斷：data drift（輸入分布變了）、concept drift（輸入跟標籤的關係變了,需要真實標籤才能確認）、training-serving skew（根本不是世界變了，是你訓練跟線上兩套特徵計算邏輯本來就不一致）。偵測工具是 PSI（Population Stability Index）,但 PSI 只能告訴你分布動了,動的原因要靠排查順序分清楚。練習題取自 Spector AI 的真實 MLE 面試問法——模型上線兩週後效能下滑,你怎麼診斷——這類題目的關鍵不是背定義,是能示範一套『先排除管線問題,再查 skew,最後才談 drift』的診斷順序。
今天的核心是 bias-variance trade-off、L1/L2 regularization 的數學直覺、gradient descent 變體怎麼選，以及一個很容易被忽略的評估陷阱：重複拿 validation 分數去調參，本身就是一種資料洩漏。練習題取自 Amazon ML Engineer onsite 的真實問法——資料不平衡時怎麼處理，並從優化角度解釋 L1/L2 怎麼運作——這類問題的關鍵不是背公式，是能把資料層面、模型層面、評估層面的手段分開講清楚。
這堂課給第 1 堂的流程圖填上第一組具體內容：假說集合 H 是所有的線（感知器），演算法 A 是 PLA，看到分錯的點就把 w 加上 yₙxₙ。資料線性可分時，從 w₀ = 0 出發最多修正 R²/ρ² 次就會停；資料分不開時改用 pocket，把看過錯最少的那條線留在口袋裡。
這堂課把第 1 堂的學習流程圖沿四個方向各換一次：輸出空間 Y（二元分類、多類別分類、迴歸、結構化學習）、標籤 yₙ（監督式、非監督式、半監督式、強化學習）、資料交給演算法的方式（batch、online、active）、輸入空間 X（具體、原始、抽象特徵）。四個方向各有一個核心選項，合起來是基石之後的主場：批次、監督式、具體特徵的二元分類與迴歸。
假說集合只要有 break point k，N 個點上最多能產生的 dichotomy 數 B(N, k) 就滿足 B(N, k) ≤ B(N−1, k) + B(N−1, k−1)，由此推出 B(N, k) ≤ C(N, 0) + … + C(N, k−1)，最高次是 N 的 k−1 次方。再用三個步驟把成長函數放進 Hoeffding，得到 VC bound：壞事機率 ≤ 4·m_H(2N)·exp(−ε²N/8)。二維感知器的 break point 是 4，所以學得起來。
這堂課把固定的目標函數換成目標分布 P(y|x)：只要 (x, y) 是從同一個聯合分布獨立抽出來的，VC bound 在有雜訊時照樣成立。誤差衡量 err 和 P(y|x) 一起決定每個 x 上最理想的預測，0/1 誤差選機率最大的 y，平方誤差選加權平均。CIA 指紋辨識把誤放罰 1000 倍，這種加權分類等於把 −1 的資料複製 1000 次再做一般分類。
邏輯迴歸用 θ(wᵀx) 估計 P(+1|x)，資料卻只有圈與叉。這堂課用最大概似推出 cross-entropy 誤差 ln(1 + exp(−y wᵀx))，用連鎖律算出梯度是 −yₙxₙ 的 θ 加權平均；令梯度為零是 w 的非線性方程式，沒有閉式解，所以改用固定學習率的梯度下降 w ← w − η∇E_in(w) 一步一步走到谷底。
資料用直線切不開時，不必重新設計演算法：先用特徵轉換 Φ 把 x 換成 z，在 Z 空間照常跑線性模型，Z 空間的直線就是 X 空間的二次或更高次曲線。Q 次多項式轉換會把維度拉到 d̃ = C(Q+d, d) − 1，計算、儲存與 VC 維度（至多 d̃+1）都跟著漲，所以這堂課的結論是先試線性模型，不夠再往高次走。
從 10 次多項式退回 2 次，等於在 10 次的問題上加限制式。把限制放軟成 ‖w‖² ≤ C 之後，最佳解上 E_in 的負梯度必須和 w 平行，由此得到 w_REG = (ZᵀZ + λI)⁻¹Zᵀy，也等於最小化 E_aug = E_in + (λ/N)wᵀw，這就是 weight decay。λ 愈大，等效的 C 愈小，有效 VC 維度 d_EFF 跟著變小；換成 L1 則會得到稀疏解。
基石最後一堂不教新演算法，講三個讓前十五堂的保證失效的情況。簡單的模型很難碰巧把亂標的資料分開：10 個點配隨機標籤，decision stump 分得開的機率只有 20/1024，所以分得開才有意義。訓練與測試不是同一個分布時 VC 保證不成立；資料只要影響過學習流程的任何一步，就不能再拿來評估結果。最後用 Power of Three 把整門課收成五組三。
hard-margin SVM 的原始問題有 d̃+1 個變數，特徵維度一大就解不動。這堂課用拉格朗日對偶把它換成只有 N 個變數、N+1 條限制的二次規劃，再用 KKT 條件從 α 算回 w 與 b；只有 α 大於 0 的支援向量會影響答案。對偶問題的矩陣裡還留著 d̃ 維的內積，所以特徵維度要到下一堂才真的擺脫。
hard-margin SVM 堅持把資料完全分開，所以會去擬合雜訊。這堂課替每個點加一個違反量 ξₙ，用參數 C 權衡邊界寬度與違反總量，得到 soft-margin SVM；它的對偶問題和 hard-margin 只差 αₙ 多了上界 C。αₙ 的值把資料分成非支援向量、free SV、bounded SV 三類，算 b 要用 free SV；C 與 γ 用交叉驗證選，支援向量的比例 #SV/N 是 leave-one-out 誤差的上界。
用 representer theorem 把 ridge regression 換成解 β，得到 kernel ridge regression 的解析解 β = (λI + K)⁻¹y，但 N 個 βₙ 幾乎都不是 0。把平方誤差換成 ε-insensitive 的管狀誤差，照 soft-margin SVM 的路線寫成 QP 再取對偶，就得到支援向量迴歸（SVR）：對偶有 2N 個變數，嚴格落在管子裡的點 βₙ 一定是 0。
這堂把 bagging 的 bootstrap 改看成替每筆資料加權，再刻意把權重調到讓上一輪的 gₜ 加權錯誤率剛好 1/2，逼下一輪學出不一樣的假說。做法是答錯的資料乘上 ◆ₜ = √((1−εₜ)/εₜ)、答對的除以它，並用 αₜ = ln ◆ₜ 當票數做線性投票，這就是 AdaBoost。基礎演算法只要每一輪都比亂猜好一點，E_in 會在 O(log N) 輪內降到 0；搭配 decision stump，六筆資料手算三輪就看得到。
隨機森林是 bagging 套在完全長成的 C&RT 上，再讓每次分支只看隨機投影出來的少數特徵。bootstrap 抽 N 次時，每筆資料約有 1/e ≈ 36.8% 的機率沒被某棵樹用到，這些 out-of-bag 資料可以直接算出 E_oob，當作不用另外切資料、不用重新訓練的驗證；再配上 permutation test 就得到每個特徵的重要度。代價是結果會隨亂數種子晃動，樹要加到 G 穩定為止。
AdaBoost 每一輪的權重總和，剛好是指數誤差 exp(−ys) 的總和。這堂課由此推出：基礎演算法找的 gₜ 是近似的函數梯度方向，票數 αₜ 是那個方向上的最佳步長。把指數誤差換成平方誤差，同一套推導變成「每一輪對殘差 yₙ − sₙ 做迴歸，再用單變數線性迴歸定步長」，基礎模型用砍弱的 C&RT 就是 GBDT。
網路疊深之後，每一層只要做一點事，但結構、模型複雜度、最佳化與計算量都變難。這堂課挑初始化與正則化兩件事來講：用 d—d̃—d 的 autoencoder 一層一層預訓練權重，讓每一層先學會保留資訊的編碼；在輸入加人工雜訊訓練，當成一種正則化；最後把 autoencoder 換成線性的，推出最佳的 W 就是 XᵀX 最大的 d̃ 個 eigenvector，資料先減平均就是 PCA。
推薦系統的輸入只有使用者編號。把編號做 binary vector encoding、丟進拿掉 tanh 的 N-d̃-M 線性網路，假說就是 h(x) = WᵀVx，等於把評分矩陣寫成 R ≈ VᵀW。學 V 與 W 有兩條路：交替最小平方每輪解 M+N 個線性迴歸，SGD 每次只用一筆評分更新一位使用者與一部電影的向量。最後把 boosting、神經網路、RBF 網路、矩陣分解與 k 近鄰收成一張萃取模型的地圖。
CS229 Spring 2026 的開場課只有 37 分鐘、沒有推導。它用 Tom Mitchell 的「經驗 E、任務 T、衡量 P」定義機器學習，再把整門課分成監督式、非監督式、強化學習三類，三者的差別在於資料裡有沒有答案、資料是不是模型自己收集來的。大型語言模型在這個分類裡同時出現三次。
第 2 堂把監督式學習拆成三件事：假設函數 h、最小平方成本 J(θ)、把 J 壓低的演算法。梯度下降每步要掃過全部 n 筆資料，minibatch SGD 只看一小批就更新，代價是在最佳解附近晃動；線性迴歸另有封閉解 θ = (XᵀX)⁻¹Xᵀy，前提是 XᵀX 可逆。
假設誤差是零均值、獨立同分布的高斯雜訊，對概似函數取 log 之後，最大概似就等於上一堂的最小平方。同一套做法換成 0/1 標籤與 sigmoid，得到邏輯斯迴歸，梯度仍是「誤差乘上輸入」。最後用 Newton 法對照 SGD：步數少，但每步要付 n·d² + d³ 的計算量。
只要 y 的分布能寫成 b(y)·exp(ηᵀT(y) − a(η))，對 a(η) 微分一次就是期望值、兩次就是變異數；再令 η = θᵀx，線性迴歸、邏輯斯迴歸與 softmax 的更新式都是同一條 θ ← θ + α(y − h(x))x。後半堂用四個類別的例子講 softmax、交叉熵與 label smoothing。
第 5 堂把分類問題反過來做：不直接學 p(y|x)，改學 p(x|y) 與 p(y)。GDA 假設兩類是共用共變異數的高斯，最大概似估計只要數比例、取平均，決策邊界推出來是一條直線，事後機率剛好是 sigmoid；Naive Bayes 用條件獨立把 2^d 個參數壓到 2d+1 個。
這堂課把測試誤差拆成雜訊 σ²、偏差平方、變異三項，再用 ridge regression 的閉式解說明正規化怎麼把特徵值從 λ 推到 λ+ρ，用一點偏差換掉大量變異。後半堂講雙降、ImageNet-V2，以及用開發集、k 折交叉驗證與 successive halving 挑超參數。
第 7 堂先把線性模型的訓練流程原封不動搬到非線性模型：每筆資料一個 loss、取平均、用 SGD 往下走，剩下兩個問題是模型長什麼樣、梯度怎麼算。後半堂回答第一個：一個神經元是 ReLU(wᵀx+b)，m 個神經元疊成矩陣就是一層 ReLU(Wx+b)，參數 md+m 個；再往上是殘差區塊 z+σ(MM(σ(MM(z)))) 與 LayerNorm、RMSNorm。梯度怎麼算留給第 8 堂。
這堂課從一個定理出發：能用 N 個基本運算算出來的純量函數，梯度也能在 O(N) 時間算完。做法是把鏈鎖律讀成「拿到 ∂J/∂u 就能算 ∂J/∂z，而且只需要中間那個模組的資訊」，再替矩陣乘法與啟動函數各推一個 backward 函數：Wᵀv、vzᵀ、σ′(z)⊙v。本文另外用一個 2-2-1 的小網路把前向與反向手算一遍。
第 9 堂從 k-means 的「指派、取平均」兩步出發，說明它為何一定停下來卻只保證到局部最佳；接著把硬指派換成機率，得到高斯混合模型與 EM 的 E-step（貝氏定理）和 M-step（加權平均）。最後用 Jensen 不等式畫出 EM 的圖像：每一輪造一條貼著 log-likelihood 的下界再爬到頂，完整推導留到第 10 堂。
前半堂用 Jensen 不等式替對數概似造出下界 ELBO，把 Q 取成後驗機率讓下界在目前參數緊貼，推出每一輪 EM 都不會讓概似下降，套回高斯混合就得到上一堂的加權平均公式。後半堂把 PCA 寫成在單位向量上最大化 uᵀΣu，答案是共變異數矩陣最大特徵值對應的特徵向量。
前向過程每一步把資料乘上 √(1−β_t) 再加變異數 β_t 的高斯雜訊，展開後 x_t = √ᾱ_t·x_0 + √(1−ᾱ_t)·ε̂_t，不必學。反向用高斯 p_θ(x_{t−1}|x_t) 去學，把上一堂的 ELBO 套在整條軌跡上，再用 KL 連鎖律拆開，每一步的損失是 ‖μ̃_t(x_t,x_0) − μ_θ(x_t,t)‖²/(2β̃_t)。這堂停在這個式子，化簡成預測雜訊留到第 12 堂。
前半堂把擴散模型的 ELBO 收成一條式子：每個時間步都是「猜出當初加進去的雜訊」的平方誤差，訓練五步、取樣一個迴圈。後半堂開始講基礎模型：預訓練加適應的兩階段、linear probe、finetune、LP-FT，以及 LoRA 只訓練 2dr 個參數卻省不了多少運算的原因。
這堂課把 SimCLR 損失拆成一張 B×B 相似度矩陣：每一列做一次 softmax 分類，答案是對角線那一格。對角線被拉高、其餘被壓低，模型不需要標籤就學到「相似的東西向量相近」。後半堂用同一組向量做語意檢索，再接到 RAG。
這堂課把大型語言模型拆成三層：分詞把文字變成 token 編號，鏈式法則把整段文字的機率拆成一連串「下一個 token」的條件機率，訓練就是把每個位置的交叉熵加起來。後半堂打開 Transformer：query 與 key 的內積過 softmax 得到權重，對 value 做加權平均，再用 causal mask 擋住未來位置；單層 attention 的計算量隨序列長度 T 的平方成長。
生成時每個 head 都要把過去所有位置的 key 與 value 留在 GPU 記憶體裡，這份 KV cache 會卡住 batch size。GQA 讓 τ 個 query head 共用一組 key／value，把它縮成 1/τ；sliding window 把 T² 的運算壓到 T·w；MoE 讓 128 個 expert 裡每個 token 只跑 8 個。後半堂講怎麼用訓練好的模型：few-shot、zero-shot 都不動參數，SFT 才動，而且 loss 只算在答案的 token 上。
這堂課前 55 分鐘把循序決策寫成 MDP（狀態、動作、轉移機率、獎勵、折扣因子），推出固定策略的 Bellman 方程式是一組線性方程式；後 20 分鐘推導 policy gradient：用 ∇p = p∇log p 把梯度換回期望值，轉移機率因為不含 θ 而從梯度裡消失，最後停在「log 機率梯度的和 × 折扣獎勵的和」這條公式，變異數縮減留到下一堂。
學期最後一堂把 policy gradient 收尾：過去的獎勵與只依賴狀態的 baseline 都可以從權重裡拿掉而不改變期望值。接著用重要性取樣推出 PPO 的截斷目標函數，拆成四種情況看哪些樣本還有梯度，再比較 CISPO 的改法。最後把語言模型逐 token 生成寫成 MDP，只在答案對的時候給 1 分，用同一題 8 個樣本的平均當 baseline 訓練長思維鏈。
今天的 ML Fundamentals 輪練涵蓋四個核心概念:bias-variance tradeoff 要看 train/validation 的差距大小來判斷該往哪個方向調、L1 regularization 靠固定梯度把權重壓到剛好等於零(L2 的梯度隨權重縮小只會逼近零)、cross-validation 策略要依資料型態換(分類用 StratifiedKFold、時間序列用 TimeSeriesSplit、同時做超參數搜尋跟效能評估要用 Nested CV 避免過度樂觀)、以及 AUC-ROC 跟 PR-AUC 在資料不平衡時給出完全不同的訊號。練習題是 Amazon／Meta／Google 面試迴圈常出現的經典題:模型的 AUC-ROC 很高但 precision 很低,這代表什麼、你會怎麼處理,拆解思路把「先懷疑哪裡」到「怎麼用 PR curve 取代 ROC 做診斷」串成一套完整推理鏈。
MLA-C02 自 2026 年 9 月 29 日起取代英文版的 MLA-C01。四章權重 28 / 24 / 24 / 24，章節名稱都加上了 AI 或 FM：官方對照表列出 45 條新增技能，內容是向量資料庫、embedding、RAG、基礎模型的選擇與微調、agent 的部署與監控，另刪掉 7 條。目前是英文 beta（考試代碼 ME1-C02、170 分鐘、85 題、$75）；正式版依考試指南是 65 題、及格 720、效期 3 年，日文、韓文、簡中要等正式上線，沒有繁體中文。
AI-300（Machine Learning Operations Engineer Associate）接替 2026 年 6 月 1 日退場的 DP-100。五塊權重 15–20 / 25–30 / 20–25 / 10–15 / 10–15：前兩塊是 Azure Machine Learning 上的傳統 MLOps，合計 40–50%；後三塊是 Microsoft Foundry 上的 GenAIOps，合計 40–55%。官方點名 MLflow、Bicep、Azure CLI、GitHub Actions。官方規格：美國 $165、台灣 $83、120 分鐘、及格 700、效期一年，考試只有英文。
今天的 ML Fundamentals 輪練涵蓋四個核心概念：Grid Search／Random Search／Bayesian Optimization 的超參數搜尋效率差距(Bayesian 用代理模型記住過去試驗，大約少 7 倍迭代、快 5 倍)、Huber Loss 用一個轉折點 delta 把 MSE 的平滑梯度跟 MAE 的離群值穩健性縫在一起、維度詛咒如何讓距離度量在高維空間失效、以及 PCA 當降維工具之外更深一層的角色。練習題來自 Pinterest Machine Learning Engineer 面試(PracHub 2026 題庫)：解釋深層神經網路梯度消失的成因，並討論 ReLU、Leaky ReLU、ELU 三種激活函數各自用什麼數學代價去緩解，拆解思路把「連鎖律乘積趨近於零」到「换激活函數换到的是哪種新問題」串成一套完整的推理鏈。
面試追問通常落在機制：為什麼要除以 √d_k、AdamW 和 Adam＋L2 差在哪、AUC 很高為什麼還不能上線。本文逐題講概念、機制與答法，最後附 3 題可執行的 numpy 手寫題。
ADL 的第一堂沒有數學推導，只建立兩個觀念。第一，機器學習是給機器很多組輸入與輸出，讓它自己找出把輸入變成輸出的函數；深度學習是把很多簡單函數串成一條生產線，只給兩端的資料，中間每一站做什麼都由機器學。第二，要用深度學習解問題，先寫下輸入 X 與輸出 Y：輸出的形式決定任務是分類還是序列預測，輸入的性質決定該選哪種網路。中間還回答兩個問題：為什麼 2010 年後才突破（資料與 GPU），以及為什麼要深不要胖。
手上有 T 個假說 gₜ 時，除了用 validation 挑一個，還可以一人一票（uniform blending）、學一組票數（linear blending）或再學一個模型來組合（any blending，也叫 stacking）。這堂用一段六行的代數證明：平方誤差下，平均後的 G 不會比 gₜ 的平均表現差，差距就是 gₜ 之間的分散程度，也就是 variance。最後用 bootstrap 從唯一一份資料重抽出 T 份，各訓練一個 gₜ 再投票，就是 bagging。
基石用 16 堂回答四個問題：機器什麼時候學得會、為什麼學得會（Hoeffding、成長函數、VC 維度）、怎麼學（線性迴歸、邏輯迴歸、非線性轉換）、怎麼學得更好（正則化、驗證）。技法再用 16 堂講三種處理特徵的方法：kernel 把特徵嵌進高維（SVM）、aggregation 把多個假說合起來（AdaBoost、隨機森林、GBDT）、extraction 從資料學出隱藏特徵（神經網路、矩陣分解）。130 支 YouTube 影片免費；練習用 Fall 2024 公開的 HW0–HW7。
決策樹是邊學邊做 conditional aggregation 的模型：每條從根到葉的路徑是一個條件，葉子是一個常數。C&RT 每次用一個 decision stump 把資料切成兩份，挑加權不純度最小的切法，切到不能再切為止；這樣長出來的樹 E_in 幾乎都是 0，所以要用「E_in 加 λ 乘葉子數」剪枝，λ 用 validation 選。同一套遞迴還能處理多類別、類別特徵與缺值。
這堂課先證明只靠資料 D 推不出 D 以外的答案（No Free Lunch），再加上一個假設：資料與未來的輸入都從同一個分布獨立抽出。Hoeffding 不等式於是保證，一個事先固定的假說 h，E_in 與 E_out 相差超過 ε 的機率不超過 2exp(−2ε²N)。演算法要從 M 個假說裡挑，上界乘上 M 變成 2M exp(−2ε²N)；假說有限、資料夠多、E_in 又小，學習就可行。
技法第 16 堂沒有新模型，它把前 15 堂的模型改用三個問題重新分類：特徵藏在哪裡（kernel、aggregation、extraction、低維投影）、誤差怎麼降下來（梯度、等價問題、拆成多步）、模型太強時怎麼踩煞車（正則化、驗證）。本文用八個點把 PCA 加 AdaBoost-Stump 從頭算完，三個問題各對一次答案；最後保留 Fall 2024 校內課補上的 ReLU、Xavier／He 初始化、momentum、RMSProp 與 Adam。
Fall 2024 的基石作業共六份：HW0 是 20 題數學先修選擇題；HW1–HW5 每份 12 題加 1 題 bonus，Q1–4 自動批改、Q5–12 助教批改，程式題用 LIBSVM 網站上的 rcv1、cpusmall、mnist 資料，HW5 要用 LIBLINEAR。HW1、HW2 各有一題要你拿 ChatGPT 類工具的回答來反駁。Fall 2026 已公開 hw0 與 hw1：hw1 改成 16 題全選擇題、抽 4 題由助教細改，資料換成課程自己給的 hw1_train.dat；新 policy 允許用 AI 與 vibe coding，但 AI 產生的程式要逐段用自己的話寫註解。兩個學期都沒有公開官方解答。
soft-margin SVM 的 ξₙ 可以直接寫成 max(1 − yₙ(wᵀzₙ + b), 0)，整個問題就變成 ½wᵀw 加上 C 乘以 hinge 誤差的總和，是一個 L2 正則化模型，C 對應 1/(2λ)。hinge 誤差和邏輯迴歸的 cross-entropy 都是 0/1 誤差的凸上界，所以 SVM 近似於 L2 正則化邏輯迴歸。要機率輸出有兩條路：Platt 的兩層學習只多學兩個數字 A 與 B；representer theorem 則保證最佳的 w 是 zₙ 的線性組合，可以直接在 Z 空間做 kernel 邏輯迴歸，代價是 N 個 βₙ 通常都不是 0。
對偶 SVM 的變數個數已經和特徵維度 d̃ 無關，但 Q 矩陣的每個元素還是一次 d̃ 維內積。這堂課把「轉換＋內積」合成一個 kernel 函數 K(x, x′)，二次轉換的內積只要 O(d) 就能算完；訓練、算 b、預測三個地方全部換成 K 之後，SVM 不再碰 Z 空間。同一招推到極限，Gaussian kernel 對應無限多維的轉換，代價是 γ 選太大照樣過擬合。
基石第 1 堂把機器學習定義成「用資料算出一個接近目標 f 的假說 g」，並給出判斷該不該用它的三個條件：有可學的模式、寫不出程式定義、手上有資料。整堂課的骨架是一張流程圖：未知的 f 產生資料 D，演算法 A 從假說集合 H 裡挑出 g；A 加 H 合稱學習模型，之後 15 堂都在這張圖上換零件。
PLA、線性迴歸、邏輯迴歸都先算分數 s = wᵀx，三種誤差都能寫成 ys 的函數。平方誤差與換成 log₂ 的 cross-entropy 都壓在 0/1 誤差上面，所以把迴歸的 E_in 做小，分類的 E_out 也跟著有保證。接著把梯度裡的 N 筆平均換成隨機抽一筆，得到每步 O(1) 的 SGD；再用 OVA（K 個分類器、取分數最高）與 OVO（K(K−1)/2 個分類器、投票）把二元分類器組成多類別分類器。
把資料全部分對的線有很多條，這堂課挑離最近的資料點最遠、也就是最胖的那一條。把 (b, w) 縮放到 min yₙ(wᵀxₙ+b)=1 之後，最大的 margin 等於最小化 ½wᵀw，限制式是每個點 yₙ(wᵀxₙ+b)≥1，可以直接交給二次規劃的解算器。胖的好處有兩種解釋：它是 E_in=0 範圍內的 weight decay，也讓能產生的 dichotomy 變少。
線性迴歸把平方誤差寫成 (1/N)‖Xw − y‖²，令梯度為零就得到 w_LIN = X†y，不必迭代。hat matrix H = XX† 把 y 投影到 X 的直行張成的空間，trace(I − H) = N − (d+1)，由此得到平均 E_in = σ²(1 − (d+1)/N)、平均 E_out = σ²(1 + (d+1)/N)。平方誤差又是 0/1 誤差的上界，所以 w_LIN 也能拿來做二元分類。
感知器的線性組合做得出 AND、OR，做不出 XOR；再疊一層就可以，這就是多層感知器。這堂課把中間的 sign 換成 tanh、輸出層接線性迴歸，再用連鎖律推出反向傳播：先正向算出每一層的輸出 x，再從輸出層往回算 δ，每個權重的梯度就是前一層的 x 乘上這一層的 δ。最後處理訓練的兩個麻煩：E_in 非凸，初始權重要小而且隨機；d_VC 大約是 O(VD)，要靠 weight elimination 與提早停止防過擬合。
過擬合指的是換到更強的模型時 E_in 下降、E_out 卻上升的過程。這堂課用只會 2 次與會 10 次多項式的兩位學習者做實驗，得到四個成因：資料太少、隨機雜訊太大、確定性雜訊太大（目標太複雜）、模型能力過剩，並解釋為什麼完全沒有雜訊的資料也會過擬合。對策先講資料清理、修剪與 virtual examples，正則化與驗證留給後兩堂。
Gaussian SVM 的結果可以讀成「以支援向量為中心的 Gaussian 做線性投票」，把中心與票數都放開來學就是 RBF 網路。N 筆資料全當中心時，迴歸的最佳票數是 β = Z⁻¹y，訓練誤差剛好是 0，所以要靠 ridge 或把中心減到 M ≪ N 個代表點來正則化；代表點用 k-means 找，它輪流做「每筆資料歸到最近的中心」與「中心改成群內平均」兩步，直到分群不再變動。
Fall 2024 技法段有兩份作業和一個期末專題，題目 PDF 都公開。HW6 練 kernel、soft-margin SVM 與 aggregation，程式題用 LIBSVM 在 mnist.scale 的 3 對 7 子問題上數支援向量、算 margin、跑 128 次 validation。HW7 練 bootstrap、impurity、AdaBoost、gradient boosting 與神經網路，程式題是在 madelon 上實作 500 輪 AdaBoost-Stump。期末專題是虛構的 HTMLB 棒球勝負預測，分兩個 Kaggle stage，交一份最多 7 頁的英文報告，至少比較四種方法。沒有官方解答；Kaggle 競賽頁在 2026-09-30 未登入時回 404，校外讀者大概拿不到 HTMLB 資料，只能照同樣的切分方式換一份公開資料自評。
上一堂的保證裡有假說個數 M，感知器有無限多條線，M 是無限大。這堂課改數這些線在 N 筆資料上排得出幾種 ○× 組合（dichotomy），對所有擺法取最大值得到成長函數 m_H(N)：positive rays 是 N+1，positive intervals 是 ½N²+½N+1，convex sets 是 2ᴺ，二維感知器在 4 個點上最多 14 種。成長函數第一次到不了 2ᴺ 的點數叫 break point，講義猜它會把成長函數壓成多項式，證明留到下一堂。
用 E_in 選模型一定偏向最複雜的那個，用 E_test 選又拿不到測試資料。這堂課從手上的 N 筆切出 K 筆當驗證集，得到 E_out(g_m*) ≤ E_out(g⁻_m*) ≤ E_val(g⁻_m*) + O(√(log M / K))，說明選完為什麼要用全部資料重訓、K 為什麼取 N/5；再把 K 推到 1 得到幾乎無偏的 leave-one-out，最後用 5-fold 或 10-fold 交叉驗證把計算量降回可行。
這堂課把「最大的非 break point」命名為 VC 維度 d_VC，用可逆矩陣與線性相依兩段證明 d 維感知器的 d_VC = d + 1，再把 VC bound 改寫成 E_out ≤ E_in + Ω：d_VC 愈大，E_in 愈容易壓低，但複雜度的懲罰 Ω 也愈大。照 bound 算，ε = δ = 0.1、d_VC = 3 要 29,300 筆資料，大約是 10,000 倍的 d_VC；實務上 10 倍常常就夠。
李宏毅 2026 春季的《機器學習》從 AI Agent 切入，主軸是怎麼影響與調整模型行為：先拆開 OpenClaw 看 agent 怎麼運作與管理 context，再看模型內部為什麼慢、為什麼有長度限制（Flash Attention、KV Cache、位置編碼），接著是不改參數也能讓模型變強的 harness 與自我修正，最後是 AI 自我成長。8 講錄影、投影片與 10 份作業的題目和 Colab 都公開；作業的評分平台校外用不了，要自己設驗收。
台大的 AI／ML 課散在電機系與資工系，官方用「機器學習與人工智慧」領域專長把它們排成四層。校外最完整的是李宏毅：ML 2026 Spring 與生成式 AI 與機器學習導論 2025 Fall 都公開投影片、錄影、作業 PDF 與 Colab，只差評分平台。林軒田的錄影齊全，Fall 2024 的 HW0–HW7 題目也留在課程頁；陳縕儂的課錄影齊全，作業大多只公開說明影片；Coursera 自 2025 年 8 月起改為只能免費看第一單元。
Berkeley CS189 在網路上同時有好幾個學期的版本。本系列之後的講次與作業導讀以 Spring 2026（Listgarten／Dimakis）為底本：講義、25 支講課影片、附解答的 discussion、HW1–5 題目與期中考解答都能匿名取得，判為 A3。Spring 2025（Shewchuk）是另一條經典路線，SVM、決策樹、PCA、boosting 只有它講；Fall 2025 的作業資料夾匿名打開是空的，所以不選；Fall 2026 還在進行中，只拿來對照。
CS189 Spring 2026 HW1 分三塊：10 題書面數學熱身（線性方程組、特徵分解求矩陣冪次極限、SVD、翻轉影像的矩陣、偏微分、遞迴式連鎖律、四題機率含癌症篩檢的 Bayes），加上兩本公開在 Modal 上的 Fashion-MNIST notebook：Part 1 練 pandas／Plotly／K-means／MLP／矩陣做影像增強／tensor 謎題，Part 2 做價格回歸、MAE／MSE／R²、混淆矩陣，最後處理一份被旋轉過的秘密測試集。截止 2/20，沒有官方解答。
HW2 是一份純書面作業，共 10 題。前半練讀論文（Chatbot Arena）和回歸、MLE/MAP 的基本推導，後半兩大題最重：Mixed Feelings 從 k-means 對離群值的脆弱一路推到 robust k-means 和加了均勻背景的 GMM；Watch Me Flow Dat 證明 conditional flow matching 和離散化後的 MLE 是同一個目標。題目 PDF 和 LaTeX 範本都能匿名下載，沒有官方解答。
CS189 Spring 2026 的前三講不急著推公式，先教你怎麼判斷一個問題該不該用 ML、怎麼用 pandas 和 Plotly 看資料、怎麼用 scikit-learn 走完一次訓練、驗證、測試的流程。Lec 1 只有投影片沒有錄影；Lec 2–3 有投影片與影片；Discussion 1 是微積分、線代、機率的熱身，附解答與 walkthrough。這三講是 HW1 的直接前置。
CS189 Spring 2026 第 4–7 講用一條線串起非監督式學習：先用 K-means 分群，指出它的弱點（硬指派、沒有機率框架、只適合體積相近的圓形群），再複習機率、引入最大概似估計（MLE）與多變量高斯，最後把 K-means 改寫成高斯混合模型（GMM）。GMM 的 log-likelihood 沒有封閉解，這個缺口正好把課程帶向梯度下降。四講都有投影片與影片，Discussion 2–3 附解答與 walkthrough。
CS189 Spring 2026 用四講把線性回歸講成同一件事的三個角度：高斯雜訊下的 MLE 等於最小平方；最小平方的解是把 y 正交投影到 X 的欄空間；特徵共線或參數太多時，用 ridge（等於高斯先驗的 MAP）或 lasso（等於 Laplace 先驗）把解拉回來，λ 則交給驗證集決定。講義、影片、Discussion 3–4 解答都能匿名取得。
CS189 Spring 2026 Lec 11–12 把分類拆成兩條路：生成式先為每一類建 p(x|y)（GDA：共變異數相同得 LDA、線性邊界，不同得 QDA、二次邊界），判別式直接建 p(y|x)（logistic regression：sigmoid、softmax、交叉熵 MLE，沒有封閉解要靠梯度下降）。兩者的橋是：LDA 的後驗一定能寫成 logistic 形式，反過來不成立。評估方面，準確率在類別不平衡時會騙人，ROC／AUC 掃過所有門檻、不看校準，PR 曲線則在意類別比例。
CS189 Spring 2026 用兩講處理梯度下降。Lec 13 從 Hessian 的特徵值推出學習率上限和條件數，再一路講到 momentum、學習率排程、AdaGrad／RMSProp／Adam 與 mini-batch SGD。Lec 15 由 Dimakis 用一個小資料表手算梯度重走一遍。兩份講義、錄影、Lec 13 的手寫稿，以及 Discussion 6、7（附解答）都能匿名取得。
Lec 14 把 ridge 重新解釋成「最小平方 + 高斯先驗」的 MAP，再拆解 bias-variance，最後借 Chatbot Arena 示範怎麼讀論文。Lec 16 從壓縮講熵，接到 KL、cross-entropy，再回到 logistic regression 的損失函數。3/17 的期中考題與官方解答都公開在考古題資料夾：6 題、56 分、110 分鐘，另有 6 支逐題講解影片，可以照著模擬一次。
07-380 Lec1 沒有演算法，重點是三件事：「智慧＝在不確定性下把任務做好」這條主線、投影片上那張把 07-280 與 07-380 主題分色的 AI／ML 泡泡圖，以及 Quiz 55%、沒有期末考、Project 收尾的評分結構。校外讀者先用這講替後面 25 講定位。
Lecture 8 把 MLE 的 argmax p(D|θ) 換成 argmax p(θ|D)：先驗 p(θ) 乘進 likelihood，取負 log 之後就變成目標函數裡多出來的一項。用 trick coin 看先驗怎麼被資料蓋過，用 Beta 先驗算出點擊率，再把線性迴歸的高斯先驗、Laplace 先驗對到 L2、L1 正則化。
Lecture 9 不再直接學 p(y|x)，改成先學類別先驗 p(y) 和類別條件分佈 p(x|y)，再用 Bayes rule 反推。這樣做要付出更強的假設，換來的是能生成新資料、資料少時比較穩。Naive Bayes 用條件獨立把參數砍到可估計，GDA 用多變量高斯處理連續特徵，共變異數一不一樣決定邊界是直線還是曲線。
CS181 2026 期末（5 月 9 日）能公開拿到的 final checklist、second-half practice 16 題與 final review 66 頁都是 2025 版，涵蓋 Bayes net、EM 等 2026 週表沒有的題目，卻缺 Transformer、VAE、GAN、自迴歸模型。先把 checklist 對上 2026 週表分三類，再用 hw 與 section 補新講題，最後拿 2025 practical 補一次端到端專案。
HW4 Problem 2 先在 CelebA 64×64 上訓練卷積 autoencoder，再讓你從 N(0, I) 隨機取樣，看它生不出臉；接著推 ELBO、reparameterization 與封閉形式 KL，最後把同一個骨幹改成 VAE，比較兩者的重建與取樣。
HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法：K-means 用 10 個平均影像代表整批資料，HAC 用合併樹給出任意群數，PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料，誤差多大」，作業要你把它們的目標函數與重建誤差放在一起比。
HW5 的 Problem 1–2 都是「把學習變成分類題」：SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本，GAN 的判別器是在分真假。作業要你推出這兩件事的數學（交叉熵等價、最佳判別器與 JS divergence），再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。
HW6 Problem 4（20 分）用三個問題拆解「一個 token 接一個 token 生成」的代價：逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題，但每一題都對應到今天 LLM 推論系統的真實設計。
CS181 Spring 2026 期中考在 3/10 課堂上進行，佔總成績 15%，閉卷但可帶一張雙面筆記。官方 midterm checklist 分成迴歸、分類、神經網路與模型選擇、SVM 四塊；本篇把每塊對回 HW0–HW3 的題號，標出 2026 作業沒練到的缺口，並說明 2025 版 practice、review 與 concept checks 怎麼用。
今天的 ML Fundamentals 輪練涵蓋五個核心概念：bagging 跟 boosting 分別在打誰的主意(variance vs bias)、boosting 為什麼加太多輪會 overfit 但 random forest 不會、XGBoost 靠梯度加 Hessian 的二階近似跟目標函數內建正則化橫掃表格資料的原因、正規化跟標準化該怎麼選(看演算法假設不是看資料本身)，以及 AdamW 為什麼要把 weight decay 從 loss function 的 L2 懲罰項裡拆出來單獨處理。練習題來自 C3 AI 的 Data Scientist 真實面試:先講出經典的 bagging 演算法、解釋 bootstrap aggregation 為什麼能降低 variance，再被追問換成 boosting 又是靠什麼機制取捨，拆解思路把五個概念串成一套完整的 ensemble 決策框架。
今天的 ML Fundamentals 輪練涵蓋五個核心概念:偏差變異取捨怎麼用學習曲線診斷、L1 跟 L2 正則化各自怎麼往 loss function 加懲罰項、批次梯度下降跟隨機梯度下降的取捨、不平衡資料為什麼準確率會騙人(該看 precision/recall/F1/ROC-AUC),以及交叉驗證中最容易忽略的資料洩漏陷阱。練習題改編自 Transunion 的真實 Data Scientist 面試題:如何為大規模資料的端到端 ML 專案設計特徵工程、模型選擇跟驗證策略,拆解思路把五個核心概念串成一套完整的決策框架。
今天的 ML Fundamentals 輪練涵蓋 bias-variance tradeoff、L1(Lasso)/L2(Ridge)/Elastic Net 正則化的差異、overfitting 與 underfitting 的偵測與修復、K-fold/stratified/time-series cross-validation 的選擇，以及 precision、recall、F1、AUC-ROC 在不同業務情境下該優先看哪個。練習題是一道經典的排查題:模型在開發環境表現很好,上線後卻明顯變差,面試官想看你有沒有系統化的除錯框架,而不是憑直覺猜。
這輪 ML Fundamentals 不再是背公式，而是練『模型上線後出包時該怎麼一步步排查』：用學習曲線的 train/val gap 判斷該加特徵還是該正則化、CV 分數跟上線分數不一致時要先懷疑 GroupKFold/TimeSeriesSplit 有沒有做對、類別不平衡的四層排查順序（先重加權而不是先 SMOTE），以及分類門檻該由 FP/FN 的實際成本算出來，不是預設 0.5，還要分清楚門檻選擇跟機率校準是兩件事。
ML fundamentals 面試考的是能不能在拿到一個『指標很漂亮但線上出包』的落差時，講出正確的診斷路徑。今天聚焦四個高頻考點：AUC-ROC 在極度不平衡資料下為什麼會虛高、PR-AUC 才是該看的曲線、分類為什麼要用 cross-entropy 而不是 MSE（牽涉梯度消失）、bagging 和 boosting 分別修正 variance 還是 bias，以及多重共線性只毀可解釋性不毀預測準確度的常見誤解。
第 4 週講機器學習的三種形式。監督式學習從有標籤的資料學出 hypothesis function：分類可以看最近的 k 個鄰居，或用一組權重畫出決策邊界（perceptron learning rule、logistic regression、support vector machine），再用損失函數、regularization 與 cross-validation 對付 overfitting。強化學習用 Q-learning 依 reward 更新每個 state 與 action 的估計值，ε-greedy 留一點機率隨機探索。非監督式學習以 k-means 分群。附逐段時間連結，以及 Shopping、Nim 兩個專案的解題思路與檢查方式。
A/B testing 怎麼把產品改動變成可推論的效果？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
ANOVA 先檢查三組以上平均是否有整體差異，避免你用一堆兩兩 t 檢定把 false positive 風險一路放大。
大樣本近似為什麼常能用，又什麼時候不能亂用？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
Bayesian inference 怎麼把 prior、資料與 posterior 串起來？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
bias 看估計中心有沒有歪，variance 看抽樣波動，MSE 合併兩者，consistency 則問樣本變大時估計量會不會靠近真值。
不知道公式分布時，bootstrap 怎麼用重抽樣估不確定性？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
因果推論入門：為什麼預測準不代表真的有效？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
卡方檢定處理類別資料的次數差異；先分清楚一個變數對理論比例的適合度，還是兩個類別變數之間的獨立性。
分布不是公式清單，而是資料生成情境的名字。這篇用 Bernoulli、Binomial、Normal、Poisson 說明如何從題目敘述選分布。
信賴區間把點估計放回抽樣波動裡看；會寫上下界只是第一步，真正要會的是解釋標準誤、臨界值與 coverage。
資料型態決定你能用什麼統計工具。這篇從類別、數值、計數與時間資料開始，說明平均數、比例、變異數、列聯表在考題和 ML 資料檢查中的用途。
Delta method 怎麼估 F1、ratio 這類非線性指標的不確定性？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
估計量是用樣本推母體的計算規則；判斷它好不好，要一起看 bias、variance 與 MSE。
考前最後階段要練的是題型辨識：先判斷資料型態、未知量與決策目標，再選公式，最後用語境結論收束。
期望值描述長期平均，變異數描述波動大小。這篇用離散分布算例說明 E[X]、E[X^2]、Var(X)，並接到平均 loss 和模型穩定度。
實驗設計怎麼讓結果可以被解讀，而不是只像相關？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
Fisher information 用 likelihood 的曲率衡量資料對參數的定位能力；資訊越大，MLE 的標準誤通常越小。
信賴區間不只 t 表：一般建構到底怎麼想？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
GLM 怎麼依資料型態選分布和 link function？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
假設檢定是一套在不確定資料中做決策的流程：先寫 H0/H1，再用檢定統計量與 p 值判斷資料是否足夠反駁原假設。
估計、檢定、likelihood、Bayes 要怎麼放在同一張推論地圖？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
LRT 比較受限模型和完整模型的 log likelihood 差；只有在 nested model 與近似條件成立時，常見卡方參考分布才有意義。
OLS 的假設壞掉時，迴歸線還能怎麼用？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
logistic regression 把線性分數接到 0 到 1 的機率；讀懂 odds、log odds、odds ratio，才不會把分類模型係數解釋錯。
Logistic regression 怎麼從機率走到 threshold 和錯誤成本？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
MAP 為什麼會把先驗變成 regularization？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
Matching 和 weighting 怎麼讓觀察資料比較像實驗？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
MLE 把資料固定、比較不同參數讓這批資料出現的合理程度；log likelihood 讓乘積變加總，也接上 ML 的 negative log loss。
Method of Moments 用樣本矩對上理論母體矩，再解出參數；它不一定最有效率，但很適合建立參數估計的第一個直覺。
缺資料不只是空格：它會怎麼扭曲統計和模型？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
ML/AI 評估報告怎麼寫，才不只是貼排行榜分數？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
殘差、outlier、leverage 在告訴你模型哪裡壞了？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
多變量分析怎麼整理一起變動的特徵？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
Neyman-Pearson 把檢定看成決策規則：在固定第一型錯誤 alpha 下，選出 power 最高的拒絕區域。
Nonparametric methods 少做哪些分布假設？彈性又要付出什麼代價？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
考古題的價值是訓練拆題紀律，不是用兩年題型猜完整範圍；每題都要回到資料型態、未知量、工具、計算與語境結論。
聯合 PMF 題要把所有格子列完；邊際化、條件機率和變數轉換，本質上都是對原始格子的加總與重新分組。
機率題的難點常在視角，不在公式。這篇用事件、條件機率、獨立與 Bayes rule，說明考題如何從原因到結果、再從結果反推原因。
樣本是資料，統計量是樣本的函數，抽樣分布是統計量在重複抽樣下的分布；這三者分清楚，推論公式才會有意義。
隨機變數把事件結果轉成數字。這篇用 PMF、PDF、CDF 說明離散與連續機率怎麼計算，並接到模型分數、threshold 和 token 機率分布。
迴歸表不是 p 值清單；coef、SE、t、F、R2 分別回答效果大小、不確定性、單一係數、整體模型與樣本內解釋力。
Ridge、Lasso、weight decay 為什麼能讓模型穩一點？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
統計與 ML 評估怎麼做才重跑得出同一個結論？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
抽樣讓樣本統計量有波動，標準誤描述這個波動。這篇分清楚 SD、SE、抽樣分布與 CLT，並接到 benchmark 分數的不確定性。
抽樣分配描述統計量在重複抽樣下的波動；平均、比例、變異數各有常用分布，信賴區間和檢定都從這裡長出來。
讀完 53 篇後，怎麼把統計接到 ML、因果與數理統計？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
簡單線性迴歸用一個 X 描述 Y 的平均變化；斜率、截距、殘差和平方誤差共同構成最小的 supervised learning 模型。
Monte Carlo 怎麼用重複模擬回答算不動的統計問題？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
準備統計學不要從背公式開始。這篇先建立讀書順序：資料、機率、抽樣、推論、迴歸，再接到模型評估、A/B testing 與 ML/AI 的不確定性判斷。
時間序列為什麼不能隨機切資料？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
兩組比較要先判斷 outcome 是數值還是比例、兩組資料是否獨立；這一步會決定標準誤、檢定統計量與結論可信度。
變數選擇怎麼避免把訓練資料背起來？ 這篇會從考試題型、核心直覺、手算例子一路接到 ML/AI 的實際工作流。
統計學的核心不是公式，而是判斷：描述資料、估計未知量、比較差異、檢查關聯，最後在不確定性下做決策。
GPUtw.ai 是台灣在地的短租 GPU 雲端，核心不是最大規模的算力，而是台灣機房、預付點數、Jupyter/ComfyUI/Ollama/vLLM 範本、Vault 與團隊帳務。公開資料足夠做服務介紹，還不足以當正式採購或 production 背書。
HW0 用四題檢查 CS181 的先修：矩陣 y=Xw 的可解條件、目標函數的微分與優化、機率推理，以及用 Python 實作 OLS。做不順的地方就是開學後要優先補的缺口。
HW1 用 80 萬年冰芯溫度資料串起四題：kNN 與核迴歸、最小平方法的幾何證明、基底函數迴歸、以及從機率觀點推出 ridge／LASSO 正則化，最後用 coordinate descent 實作 LASSO。
CS181 2026 以 hw0–6 七份作業為週節拍、官方課表未列對應講次的公開錄影但 A3 可自學；2025 多 practical、2024 雙期中、2023 單授 Weiwei Pan。看懂四年沿革後，從 HW0 體檢先修再逐週跟最穩。
計算生物學博士、前威斯康辛大學統計系教授 Sebastian Raschka，2022 年在 Substack 創辦 Ahead of AI，用月更長文拆解 LLM 論文與架構，四年做到 20 萬+訂閱。他刻意不接贊助、不追日更，靠書籍和付費訂閱變現，證明低頻高深度在 AI 電子報紅海裡也能走出一條路。
2021 年是 diffusion model 超越 GAN、自監督學習理論突破、RL 評估方法論覺醒的一年。NeurIPS 收了 9,122 篇投稿創當時紀錄，ICLR 的 Score-Based Generative Modeling 論文日後成為整個 diffusion 生態的理論基石，ICML 則在優化理論與自監督學習動力學分析上交出紮實貢獻。
2022 年是 diffusion model 登上頂會舞台中央、Chinchilla scaling laws 改寫大模型訓練範式、Chain-of-Thought 讓推理成為可提示能力的一年。NeurIPS 破萬篇投稿，13 篇 Outstanding Paper 裡有 3 篇跟 diffusion 直接相關，Chinchilla 和 data pruning 兩篇挑戰了『大就是好』的信條。ChatGPT 年底發佈前夜，所有拼圖都在這一年的頂會上各就各位。
2023 年是 LLM 全面接管 ML 頂會的一年。NeurIPS 投稿破 12,000 篇，兩篇 Outstanding Paper 都直接針對大模型（隱私審計與湧現能力質疑），Runner-Up 的 DPO 在短短兩年內成為 RLHF 的實質替代標準。ICLR 的 DreamFusion 開啟了 text-to-3D 賽道，ICML 則把 LLM 水印和學習率自適應推上舞台。Mamba 以 arXiv 預印本之姿在 NeurIPS 現場引爆討論，預示 Transformer 的第一個真正挑戰者即將到來。
2024 年是 ML 頂會投稿量爆炸的一年：NeurIPS 收到 15,671 篇創歷史紀錄，ICML 和 ICLR 也分別突破九千和七千。研究主題從「把模型練更大」轉向「推論時怎麼花算力更聰明」——test-time compute scaling 成為年度最重要的新方向。Best Paper 層面，VAR 用 next-scale prediction 在影像生成上超越 diffusion、Rectified Flow 成為 Stable Diffusion 3 的理論基礎、ICLR 首次頒發 Test of Time Award 給 VAE 原論文。
2025 年是 ML 頂會投稿量全面破紀錄、審稿系統承壓到極限的一年。NeurIPS 收了 21,575 篇投稿動用超過兩萬名審稿人，ICML 首度突破 12,000 篇，ICLR 也衝上 11,565 篇。研究主題上，reasoning 與 agent 成為最強勢的兩股潮流——NeurIPS Best Paper 之一直接質疑 RLVR 是否真的帶來新推理能力，拿下該屆唯一滿分；而 attention 機制的結構性改進（Alibaba Qwen 的 Gated Attention）和 neural scaling laws 的理論解釋同時獲獎，標誌著社群正從「衝規模」轉向「理解為什麼有效」。
ML fundamentals 面試考的不是背定義，而是拿到一個 train/val 落差時能不能走出一套診斷流程。今天聚焦四個高頻考點：bias-variance decomposition 與 learning curve 判讀、L1/L2 正則化的幾何直覺與選擇邏輯、loss function 要對齊商業目標而非預設值，以及 AdamW 為什麼把 weight decay 和 L2 正則化拆開處理。
完成 07-280 不等於看完 24 篇導讀；至少要留下搜尋器、監督式模型、CNN／GPT-2 實驗與一個 RL＋MCTS 小系統，再依缺口選 07-380、10-301 或專題課。
07-280 是 CMU Spring 2026 首開的 AI＋ML 核心：24 講、12 個作業編號，從 heuristic search、CSP 與機器學習一路做到 AlexNet、GPT-2、AlphaZero。教材足以自學，但官方課表未列完整公開錄影連結、Canvas checkpoint 或 Gradescope 回饋。
Lecture 1 用 alien autoencoder、AI／ML 範圍與 AI 發展史建立全課座標：智慧系統不是模型清單，而是在不確定下把輸入表示成可計算決策。
Lecture 5 把機器學習寫成 `X → Y`、loss、risk 與 empirical risk minimization：訓練集只能提供平均已知損失，真正目標仍是未知分布上的 generalization。
Lecture 6 從 decision stump 遞迴建樹，用 entropy 衡量 label uncertainty，再以 `I(Y;W)=H(Y)-H(Y|W)`選擇分裂；這是計算可行的 greedy ERM，不是全域最佳樹保證。
Lecture 7 把 ERM 套到 linear functions 與 squared loss，從一維 slope 推到矩陣形式 `argmin ||y-Xθ||²`，再在 `XᵀX` 可逆時得到 normal equation。
Lecture 8 從一維 parabola 推到 vector gradient，再比較 batch GD、SGD 與 mini-batch；learning rate 決定更新是收斂、震盪或發散。
Lecture 9 不直接預測 0 或 1，而以 sigmoid 建模 P(y=1|x)，再用 cross-entropy 與凸最佳化學出參數；多類別版本自然延伸成 softmax regression。
Lecture 10 先用 φ(x) 讓線性模型表達非線性，再以 train/validation/test 分工、L1/L2 regularization 與 model selection 限制新增自由度造成的過度擬合。
Lecture 11 把單一 logistic neuron 擴成多層網路：linear layer 產生 z、activation 產生 a，多個 neuron 共同學出 feature transform，再以 loss 和 gradient descent 訓練權重。
Lecture 12 把神經網路視為 computation graph：forward pass 保存中間量，backward pass 從 loss 開始傳遞 upstream gradient，並用線性層、activation 與 softmax 的局部規則一次算出全部參數梯度。
Lecture 16 從 likelihood p(D|θ) 出發，以 i.i.d. 將聯合機率寫成乘積，再用 log 變成和；Bernoulli MLE 得到樣本比例，conditional Bernoulli 得到 logistic cross-entropy，Gaussian noise 則得到 squared error。
第一階段把 Lectures 1–12 串成同一條決策鏈：先定義狀態、動作與目標，再用 heuristic、loss、regularization 與 backpropagation 控制龐大搜尋空間。
DSPy 不把 prompt 當手寫字串，而以 Signature 宣告任務、Module 決定執行策略，再用資料集與 metric 讓 Optimizer 編譯出較好的提示與示例。
Hugging Face Hub 是以版本化 repository 串起模型、資料集與應用程式的協作層；Datasets 管資料，Spaces 跑展示程式，Inference Providers 與 Endpoints 才負責代管推論。
Lecture 19–25 把 rational decisions、VPI 與 ML 接起來，Project 5 再用 PyTorch 實作 regression、分類、CNN、attention 與 optional character-GPT。
CS189 在網路上有好幾個學期的版本。本系列從第 2 篇起以 Spring 2026（eecs189.org/sp26，A3）為底本，逐講、逐份作業導讀；Spring 2025（Shewchuk）是另一條經典路線，公開 25 講 notes、HW1–7 與歷屆考題，但正式錄影在 bCourses 要登入；Fall 2026 還在進行中，只拿來對照。本篇是系列入口與全系列目錄。
07-380 Fall 2026 是 CMU AI 新制第二門首開，26 講涵蓋邏輯、規劃、優化、機率圖、生成式與系統。依 2026-09-29 課站，Lec1–9 投影片、PR1–6 筆記、Rec1–5（含解答）與 HW1–3 已公開，本站已寫完對應的 14 篇逐講導讀；Lec10 之後的投影片、HW4–7 與 Final Project 還沒釋出，整門課仍是 A2。
HW1 是 written＋programming 作業：用機率、微積分、線代與 CS 題組檢查地基，再實作 majority-vote classifier。
HW2 要先用 entropy 與 mutual information 手算切分，再完成建樹、預測與評估的端到端分類器。
HW3 是純 written 作業，以 decision tree 回顧，再比較 K-NN、Perceptron 與 Linear Regression 的 inductive bias、誤差與 model selection。
HW4 把機率解釋、cross-entropy 梯度與程式實作綁在一起，驗收的是一條可追蹤的訓練流程。
HW5 的價值在於不靠自動微分，親手追蹤 forward shapes、cache 與 backward gradients。
HW6 把 generalization、MLE/MAP、probabilistic learning、公平指標與社會影響放在同一份 written 作業，逼你說清楚假設與取捨。
HW7 在 HW5 的 backpropagation 地基上加入深度模型的架構與訓練問題，重點是診斷而非只把網路加深。
HW8 把 state、action、reward、transition 與 value update 接起來，驗收你能否區分環境動態、policy 與估計誤差。
最後一份 written 作業把 ensemble、clustering、representation 與 recommendation 並列，驗收你能否按問題結構選學習典範。
Spring 2026 的 10-301／601 公開 27 講教材與九份作業包；校外讀者能完成主要實作，但拿不到 Panopto、Piazza、Gradescope 與正式作業解答。
CMU 在 2026 年把原本分開的廣義 AI 與 SCS 機器學習入口，重新整合成 07-280 → 07-380；這是內容與先修路線的重切，不是兩門課逐一改名。
Harvard 校外最完整的入口是 CS50 AI，但 Summer 2026 實際沿用 2020 錄影與作業資產，OCW 作業又已更新到不同版本；CS181 Spring 2026 公開當期作業與講義、沒有當期錄影，CS182 Fall 2026 則尚未完成開課。
Logistic regression 用 sigmoid 把線性分數變成 Bernoulli 機率，而 gradient xⱼ(y-ŷ) 直接來自 log-likelihood 的 chain rule。
比較 classifier 不能只看 accuracy；還要用 held-out data、baseline、calibration、precision/recall 與明確的 fairness criterion。
Lambda Cloud 提供 on-demand GPU VM 與 1-Click Cluster；它賣的是較直接的 AI 算力環境，不是自動完成 training、serving 與 MLOps。
Replicate 以 versioned model、prediction、Cog 與 deployment 抽象 GPU；整合者要負責版本釘選、async workflow、webhook 驗證、資料保存與成本上限。
RunPod Pod 適合互動與長駐 GPU 工作，Serverless 適合 queue-based 或 load-balanced inference；選錯會把 persistence、cold start 與重試語意混在一起。
CS229 是 Stanford 把機器學習的數學推導走一遍的主課。Spring 2026 的錄影公開了 17 堂，前十堂是線性模型、神經網路與非監督式學習，後七堂走到擴散模型、LLM 與用強化學習訓練推理模型。本系列一堂一篇，這篇是地圖：每堂實際教什麼、影片標題哪裡對不上、講義有而課堂沒教的去哪裡補。
Berkeley 沒有獨立的大學部 AI 學位；可行路線是在 CS BA 或 EECS BS 的共同基礎上，從 CS188 的廣義 AI 或 CS189 的數學型 ML 入口，再分流到深度學習、NLP、視覺與強化學習。2025–2026 有不少 A3 公開課，但最新班次、最新穩定網址與最好用的自學版本並不總是同一個。
CMU 現行 BSAI 已改成 07-280 → 07-380，再從 NLP／視覺核心與四個 AI clusters 延伸；07-380 已在 Fall 2026 首開，同學期還新開了研究所級的 11-768 AI Agents。07-280 Spring 2026 的殘留教材與 10-301/601 已能完整自學，15-281 則是仍有價值的退休舊路線。
MIT 自 2022 年已有正式的 6-4 Artificial Intelligence and Decision Making 學位；但校外自學時，現行學位要求、2025–2026 課站與最好用的 OCW 版本往往不是同一套。真正可行的路線，是先照 6-4 的程式、演算法、線代與機率骨架打底，再依公開程度選 6.S191、6.3900、6.4110、6.7960、電腦視覺或機器人分支。
CS109 是 Stanford 給電腦科學學生的機率課：從計數、條件機率與隨機變數，走到推論、最大概似估計、邏輯迴歸與深度學習。互動式課程讀本、課堂習題與解答公開，每一講還附官方寫的 LLM 學習指南；第 15 講之後的投影片、作業系統與錄影校外拿不到。
期末課以 slides 回顧 CS161 工具箱，再用 LP duality、Reed–Solomon 與 ML-assisted algorithms 指向後續方向；官方沒有提供 notes。
ML 基礎面試不考你背公式，考你能不能用直覺解釋概念、在追問下不崩潰。高頻考點：bias-variance tradeoff 的實際意義、L1/L2 regularization 的選擇邏輯、cross-entropy 為什麼比 MSE 適合分類、SGD 與 Adam 的取捨、precision/recall 在不同場景的重要性差異。
AI Engineer 面試不只考 ML——大廠看系統設計與 coding，新創看端到端交付，AI-native 公司看 LLM 工程深度。準備策略：先釐清目標公司類型，再按六大維度（ML 基礎、系統設計、LLM 應用、Coding、Paper Reading、行為面試）分配時間。
Google Professional ML Engineer 的考綱在 2026 年被重寫，Vertex AI 全面改名為 Gemini Enterprise Agent Platform，舊教材的產品名對不上題目。這篇以官方 exam guide 的六章權重為骨架，逐章列出考什麼、配哪些官方材料、練什麼，並換算成一份看得懂依據的時程。官方規格：$200、兩小時、50–60 題單選加複選、效期兩年、建議 3 年以上業界經驗含 1 年以上 Google Cloud。
Andrew Ng 用 deep researcher 當例子示範 error analysis：列是 pipeline 的每個步驟，行是 10 到 100 個查詢，只看表現不好的那些，逐格標記哪裡壞掉。百分比不需要加起來等於 100%。他說這要花三四個小時，但省下的是幾週走錯方向的時間——而真的會去做的人的比例遠低於 100%。
Andrew Ng 用人臉辨識開門系統走完整個專案生命週期，而全講只有一個核心論點：速度。他給團隊的期限是兩天，理由是「花在準備資料的時間，應該和訓練一次模型的時間相稱」。最後收在一句話：我的工作是做出一個真的能用的東西，那和做出一個在測試集上能用的東西不一樣。
ArduPilot 的 ModeReason 列舉就是「機上自主決策」的完整清單：56 個值裡 43 個是飛機自己決定的，其中 21 個是偵測到危險，而只有 SOARING_THERMAL_DETECTED 一項是因為發現機會。至於 end-to-end，PX4 主線那個 mc_nn_control 的 tensor arena 只有 10 KB、Kconfig 預設 n，ArduPilot 主線一個都沒有。