Skip to content
系列
16 篇文章

Harvard CS1810 Machine Learning 導讀

逐週讀 Harvard CS181(Machine Learning):線性代數、微積分與機率的補課,到線性迴歸與後續模型的公開作業。

系列導讀

分類與偏差—變異,兩種不確定性怎麼分|Harvard CS181 作業 2

CS181 Spring 2026 的 HW2(due 2/27)共四題 90 分:用行星觀測資料訓練 10 個 logistic 模型看偏差與變異、推導生成式分類的 MLE、在 27 筆貸款申請資料上實作五種分類器,再用 SGD/Momentum/Adam 看 ridge 怎麼改變損失地形。核心是分清「模型給的機率」和「10 個模型彼此不一致」這兩種不確定性。

核方法、神經網路與 Scaling Law|Harvard CS181 作業 3

CS181 Spring 2026 的 HW3(due 3/23)三題 100 分:先把多項式與 RBF kernel 拆回特徵映射、從 ridge 推到 dual 係數 α 與 support vector 直覺;再手推兩層 sigmoid 網路的 backprop;最後佔一半分數的是在 Fashion-MNIST 上訓練 ResNet,自己量出 scaling law,用 C≈6ND 推算固定算力下模型與資料該怎麼分。

用官方 checklist 盤點 HW0–HW3|Harvard CS181 主題單元

CS181 Spring 2026 期中考在 3/10 課堂上進行,佔總成績 15%,閉卷但可帶一張雙面筆記。官方 midterm checklist 分成迴歸、分類、神經網路與模型選擇、SVM 四塊;本篇把每塊對回 HW0–HW3 的題號,標出 2026 作業沒練到的缺口,並說明 2025 版 practice、review 與 concept checks 怎麼用。

(上):K-means、HAC 與 PCA,沒有標籤時怎麼整理手寫數字|Harvard CS181 作業 5/第 1 部分

HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法:K-means 用 10 個平均影像代表整批資料,HAC 用合併樹給出任意群數,PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料,誤差多大」,作業要你把它們的目標函數與重建誤差放在一起比。

(下):SimCLR 對比學習與 GAN,不靠標籤學表示、不靠似然做生成|Harvard CS181 作業 5/第 3 部分

HW5 的 Problem 1–2 都是「把學習變成分類題」:SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本,GAN 的判別器是在分真假。作業要你推出這兩件事的數學(交叉熵等價、最佳判別器與 JS divergence),再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。

(一):自迴歸模型的解碼、KV Cache 與 Speculative Decoding|Harvard CS181 作業 6

HW6 Problem 4(20 分)用三個問題拆解「一個 token 接一個 token 生成」的代價:逐步挑最大機率不等於整句最可能、每步重算所有 key 讓成本變成平方級而 KV cache 把它壓回線性、speculative decoding 用小模型先猜再讓大模型一次驗證。全部是紙筆題,但每一題都對應到今天 LLM 推論系統的真實設計。

(二):HMM 與 Kalman Filter|Harvard CS181 作業 6

HW6 Problem 1(15 分)把課堂上的離散 HMM 換成連續狀態:狀態每步加一點高斯雜訊、觀測再加一點雜訊,要你推出 filtering 分布 p(zₜ | x₀…xₜ) 的均值與變異數。這就是一維 Kalman filter。解法只有兩步:先用轉移「預測」,再用觀測「修正」,兩個高斯恆等式題目都給了。

(三):MDP 的 Policy Iteration 與 Value Iteration|Harvard CS181 作業 6

HW6 Problem 2(15 分)給你一張 4×5 的 Gridworld:動作會打滑、獎勵在離開格子時才拿到。你要在 notebook 裡寫 policy evaluation、policy iteration 與 value iteration 各一步,再觀察折扣因子 γ 怎麼改變策略,最後反問「這樣建模機器人任務合理嗎」。環境規則全部已知,所以這是規劃,還不是學習。

(四):Q-learning 玩 Swingy Monkey 與 Embedded EthiCS|Harvard CS181 作業 6

HW6 Problem 3(20 分)要你寫一個表格式 Q-learning agent 玩類 Flappy Bird 的 Swingy Monkey,最低標準是 100 局內至少一次超過 50 分,還要再加一個自選的改進。Problem 5(10 分)是 250 字內的倫理題:假設社群平台的使用者政治立場愈來愈極端,用 RL 的概念解釋 reward 設計可能怎麼推了一把。

checklist、practice 與 practical 備援|Harvard CS181 主題單元

CS181 2026 期末(5 月 9 日)能公開拿到的 final checklist、second-half practice 16 題與 final review 66 頁都是 2025 版,涵蓋 Bayes net、EM 等 2026 週表沒有的題目,卻缺 Transformer、VAE、GAN、自迴歸模型。先把 checklist 對上 2026 週表分三類,再用 hw 與 section 補新講題,最後拿 2025 practical 補一次端到端專案。