遷移學習（資料篇）：把生成模型當成可以操作的資料｜MIT 6.7960 第 19 堂
生成模型加上它的潛在空間可以當成一份能操作的資料：沿潛在方向移動可以產生反事實影像、少量人工標註可以擴成整份分割資料集（一張標註過的 GAN 影像約抵 100 張一般標註影像）。但用生成資料訓練表示目前仍輸給真實資料（課堂引的數字是 42.6% 對 43.9%），而且稀有類別正好是生成模型最不可靠的地方。
tech
529 篇文章Scaling Laws：算力多十倍，該加在模型還是資料｜MIT 6.7960 第 20 堂
測試損失對資料量、參數量、算力都近似冪律，但指數很小：Kaplan 等人量到的資料指數約 0.095，資料加倍只讓損失降 6%，要砍半得多 1,400 多倍。算力該怎麼分，兩篇論文答案不同：Kaplan 是參數 ∝ C^0.73、資料 ∝ C^0.27，Chinchilla 改成各約一半。公開錄影只涵蓋到第二個發現，後面的內容本文依投影片整理，沒有講者的口頭說明。
語言模型：只會猜下一個詞的模型，為什麼不用微調就能做事｜MIT 6.7960 第 21 堂
語言模型只做一件事：給前文，輸出下一個詞的機率分布。規模夠大之後，控制它的手段變成改輸入：放幾組範例（in-context learning）、要它先寫推理步驟（chain-of-thought，課堂引的例子是一句 Let's think step by step 把算術題正確率從 18% 拉到 80%）。但聽懂指令、會說不知道，都不是光靠預測下一個詞就會有的，要另外用 instruction tuning 與 RLHF 補。
Metrized Deep Learning：替整個網路的權重找一把合用的尺｜MIT 6.7960 第 23 堂
梯度下降等於假定權重空間是歐氏的，而神經網路多半不是。Bernstein 的做法是替每一層選一個範數（線性層用依形狀縮放的譜範數），再用兩條組合規則算出整個網路的範數；用它正規化更新，最佳學習率就不隨寬度與深度漂移。把同一個想法推到對偶映射，線性層的更新變成「把梯度的奇異值全設為 1」，這也是當時 nanoGPT 訓練速度紀錄用的做法。
推論方法：模型訓練完之後，還能靠多算一點變聰明｜MIT 6.7960 第 24 堂
訓練完的模型不是只能做一次前向傳遞。貪婪取樣不保證找到模型認為最可能的序列（本文的例子裡它拿到 0.30，最佳是 0.36），所以多取樣幾次挑最好的就會進步；評分標準換成驗證器，還能挑出真的對的答案。再把搜尋到的好答案拿回去訓練模型，就是 AlphaGo 與 STaR 的迴圈，Isola 推測 o1 也是這樣做的。
Apodex：Reasoning-First 的長程研究與預測模型
Apodex 由 Apodex 團隊訓練，是一個 reasoning-first 的 Mixture-of-Experts 模型，專為複雜長程研究、預測與可驗證任務設計。搭配代理執行環境，可用工具處理檔案、資料與程式碼；原始模型 API 僅接收文字。
Cohere North：Cohere 首個 Agentic Coding 家族
Cohere 以 North 系列推出首個 agentic coding 模型，North Mini Code（30B total / 3B active sparse MoE），專為程式碼生成與自動化開發設計。提供 256K 上下文，並以 `north-mini-code:free` 形式在 OpenRouter 提供免費存取。
Dots Studio Dots：長上下文 MoE、多模態與工具工作流
Dots3-Note Preview 的 OpenRouter 頁列出長上下文、圖片輸入與工具呼叫；自架授權仍須取得可確認的官方資料。
Liquid AI LFM：裝置端推理與 Agent 工作流
LFM2.5-2.6B 是裝置端 hybrid 推理模型；官方權重與 OpenRouter 端點的上下文限制不同，部署前也要核對授權與資料條款。
LongCat 系列：美團開源 Agentic Coding 模型家族
LongCat-Flash 與 LongCat-2.0 是美團的開放權重 MoE 模型。本文依官方模型卡說明動態計算、LSA、長上下文與工具使用，並區分模型規格和託管端點限制。
NVIDIA Nemotron 系列：開放權重推理與多模態模型家族
Nemotron 涵蓋文字推理、多模態理解與安全分類；Ultra、Super、Lightning、Nano Omni 及 Content Safety 的架構、上下文與授權不同。本文區分官方模型規格與 API 端點限制。
pplx-embed——Perplexity 的嵌入模型家族：單向量、上下文、late interaction 三條線怎麼選
pplx-embed 是 Perplexity 2026 年 2 月起陸續釋出的嵌入模型家族，分三條線：v1 單向量（0.6B／4B，API 每百萬 token $0.004／$0.03）、context 上下文嵌入（v1 4B 與 9B 預覽版）、v2-late 多向量（0.6B／9B，可直接搜 PDF 頁面圖片）。三條線解決不同問題，不是新舊取代。
checklist、practice 與 practical 備援｜Harvard CS181 主題單元
CS181 2026 期末（5 月 9 日）能公開拿到的 final checklist、second-half practice 16 題與 final review 66 頁都是 2025 版，涵蓋 Bayes net、EM 等 2026 週表沒有的題目，卻缺 Transformer、VAE、GAN、自迴歸模型。先把 checklist 對上 2026 週表分三類，再用 hw 與 section 補新講題，最後拿 2025 practical 補一次端到端專案。
分類與偏差—變異，兩種不確定性怎麼分｜Harvard CS181 作業 2
CS181 Spring 2026 的 HW2（due 2/27）共四題 90 分：用行星觀測資料訓練 10 個 logistic 模型看偏差與變異、推導生成式分類的 MLE、在 27 筆貸款申請資料上實作五種分類器，再用 SGD／Momentum／Adam 看 ridge 怎麼改變損失地形。核心是分清「模型給的機率」和「10 個模型彼此不一致」這兩種不確定性。
核方法、神經網路與 Scaling Law｜Harvard CS181 作業 3
CS181 Spring 2026 的 HW3（due 3/23）三題 100 分：先把多項式與 RBF kernel 拆回特徵映射、從 ridge 推到 dual 係數 α 與 support vector 直覺；再手推兩層 sigmoid 網路的 backprop；最後佔一半分數的是在 Fashion-MNIST 上訓練 ResNet，自己量出 scaling law，用 C≈6ND 推算固定算力下模型與資料該怎麼分。
（中）：Autoencoder 為何不能生成，VAE 補了什麼｜Harvard CS181 作業 4／第 2 部分
HW4 Problem 2 先在 CelebA 64×64 上訓練卷積 autoencoder，再讓你從 N(0, I) 隨機取樣，看它生不出臉；接著推 ELBO、reparameterization 與封閉形式 KL，最後把同一個骨幹改成 VAE，比較兩者的重建與取樣。
（上）：Transformer 從手算注意力到多頭｜Harvard CS181 作業 4／第 1 部分
HW4 Problem 1（40 分）分五小題拆解 self-attention：2×2 手算、為什麼除以 √dk、沒有位置編碼時的 permutation equivariance、只用 NumPy 寫單頭注意力、用 PyTorch 寫多頭並在合成資料上畫注意力熱圖。
（下）：決策樹、隨機森林與 Mixture of Experts｜Harvard CS181 作業 4／第 3 部分
HW4 Problem 3 用三步量化「多棵樹投票為什麼會準」：Hoeffding 界在 p=0.6 時要 B≈691 棵獨立樹才壓到 10⁻⁶；樹之間相關係數 ρ 讓集成變異數卡在 ρσ²；最後比較隨機森林的密集集成與 MoE 的稀疏路由。
（上）：K-means、HAC 與 PCA，沒有標籤時怎麼整理手寫數字｜Harvard CS181 作業 5／第 1 部分
HW5 的 Problem 3–4 把手寫數字丟給三種不看標籤的方法：K-means 用 10 個平均影像代表整批資料，HAC 用合併樹給出任意群數，PCA 用幾個連續方向壓縮影像。三者都在回答「用少量東西描述資料，誤差多大」，作業要你把它們的目標函數與重建誤差放在一起比。
（下）：SimCLR 對比學習與 GAN，不靠標籤學表示、不靠似然做生成｜Harvard CS181 作業 5／第 3 部分
HW5 的 Problem 1–2 都是「把學習變成分類題」：SimCLR 的 NT-Xent 損失是在 2N−1 個候選裡找出同一張圖的另一個增強版本，GAN 的判別器是在分真假。作業要你推出這兩件事的數學（交叉熵等價、最佳判別器與 JS divergence），再在 FashionMNIST 與 MNIST 上把兩套訓練迴圈寫出來。