影片狀態：錄影需登入或課程授權。 影片來源與說明
Scaling laws問固定預算下模型與資料怎麼配置；MoE問如何有更多expert容量、卻只啟用少數expert。前者是配置與經驗模型，後者是架構與路由，不能合稱「把模型變大」就跳過其中一方的機制。
先讀哪一篇
總覽的 課程地圖列出完整核心主線；本篇是主題導覽，不是額外課堂。先選你要回答的問題，再去對應的教學篇。
用一個例子看出分界
本站自擬預算例子：先用簡化C∝N×D，只計算相對量。配置A為N=10、D=20，乘積200；配置B為N=20、D=10，同樣200。它們預算相同，不代表loss相同。另設MoE有4個expert，每個100個玩具參數，top-2一次用200個expert參數而總expert容量400；還沒計入shared層、router和通信。把兩個200相比也不能說算力相等：一個是訓練配置乘積，一個是每次路由的參數數量，單位都不同。
自我檢查
top-2改成top-1，總expert容量會減半嗎？
答案與判準
不會，仍有400個expert參數；此例每次啟用的expert參數變100。效果、負載與通信仍要另測。
怎麼使用這張地圖
先不看答案，用自己的話指出輸入、被改動的部分與輸出，再到上面的教學篇完成變式。如果把兩種機制混在一起，回到資料流，找出哪一步的條件不同。這篇只驗關係與分界；不能用它代替各堂的推導、實作或評估。
本文沿用Spring 2026公開教材；自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。
更新紀錄
-
2026-10-11：重整教學範圍、完整例子與理解檢查，保留原網址及發文日期。
-
2026-10-10：標註影片狀態，核對錄影來源與取得方式。
-
2026-10-10：重查影片狀態。確認登入牆屬實（匿名開啟 Panopto 資料夾無影片並提示登入），官方頁面也沒有公開 YouTube 版本，狀態維持不變。
參考資料
- CMU 10-423/623/723 Generative AI（Spring 2026）課程首頁
- 課程講次表 — L15、L16 日期與 Quiz 4／5 範圍
- Lecture 15 投影片：Querying Transformer + Scaling Laws
- Lecture 16 投影片：Mixture of Experts、手寫版
- Lecture 18 投影片 — 考試範圍 L1–L15
- Spring 2026 練習考卷、解答
- Kaplan et al. 2020：Scaling Laws for Neural Language Models
- Hoffmann et al. 2022：Training Compute-Optimal Large Language Models
- Gunasekar et al. 2023：Textbooks Are All You Need
- Li et al. 2023：Textbooks Are All You Need II: phi-1.5 technical report
- Goyal et al. 2024：Scaling Laws for Data Filtering
- Cai et al. 2024：A Survey on Mixture of Experts in Large Language Models
- Muennighoff et al. 2024：OLMoE: Open Mixture-of-Experts Language Models
- Jiang et al. 2024：Mixtral of Experts
- Clark et al. 2022：Unified Scaling Laws for Routed Language Models (ICML)