影片狀態：錄影需登入或課程授權。 影片來源與說明
聲音表示、影片的時間關聯、動作條件的世界轉移，是三種不同學習任務。原篇把第24–26堂放一起，最後卻只有音訊練習，無法驗收另外兩堂。這個網址保留為閱讀入口；完整教學在下列第 24–26 堂各一篇，第 26 堂那篇也包含另一份對齊教材。
先讀哪一篇
- 音訊表示、辨識與生成：依該篇的完整例子與答案自我檢查。
- 影片生成：依該篇的完整例子與答案自我檢查。
- 互動世界模型與對齊科學：依該篇的完整例子與答案自我檢查。
總覽的 課程地圖列出完整核心主線；本篇是主題導覽，不是額外課堂。先選你要回答的問題，再去對應的教學篇。
用一個例子看出分界
本站自擬世界模型例子：狀態是角色的位置x=0，動作是右移或左移。指定玩具轉移f(x,right)=x+1、f(x,left)=x−1。同一初始狀態下，下一位置分別1與−1；連按右移兩次得到2。這個例子示範要測動作介入，不能只看影片是否連貫。若模型不理動作、總輸出角色走到1，即使畫面漂亮，它也沒通過這個控制測試。音訊的98窗頻譜例只驗聲音表示；它不能驗影片一致性，更不能驗世界轉移。
自我檢查
若輸出影片符合「向右走」文字prompt，但系統沒有動作輸入，能當成互動世界模型的驗收嗎？
答案與判準
不足。需能在相同狀態與歷史下更改動作、檢查後續轉移，並測多步rollout；一般文字條件影片不自動具備這種介面與能力。
怎麼使用這張地圖
先不看答案，用自己的話指出輸入、被改動的部分與輸出，再到上面的教學篇完成變式。如果把兩種機制混在一起，回到資料流，找出哪一步的條件不同。這篇只驗關係與分界；不能用它代替各堂的推導、實作或評估。
本文沿用Spring 2026公開教材；自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。
更新紀錄
-
2026-10-11：重整教學範圍、完整例子與理解檢查，保留原網址及發文日期。
-
2026-10-10：標註影片狀態，核對錄影來源與取得方式。
-
2026-10-10：重查影片狀態。確認登入牆屬實（匿名開啟 Panopto 資料夾無影片並提示登入），官方頁面也沒有公開 YouTube 版本，狀態維持不變。
參考資料
- CMU 10-423/623/723 Generative AI（Spring 2026）課程首頁
- 課程講次表（Lecture 24–26、Quiz 6、專案時程）
- Lecture 24 投影片：Audio Understanding and Synthesis
- Lecture 24 投影片（課堂手寫版）
- Lecture 25 投影片：Video Generation and Understanding
- Lecture 26 投影片：Interactive World Models
- Radford et al. 2022：Robust Speech Recognition via Large-Scale Weak Supervision（Whisper）
- Wu et al. 2024：Towards audio language modeling — an overview
- Huang et al. 2018：Music Transformer
- Copet et al. 2023：Simple and Controllable Music Generation（MusicGen，NeurIPS）
- Liu et al. 2023：AudioLDM
- Evans et al. 2024：Fast Timing-Conditioned Latent Audio Diffusion（Stable Audio）
- Das et al. 2024：SpeechVerse
- Veo 3 Tech Report
- Chen et al. 2024：Panda-70M
- Ho et al. 2022：Video Diffusion Models
- Çiçek et al. 2016：3D U-Net
- Arnab et al. 2021：ViViT: A Video Vision Transformer
- Blattmann et al. 2023：Align your Latents（Video LDM）
- Peebles & Xie 2022：Scalable Diffusion Models with Transformers（DiT）
- OpenAI：Video generation models as world simulators（Sora）
- Zheng et al. 2025：Open-Sora 2.0
- Liu et al. 2024：World Model on Million-Length Video And Language With Blockwise RingAttention（Large World Model）
- Rivard et al. 2025：NeuralOS
- Zhuge et al. 2026：Neural Computers
- Mildenhall et al. 2020：NeRF
- Kerbl et al. 2023：3D Gaussian Splatting for Real-Time Radiance Field Rendering
- Poole et al. 2022：DreamFusion
- Chen et al. 2023：Text-to-3D using Gaussian Splatting（GSGen）
- Bruce et al. 2024：Genie: Generative Interactive Environments
- Chang et al. 2022：MaskGIT
- Google DeepMind：Genie 3
- Assran et al. 2025：V-JEPA 2
- PAN Team 2025：PAN: A World Model for General, Actionable, and Long-Horizon World Simulation
- HW623 handout（論文清單）