影片狀態：錄影需登入或課程授權。 影片來源與說明
長上下文問模型能否處理、找到並使用很久以前的資訊；SSM問如何用狀態更新處理序列。SSM的效率不能直接證明長文件檢索可靠，attention的長窗口也不能直接證明重要資訊一定被使用。第19與21堂因此各自有獨立教學。
先讀哪一篇
總覽的 課程地圖列出完整核心主線；本篇是主題導覽，不是額外課堂。先選你要回答的問題，再去對應的教學篇。
用一個例子看出分界
本站自擬SSM：h0=0，ht=0.5h(t−1)+xt，輸入[2,0,6,2]，令輸出等於狀態。逐步得到[2,1,6.5,5.25]。第一筆輸入到第4步的直接貢獻是2×0.5³=0.25，早期資訊在此玩具系統衰減。這不是所有SSM的固定行為，而是指定轉移係數的結果。要測長文件能力，另固定問題與證據文字，把證據移到文件開頭、中間、結尾，比較回答；只測一次成功不夠。
自我檢查
把第一筆輸入從2改4，其餘不變，第4步狀態增加多少？
答案與判準
增加2×0.5³=0.25，從5.25變5.5。能算出狀態影響，仍不能代替文字檢索的實證測試。
怎麼使用這張地圖
先不看答案，用自己的話指出輸入、被改動的部分與輸出，再到上面的教學篇完成變式。如果把兩種機制混在一起，回到資料流，找出哪一步的條件不同。這篇只驗關係與分界；不能用它代替各堂的推導、實作或評估。
本文沿用Spring 2026公開教材；自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示，未取得可播放的課堂內容；這是存取限制，不能推論沒有錄影。本文依公開文字教材整理，沒有重建未取得的課堂口述或提供原音逐字稿。
更新紀錄
-
2026-10-11：重整教學範圍、完整例子與理解檢查，保留原網址及發文日期。
-
2026-10-10：標註影片狀態，核對錄影來源與取得方式。
-
2026-10-10：重查影片狀態。確認登入牆屬實（匿名開啟 Panopto 資料夾無影片並提示登入），官方頁面也沒有公開 YouTube 版本，狀態維持不變。
參考資料
- CMU 10-423/623/723 Generative AI（Spring 2026）課程首頁
- 課程講次表（L19、L21 日期與 Quiz 範圍）
- Lecture 19 投影片：Long Context in LLMs
- Lecture 19 投影片（課堂手寫版）
- Lecture 21 投影片：State Space Models + Hybrid Models
- gkamradt/LLMTest_NeedleInAHaystack
- Fu et al. 2024：Data Engineering for Scaling Language Models to 128K Context
- Bertsch et al. 2024：In-Context Learning with Long-Context Models: An In-Depth Exploration
- Child et al. 2019：Generating Long Sequences with Sparse Transformers
- Beltagy et al. 2020：Longformer: The Long-Document Transformer
- Ding et al. 2023：LongNet: Scaling Transformers to 1,000,000,000 Tokens
- Li et al. 2021：Sequence Parallelism: Long Sequence Training from System Perspective
- Liu & Abbeel 2023：Blockwise Parallel Transformer for Large Context Models
- Liu et al. 2023：Ring Attention with Blockwise Transformers for Near-Infinite Context
- Liu et al. 2024：World Model on Million-Length Video And Language With Blockwise RingAttention
- Hazy Research：The Annotated S4 系列部落格（投影片圖片來源）
- Gu & Dao 2023：Mamba: Linear-Time Sequence Modeling with Selective State Spaces
- Yang et al. 2024：Gated Delta Networks: Improving Mamba2 with Delta Rule
- Lieber et al. 2024：Jamba: A Hybrid Transformer-Mamba Language Model
- NVIDIA 2025：Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models
- Qwen3-Next 官方部落格
- Spring 2026 Practice Exam