影片狀態:錄影需登入或課程授權。 影片來源與說明
Cross-attention是讀取另一組表示的運算;DiT是擴散模型的骨幹選擇;Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合,但不是三個互斥的產品。這篇只比較角色,Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。
先讀哪一篇
- Cross-attention與DiT:依該篇的完整例子與答案自我檢查。
- Q-Former橋接:依該篇的完整例子與答案自我檢查。
- 作業4:依該篇的完整例子與答案自我檢查。
總覽的 課程地圖列出完整核心主線;本篇是主題導覽,不是額外課堂。先選你要回答的問題,再去對應的教學篇。
用一個例子看出分界
本站自擬shape例子:影像latent有4個位置、文字有3個token,hidden寬度2。若Q來自影像、K/V來自文字,QKᵀ是4×3,softmax後乘3×2的V,得到4×2輸出。換成Q-Former,以2個learned query讀4個影像特徵,attention圖是2×4,讀取輸出是2×2。兩者都做attention,但輸出位置數由query一側決定。BLIP-2的影像→LLM與作業4的文字→DiT是不同資料流,不可把兩張圖接成同一段。
自我檢查
把文字token數從3改5,第一個例子的輸出位置數會從4改5嗎?
答案與判準
不會。attention圖成4×5,V為5×2,輸出仍4×2。輸出位置由Q的4個位置決定。
怎麼使用這張地圖
先不看答案,用自己的話指出輸入、被改動的部分與輸出,再到上面的教學篇完成變式。如果把兩種機制混在一起,回到資料流,找出哪一步的條件不同。這篇只驗關係與分界;不能用它代替各堂的推導、實作或評估。
本文沿用Spring 2026公開教材;自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。
課程影片來源
Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示,未取得可播放的課堂內容;這是存取限制,不能推論沒有錄影。本文依公開文字教材整理,沒有重建未取得的課堂口述或提供原音逐字稿。
更新紀錄
-
2026-10-11:重整教學範圍、完整例子與理解檢查,保留原網址及發文日期。
-
2026-10-10:標註影片狀態,核對錄影來源與取得方式。
-
2026-10-10:重查影片狀態。確認登入牆屬實(匿名開啟 Panopto 資料夾無影片並提示登入),官方頁面也沒有公開 YouTube 版本,狀態維持不變。
參考資料
- CMU 10-423/623/723 Generative AI(Spring 2026)課程首頁
- 課程講次表 — L14(3 月 9 日)、L15(3 月 11 日)、Quiz 4 範圍
- Lecture 14 投影片:Cross-Attention / Diffusion Transformer / Prompt-to-Prompt(inked 版)
- Lecture 15 投影片:Querying Transformer / Scaling Laws
- HW4 handout(hw4.zip) — 程式題的 GPT-2/DiT/Q-Former 設定
- Ho & Salimans 2022:Classifier-Free Diffusion Guidance
- Peebles & Xie 2022:Scalable Diffusion Models with Transformers(DiT)
- Hertz et al. 2022:Prompt-to-Prompt Image Editing with Cross Attention Control
- Avrahami et al. 2021:Blended Diffusion for Text-driven Editing of Natural Images
- Li et al. 2023:BLIP-2
- Pan et al. 2025:Transfer between Modalities with MetaQueries
- Jaegle et al. 2021:Perceiver IO