Skip to content

條件注入:attention、DiT與Q-Former怎麼分工|CMU 10-423 主題單元

2026年9月30日1 分鐘
TL;DRCross-attention是讀取另一組表示的運算;DiT是擴散模型的骨幹選擇;Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合,但不是三個互斥的產品。這篇只比較角色,Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。

查詞與收藏

正在載入查詞工具…

🌏 English version

影片狀態:錄影需登入或課程授權。 影片來源與說明

Cross-attention是讀取另一組表示的運算;DiT是擴散模型的骨幹選擇;Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合,但不是三個互斥的產品。這篇只比較角色,Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。

先讀哪一篇

總覽的 課程地圖列出完整核心主線;本篇是主題導覽,不是額外課堂。先選你要回答的問題,再去對應的教學篇。

用一個例子看出分界

本站自擬shape例子:影像latent有4個位置、文字有3個token,hidden寬度2。若Q來自影像、K/V來自文字,QKᵀ是4×3,softmax後乘3×2的V,得到4×2輸出。換成Q-Former,以2個learned query讀4個影像特徵,attention圖是2×4,讀取輸出是2×2。兩者都做attention,但輸出位置數由query一側決定。BLIP-2的影像→LLM與作業4的文字→DiT是不同資料流,不可把兩張圖接成同一段。

自我檢查

把文字token數從3改5,第一個例子的輸出位置數會從4改5嗎?

答案與判準

不會。attention圖成4×5,V為5×2,輸出仍4×2。輸出位置由Q的4個位置決定。

怎麼使用這張地圖

先不看答案,用自己的話指出輸入、被改動的部分與輸出,再到上面的教學篇完成變式。如果把兩種機制混在一起,回到資料流,找出哪一步的條件不同。這篇只驗關係與分界;不能用它代替各堂的推導、實作或評估。

本文沿用Spring 2026公開教材;自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。

課程影片來源

Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示,未取得可播放的課堂內容;這是存取限制,不能推論沒有錄影。本文依公開文字教材整理,沒有重建未取得的課堂口述或提供原音逐字稿。

更新紀錄

  • 2026-10-11:重整教學範圍、完整例子與理解檢查,保留原網址及發文日期。

  • 2026-10-10:標註影片狀態,核對錄影來源與取得方式。

  • 2026-10-10:重查影片狀態。確認登入牆屬實(匿名開啟 Panopto 資料夾無影片並提示登入),官方頁面也沒有公開 YouTube 版本,狀態維持不變。

參考資料