條件注入:attention、DiT與Q-Former怎麼分工|CMU 10-423 主題單元
Cross-attention是讀取另一組表示的運算;DiT是擴散模型的骨幹選擇;Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合,但不是三個互斥的產品。這篇只比較角色,Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。
第 31 頁,共 129 頁
Cross-attention是讀取另一組表示的運算;DiT是擴散模型的骨幹選擇;Q-Former是用可學query抽取或橋接資訊的模組。它們可以組合,但不是三個互斥的產品。這篇只比較角色,Prompt-to-Prompt與classifier-free guidance的操作細節放回第14堂教學。
GAN 用判別器取得生成訊號,擴散模型則先定義一個會逐漸破壞資料的過程,再學習反方向的條件分佈。
模型放不下一張GPU,和模型已放得下卻生成太慢,是不同故障。分散式策略重新分配資料、參數與狀態;FlashAttention主要改善attention的記憶體IO;KV cache避免decode時重算歷史K/V。先找成本的位置,再選方法。
考卷檢查你能否在固定問題下推理;論文報告檢查你能否判斷別人的證據;專案檢查你能否自己產生可重現證據。三者不是「課程行政事項」的清單,而是逐步加深的學習任務。這個舊網址保留為評量導覽,完整做法各有教學篇。
分類器學「這張圖是哪一類」,GAN 的生成器學「怎麼從隨機輸入產生像資料的新樣本」。
這個系列依 CMU 10-423/623/723 Generative AI 的 Spring 2026 公開材料整理。
作業 1 把 RNN、Transformer 與現代 attention 的觀念拉到程式層。
會抄加噪公式,還不代表 diffusion 實作正確。
以自擬數值例子驗收梯度、資料與評估,並保留原作業規格。
以自擬數值例子驗收梯度、資料與評估,並保留原作業規格。
一個prompt加一個示範答案,與一個prompt加兩個偏好回應,不是相同資料。SFT學示範token;典型RLHF管線先學reward再做受約束的policy更新;DPO由偏好對與reference-relative比率直接建立loss。這篇整理它們的分界,完整推導與驗收各有單獨教學篇。
長上下文問模型能否處理、找到並使用很久以前的資訊;SSM問如何用狀態更新處理序列。SSM的效率不能直接證明長文件檢索可靠,attention的長窗口也不能直接證明重要資訊一定被使用。第19與21堂因此各自有獨立教學。
第 2 堂的 attention 知道如何比對內容,但實際語言模型還需要順序資訊,也要承受生成時的記憶體成本。
你可以讓模型適應新任務而不重訓所有參數,但這句話包含兩種不同做法。LoRA等PEFT方法仍有訓練,少量參數會改變;ICL把示例放進上下文,推論時不因這些示例做參數更新。來源也不只兩堂:第9堂末段已有zero/few-shot,第10堂講PEFT,第11堂接ICL與後續調適。
能比較候選選擇與GRPO優勢且區分機制因果證據
模型胡說、洩漏資料或被prompt injection誘導,是可觀察的產品風險;對齊理論問特定形式化假設下,哪些保證可以成立。兩者需要不同證據。這篇保留關係與界線,第22堂與第26堂的對齊教材分開教,不把一個定理擴成所有產品都不可能安全。
一句「我喜歡貓」不是三個互不相干的字。
Scaling laws問固定預算下模型與資料怎麼配置;MoE問如何有更多expert容量、卻只啟用少數expert。前者是配置與經驗模型,後者是架構與路由,不能合稱「把模型變大」就跳過其中一方的機制。
「文字加圖片」不能描述清楚模型的工作。文生圖要產生影像,文字是條件;VLM可能接受影像,產生文字回答。資料流方向、輸出目標與驗收不同。原第12–13堂的內容在這裡保留關係地圖,兩條路各有完整例子與檢查。
同樣一份歷史文字,模型怎麼讀、怎麼學、怎麼抽下一個token,是三個問題。注意力決定資訊如何混合;訓練目標用正確答案改參數;解碼策略在固定模型下選輸出。原本把第2–3堂合在一起,容易讓讀者以為換解碼策略就是換模型。這篇保留主題關係,完整機制與練習分開讀。