Skip to content

文生圖與VLM:生成影像和讀懂影像的兩條路|CMU 10-423 主題單元

2026年9月30日1 分鐘
TL;DR「文字加圖片」不能描述清楚模型的工作。文生圖要產生影像,文字是條件;VLM可能接受影像,產生文字回答。資料流方向、輸出目標與驗收不同。原第12–13堂的內容在這裡保留關係地圖,兩條路各有完整例子與檢查。

查詞與收藏

正在載入查詞工具…

🌏 English version

影片狀態:錄影需登入或課程授權。 影片來源與說明

「文字加圖片」不能描述清楚模型的工作。文生圖要產生影像,文字是條件;VLM可能接受影像,產生文字回答。資料流方向、輸出目標與驗收不同。原第12–13堂的內容在這裡保留關係地圖,兩條路各有完整例子與檢查。

先讀哪一篇

總覽的 課程地圖列出完整核心主線;本篇是主題導覽,不是額外課堂。先選你要回答的問題,再去對應的教學篇。

用一個例子看出分界

本站自擬例子:prompt是「桌上一個紅杯子」。文生圖從噪聲latent開始,文字向量進入條件路徑,去噪後解碼成圖。VLM則拿到一張現有圖片,影像encoder產生特徵,橋接到LLM,回答「杯子是紅色」。即使兩者文字都說紅色,第一條要檢查圖中是否真的有杯子、顏色與位置;第二條要檢查回答是否由輸入影像支持。把原圖換成藍杯而文字提示不變,是VLM的有用反例測試;它不等於文生圖的生成測試。

自我檢查

VLM答對顏色,是否證明它也能生成對應圖片?

答案與判準

不能。讀取與生成使用不同輸出空間及訓練目標。多模態系統可能同時支持兩者,但必須各自測試。

怎麼使用這張地圖

先不看答案,用自己的話指出輸入、被改動的部分與輸出,再到上面的教學篇完成變式。如果把兩種機制混在一起,回到資料流,找出哪一步的條件不同。這篇只驗關係與分界;不能用它代替各堂的推導、實作或評估。

本文沿用Spring 2026公開教材;自擬例子不是官方考題或課堂口述。原課程錄影仍須依授權存取。

課程影片來源

Spring 2026 官方課站將錄影導向 SCS Panopto。2026-10-12 匿名讀取回傳資料夾未載入與登入提示,未取得可播放的課堂內容;這是存取限制,不能推論沒有錄影。本文依公開文字教材整理,沒有重建未取得的課堂口述或提供原音逐字稿。

更新紀錄

  • 2026-10-11:重整教學範圍、完整例子與理解檢查,保留原網址及發文日期。

  • 2026-10-10:標註影片狀態,核對錄影來源與取得方式。

  • 2026-10-10:重查影片狀態。確認登入牆屬實(匿名開啟 Panopto 資料夾無影片並提示登入),官方頁面也沒有公開 YouTube 版本,狀態維持不變。

參考資料