文生圖與VLM：生成影像和讀懂影像的兩條路｜CMU 10-423 主題單元
「文字加圖片」不能描述清楚模型的工作。文生圖要產生影像，文字是條件；VLM可能接受影像，產生文字回答。資料流方向、輸出目標與驗收不同。原第12–13堂的內容在這裡保留關係地圖，兩條路各有完整例子與檢查。
#clip
6 篇文章Transformer Captioning、自監督學習、DDPM、CLIP 與 DINO｜Stanford CS231N 作業 3
CS231N Spring 2026 的 A3 占總成績 15%，四個 Colab notebook 把 L8、L12–L14、L16 各自落成一份實作：Q1 手寫 multi-head attention、Transformer decoder 做 COCO captioning，再組一個 ViT 在 CIFAR-10 上訓練；Q2 實作 SimCLR 的資料增強與對比損失，比較有無自監督預訓練的線性分類；Q3 寫 DDPM 的加噪、UNet、去噪損失、取樣與 classifier-free guidance，生成文字條件的 32×32 emoji；Q4 用預訓練 CLIP 做相似度、零樣本分類與檢索，再用 DINO 特徵只靠一幀標註做影片分割。本文只講題目結構、檔案與目標，不給解答。
視覺與語言——從 CLIP 的對比學習到會看圖說話的多模態基礎模型｜Stanford CS231N 第 16 堂
CS231N Spring 2026 的視覺與語言講次，先把課程前半的「一個任務一個模型」換成「基礎模型」：先用大量多樣的資料預訓練一個模型，再用微調、zero-shot 或 few-shot 接到許多任務。主角有三條線。第一條是 CLIP：用 4 億組網路圖文配對做雙向對比學習，再把類別名稱寫成句子，就能不經微調直接分類；它也有弱點，分不出「草地上的杯子」和「杯子裡的草」。第二條是 LLaVA、Flamingo 到 Qwen3-VL、Molmo 的視覺語言模型：把圖片特徵接進 LLM，讓模型看圖輸出文字。第三條是 chaining：讓 LLM 寫描述或寫程式，把現成的視覺模型串起來。
文字生圖 AI 的原理及實作——CLIP 讀懂 prompt、排程器決定要不要「A 圖」、LoRA 只調 ΔW，最後用 diffusers 做出自己的生圖 Web App｜政大蔡炎龍 生成式AI 第 11 堂
L11 把 Stable Diffusion 架構圖上剩下的三塊補齊。CLIP 用「文字和圖越像越好」的對比訓練，讓 prompt 變成 77×768 的 embedding；排程器把 1000 步的加噪壓成二、三十步的去噪，但 Euler a 這類 ancestral 演算法不會收斂，步數加到 100，人物的衣服和座位都會換掉；LoRA 凍結原本的 W，只學拆成 A·B 的 ΔW。實作用 diffusers 載入 SD 1.5 系模型，第十一週作業是自己做一個生圖 Web App。
多模態模型先把影像變成 token，再處理語意與細節的衝突｜Stanford CS336 第 17 堂
第十七講把 CLIP/SigLIP、LLaVA、Qwen-VL 與 Chameleon 排成三條路：對比式 encoder 學語意、vision encoder+projector+LM 做理解、離散 image tokens 做生成；解析度、token budget 與 modality balance 是共同瓶頸。
Multimodal RAG：把圖片也納入知識庫
攀岩路線有大量圖片資訊（路線圖、岩壁照片），純文字 RAG 遺漏了這些。Multimodal RAG 讓圖片也能被搜尋和理解。