Skip to content
所有標籤

#clip

2 篇文章
ai deep-dive Stanford CS336 導讀

CS336 Lecture 17：多模態模型先把影像變成 token，再處理語意與細節的衝突

第十七講把 CLIP/SigLIP、LLaVA、Qwen-VL 與 Chameleon 排成三條路：對比式 encoder 學語意、vision encoder+projector+LM 做理解、離散 image tokens 做生成；解析度、token budget 與 modality balance 是共同瓶頸。

#cs336#multimodal#vision-language-model#clip#qwen-vl
ai guide RAG 技法大全

Multimodal RAG：把圖片也納入知識庫

攀岩路線有大量圖片資訊（路線圖、岩壁照片），純文字 RAG 遺漏了這些。Multimodal RAG 讓圖片也能被搜尋和理解。

#rag#multimodal#vision#image-embedding#clip