2024 AI 頂會在收什麼題目：Agent 元年與 Scaling 辯論
2024 年 AI 頂會的關鍵字是 agent、alignment、multimodal LLM 和 inference-time compute——LLM 相關論文在五大會議的佔比從 2023 年的顯著上升再度翻倍，agent 相關關鍵詞成長 4.3 倍，而 diffusion model 從「新興方向」正式晉升為與 LLM 並列的雙主軸。同時，傳統任務導向 NLP 研究持續萎縮，GAN 幾乎從頂會消失。
#multimodal
11 篇文章Gemini——Google 的原生多模態旗艦，1M context 與科學推理的雙料冠軍
Gemini 是 Google DeepMind 推出的原生多模態 LLM 家族，以 1M context window、原生影片/語音輸入和科學推理能力聞名。3.1 Pro 在 GPQA Diamond 94.1% 和 ARC-AGI-2 77.1% 拿下科學推理雙冠，定價 $2/$12 只有 Claude 的 1/6。3.7 Flash 以 $0.75/$3.75 提供接近 Pro 的 Agent 能力。
Llama——從開源實驗到部署量最大的開源 LLM，以及 Meta 的閉源轉向
Llama 是 Meta 推出的開源 LLM 家族，以企業部署量最大、生態最成熟聞名。Llama 4 Scout（10M context）和 Maverick（17B active / 400B total MoE）是目前的開源多模態標竿，但 Meta 已在 2026 年 4 月轉向閉源 Muse Spark——Llama 4 很可能是最後一個主要的開源 Llama，且授權不是真正的開源（Llama 4 Community License，月活超 7 億需另外授權）。
Mistral——歐洲的開源 AI 挑戰者：用更小模型和歐洲主權打一場不一樣的仗
Mistral 是歐洲最成功的 AI 新創，以「更小、更快、更便宜」的策略和歐洲資料主權定位在 AI 市場殺出血路。Mistral Large 3 是歐洲最強的商用 LLM，Small 4 是 24B 級別的效率之王，Medium 3.5 則是專為 agentic coding 優化的 Modified MIT 開源模型。它的護城河不是技術規模，而是「歐洲合規」這張牌。
AI 模型用途總覽——2026 年你該知道的模型地圖
2026 年 AI 模型按用途分成七大類、20+ 個子用途。這篇是「AI 模型家族」系列的導讀地圖——從用途找模型、從模型找家族，附每個用途的選型建議和最新排名。
Stanford CS224V 第 13 講：ReactGenie 如何讓語音命令與原生 GUI 共用同一個狀態
ReactGenie 以 React 元件加 annotations 暴露資料、動作與視圖，將複合語音命令解析成 DSL，並在同一份 UI context 中產生原生圖形輸出。
CS336 Lecture 17：多模態模型先把影像變成 token，再處理語意與細節的衝突
第十七講把 CLIP/SigLIP、LLaVA、Qwen-VL 與 Chameleon 排成三條路：對比式 encoder 學語意、vision encoder+projector+LM 做理解、離散 image tokens 做生成；解析度、token budget 與 modality balance 是共同瓶頸。
Stanford CS25 V6：叫 Transformers United 的課，前兩場講的都不是 Transformer
CS25 是 Stanford 的 1 學分 seminar，唯一作業是出席，全程對外開放。2026 春季第六季九場講座裡，最值得看的三場是 Albert Gu 談 SSM 與 Transformer 的歸納偏誤、Charles Frye 談上千張 GPU 的推論服務、Victoria Lin 談原生多模態還沒解決什麼。
2026 上半年多模態模型盤點：原生融合 vs. 外接視覺，以及排行榜為什麼會互相打臉
純圖片理解已經打平：MMMU-Pro 上四家前沿模型全部過 80%，差距在 3 分內。真正分勝負的是影片、長文件 OCR、即時語音這幾條軸線，各有不同的領先者。但整理這些排名時最該學的一課，是兩份都算可信的來源對同一個 Video-MME 給出的榜首可以差超過 10 分，而且不是同一家。七月與八月又各換過一輪。
NVIDIA NCA-GENM 備考路徑：多模態那張，但兩門必備課程只有 $500 講師版
NCA-GENM 與 NCA-GENL 同價同時長同級別，但重心完全不同：Experimentation 升到 25%（最重），Core ML 從 30% 降到 20%，並多出 Multimodal Data 15% 與 Performance Optimization 10% 兩塊。內容上考 U-Net、CLIP、擴散模型、多模態損失函數、attention map，以及 Riva／NeMo／Triton／ACE 這幾個 NVIDIA SDK。要注意成本結構：官方建議的五門課裡有兩門只有 $500 的講師版、沒有自學選項——純自學路線先天蓋不滿。官方規格：$125、1 小時、50–60 題、效期兩年、僅英文。
Multimodal RAG：把圖片也納入知識庫
攀岩路線有大量圖片資訊（路線圖、岩壁照片），純文字 RAG 遺漏了這些。Multimodal RAG 讓圖片也能被搜尋和理解。