looplane 已有 ModelRole／ModelRoute 靜態候選表、--model @cheap 等 opt-in alias、跨 provider fallback，以及驗證完成後才啟動的 no-tool reviewer lane；下一步是補 role inheritance／override 規則，並決定 summarizer、parser、scout 是否自動路由。
AI Gateway 解的是 AI 呼叫的控制問題：同一層處理 logs、analytics、cache、rate limit、retry/fallback、BYOK 與 Unified Billing。Workers 內可用 env.AI.run(..., { gateway })，外部 SDK 則改 baseURL 或 provider-native endpoint。
Looplane 的 native lane 由 AgentRunner 掌握狀態轉移：準備 workspace、送出 model request、執行 tool calls、寫回 observations，模型沒有再呼叫工具時才進入 verification。step、wall time、重複動作、token 與取消條件都能先於模型宣告終止 run；provider adapter 的協定翻譯留給下一篇。
系列最終篇：回顧七週十二專案的永恆核心、2020/2023 錄影在 2026 年的缺口、免費 OCW 路線的完整性，給出後續學習路線圖（Transformer、LLM、RAG、Agent、評測）。
GPUtw.ai 適合個人把短租 GPU 當成學習工具：先跑 Jupyter、Ollama、ComfyUI，再用 LoRA/QLoRA 做小模型微調。它不是大型基礎模型訓練平台，第一次使用應該小額測部署、計費與資料保存。
同一個模型透過不同管道存取，價差可以到 2-5 倍。直連最簡單、聚合器（OpenRouter）最靈活、雲端平台（Bedrock/Vertex）最適合企業。這篇用 2026 年 8 月實際價格做橫向比較，附選擇決策樹。
Allen AI 的 OLMo 是目前唯一把權重、訓練資料（Dolma，9.3 兆 token）、訓練程式碼、所有中間 checkpoint 和評估工具全部公開的語言模型家族。OLMo 3 的 32B Think 模型在 MATH 跑到 96.1%，同時你可以用 OlmoTrace 追溯任何輸出回到訓練資料的哪一段。
模型不讀字，讀 token——一個中文字通常是 1-2 個 token，一個英文字通常是 1-3 個。Context window 是模型一次能看的 token 上限。推論是用模型，訓練是教模型；你每天在做的是推論。
資料常更新、需要引用來源 → RAG。需要統一風格、要跑在小裝置上 → fine-tuning。實務上很多系統兩者都用：fine-tune 一個懂你領域語言的小模型，再用 RAG 補上最新資料。
Scaling laws 說 loss 跟參數量、資料量、算力之間有可預測的冪次關係。Chinchilla 論文的關鍵發現：大多數模型都太大、訓練資料太少——同樣的算力預算，訓練一個較小但吃更多資料的模型反而更強。這改變了整個產業的訓練策略。
不需要變成研究員也能系統理解 AI 模型。這個系列從你看得見的東西（token、context window）開始，一路走到自架開源模型，18 篇覆蓋選模型、讀 benchmark、算成本需要的所有基礎。
模型不是按字數收費，是按 token 收費。BPE 演算法從字元開始，反覆合併最常出現的相鄰配對來建詞表。英文 'understanding' 可能是 1-2 個 token，但中文「理解」可能要 2-3 個——同樣的意思，中文就是比較貴。
計算生物學博士、前威斯康辛大學統計系教授 Sebastian Raschka，2022 年在 Substack 創辦 Ahead of AI，用月更長文拆解 LLM 論文與架構，四年做到 20 萬+訂閱。他刻意不接贊助、不追日更，靠書籍和付費訂閱變現，證明低頻高深度在 AI 電子報紅海裡也能走出一條路。
LLM 寫 unified diff 壞在簿記：hunk 行數算錯、上下文行幻覺。五家的答案分成兩派——把 diff 文法做簡單（Codex 拿掉行號）、或乾脆不用 diff（Claude Code/Pi/OpenCode 的 exact replace）；OMP 更進一步用 hash 錨點綁住讀取狀態。looplane 走最小干預：保留 guarded apply_patch，加一個零模糊匹配的 replace_text，qwen3:4b eval 就從穩定失敗變 5/5。
Unsloth 是目前最省 VRAM、最快的本地 LLM 微調工具，訓練速度快 2 倍、VRAM 省 70%。2026 年加入 Desktop 桌面應用後，整合了推論、微調、圖片影片生成、web search 和 agent 連接，從微調庫變成完整的本地 AI 工作站。
Apple Foundation Models（AFM）是 Apple 自研的封閉生態 AI 家族，三代演進從 2024 年的 3B dense + LoRA adapter，到 2026 年的五個模型。AFM 3 Core Advanced 用 IFP 稀疏架構把 20B 跑在手機上（只啟動 1–4B），雲端最強的 Cloud Pro 跑在 Google Cloud NVIDIA GPU、用 Gemini 蒸餾精煉。沒有公開 API 定價，沒有第三方 benchmark，只透過 Foundation Models framework 給 iOS/macOS 開發者使用。
2023 年是 LLM 全面接管 ML 頂會的一年。NeurIPS 投稿破 12,000 篇，兩篇 Outstanding Paper 都直接針對大模型（隱私審計與湧現能力質疑），Runner-Up 的 DPO 在短短兩年內成為 RLHF 的實質替代標準。ICLR 的 DreamFusion 開啟了 text-to-3D 賽道，ICML 則把 LLM 水印和學習率自適應推上舞台。Mamba 以 arXiv 預印本之姿在 NeurIPS 現場引爆討論，預示 Transformer 的第一個真正挑戰者即將到來。
2023 年是 LLM 全面重寫 AI 研究議程的第一年：DPO 拿下 NeurIPS Outstanding Runner-Up、ReAct 成為 ICLR Oral、hallucination 從邊緣詞彙變成每場會議的熱門 track——同時 3D Gaussian Splatting 在 SIGGRAPH 發表後橫掃 CV 社群，Mamba 年底出現挑戰 Transformer 的注意力壟斷，而傳統 NLP pipeline 的論文量開始明確萎縮。
Stanford Marin 在 11×GB200 上公開訓練 535B-A23B，先用 1% 算力的 5 階 Scaling Ladder 預註冊 paloma macro-loss 2.04，再以 W&B 即時公開 847 組訓練數據；本文按訓練流程拆解其設計與監控方法。
模型廠商的自測數字不能直接信。這篇整理 2026 年最重要的獨立評測平台、領域 benchmark、市場熱度指標和官方來源，說明各自測什麼、怎麼解讀、偏差在哪，附上不同情境的選型該看哪些數字。
Claude 是 Anthropic 推出的閉源 LLM 家族，以 Constitutional AI 訓練、Agent 能力和 Coding 表現聞名。2026 年 7 月的 Opus 5 以 SWE-bench Verified 96% 拿下 coding 冠軍，Fable 5 則以 LiveBench 83% 領跑通用能力。四層產品線（Fable / Opus / Sonnet / Haiku）從 $1 到 $10 覆蓋不同場景，是系列裡唯一完全沒有開放權重的家族。
Cohere 是唯一把生成、檢索、重排、多語言四條線都做成產品的模型家族。Command A 111B 以兩張 GPU 跑 256K 上下文、Embed v4 支援圖文混合檢索、Rerank v4 32K 處理半結構化資料、Aya 覆蓋 101 種語言——四件套為 RAG 而生，這篇拆開每一塊的定位、授權與選型。
DeepSeek 用 MLA + MoE 兩項架構創新把推論成本壓到業界最低，V4 Flash 以 13B 活躍參數跑出接近前端模型的品質，成為 OpenRouter 用量第一。這篇追蹤從 V1 到 V4 的演化、R1 推理線的分叉、以及每個版本該怎麼選。
Gemini 是 Google DeepMind 推出的原生多模態 LLM 家族，以 1M context window、原生影片/語音輸入和科學推理能力聞名。3.1 Pro 在 GPQA Diamond 94.1% 和 ARC-AGI-2 77.1% 拿下科學推理雙冠，定價 $2/$12 只有 Claude 的 1/6。3.7 Flash 以 $0.75/$3.75 提供接近 Pro 的 Agent 能力。
GLM 是智譜 AI（Z.ai）推出的開源 LLM 家族，源自清華大學 KEG 實驗室。GLM-5.3（2026/08）在 coding benchmark 比前代提升 50%，CyberGym 84.5% 超過 Anthropic Mythos 5 與 OpenAI GPT-5.6 Sol，在 Artificial Analysis Intelligence Index 得分 60 與 Kimi K3 並列開源第一。它是目前唯一完全在華為昇騰晶片上訓練出的前沿開源模型。
GPT 是 OpenAI 推出的 LLM 家族，從 2018 年的 117M 參數到 2026 年的 GPT-5.6 Sol/Terra/Luna 三層產品線，擁有超過 10 億使用者和 200 萬企業客戶。GPT-5.6 Sol 在 LiveBench 81.1%、Terminal-Bench 2.1 88.8%、Artificial Analysis Coding Agent Index 80 等多項 benchmark 領先，同時首次推出開源模型 GPT-OSS（Apache 2.0）。
Grok 是 xAI 的 LLM 家族，2023/07 成立、2024/03 以 314B MoE Apache 2.0 開源起手，兩年半迭代到 Grok 4.6（500K、$2/$6、四檔推理）與 2M 的 Grok 4 Fast；另有 Imagine 圖像/影片與 Grok Build 終端 coding agent——護城河在分發（X / grok.com / Tesla / Bedrock），而非單點模型能力。這篇追蹤 Grok 1→4.6 的演化、子線定位、定價與授權陷阱。
Kimi 是月之暗面（Moonshot AI）推出的 LLM 家族，以超長 context 起家。2026 年 7 月發布的 Kimi K3 是全球首個開源 3T 級模型——2.8T 參數、104B 活躍、1M context，在 Artificial Analysis Intelligence Index 得分 60 與 GLM-5.3 並列開源第一。其 Kimi Delta Attention 架構帶來 2.5 倍 scaling 效率提升。
Llama 是 Meta 推出的開源 LLM 家族，以企業部署量最大、生態最成熟聞名。Llama 4 Scout（10M context）和 Maverick（17B active / 400B total MoE）是目前的開源多模態標竿，但 Meta 已在 2026 年 4 月轉向閉源 Muse Spark——Llama 4 很可能是最後一個主要的開源 Llama，且授權不是真正的開源（Llama 4 Community License，月活超 7 億需另外授權）。
Mistral 是歐洲最成功的 AI 新創，以「更小、更快、更便宜」的策略和歐洲資料主權定位在 AI 市場殺出血路。Mistral Large 3 是歐洲最強的商用 LLM，Small 4 是 24B 級別的效率之王，Medium 3.5 則是專為 agentic coding 優化的 Modified MIT 開源模型。它的護城河不是技術規模，而是「歐洲合規」這張牌。
Qwen 是 HuggingFace 下載量最高的模型家族，尺寸從 0.8B 一路涵蓋到 2.4T。2026 年 8 月阿里首度開源 Max 級旗艦權重（Qwen3.8-2.4T-A95B），但授權換成了自訂條款而非慣例的 Apache 2.0；同期開源、筆電就能跑的原生視覺模型 Qwen3.8-27B 反而是新面孔裡唯一的 Apache 2.0。這篇追蹤 Qwen 從 2023 年到 3.8 世代的演化、開源線與商用線的分家邏輯，以及每一層該怎麼選。
2026 年 AI 模型按用途分成七大類、20+ 個子用途。這篇是「AI 模型家族」系列的導讀地圖——從用途找模型、從模型找家族，附每個用途的選型建議和最新排名。
美股 LLM agent 已經捲到近十萬星，台股在 GitHub 上卻連一個破 10 星的都沒有；我把三個 side project 收斂成一個「每個結論都要先過回測」的台股研究 agent，這篇講為什麼。
LLM 寫報告時最容易幻覺的不是觀點而是數字，所以我把所有可信數字建成 SHA-256 定址的 evidence manifest，LLM 只能引用 {{fact.id}}，膽敢寫裸數字就整份丟棄回退規則模板。
Baseten 把自訂模型的打包、GPU 部署、推論引擎、autoscaling 與發布流程收進同一平台；價值不在多一個 OpenAI API，而是讓 ML 團隊保留 runtime 控制權，同時少維護一層 GPU orchestration。
Cerebras 的價值是把支援模型的生成階段大幅加速；但 Agent 的端到端速度仍取決於 prefill、工具 I/O、模型能力與平台相容性。
CS124 Winter 2026 第一週不是先教 Transformer，而是先畫出從斷詞、分類、檢索到語音與網路的十週路線，並用 PA0 建好後續九週共同使用的 Jupyter 環境。
Week 6 以公開 neural-network slides 建立 weighted sum、nonlinearity、loss 與 backpropagation，再用檔名標示 2025 的公開 LLM/Transformer deck 連到 decoder-only 架構，不視為 2026 現場逐字內容。
Week 7 的可公開主線是 PA6a：實作 causal self-attention、訓練 Shakespeare 小型 Transformer、取樣並計算 perplexity；同週 speech live lecture 未錄影，只能保留為明示缺口。
Week 9 以 item-item collaborative filtering 產生電影推薦，再把推薦、web search、database 與 memory 包成 LLM agent tools；PA7 同時把模型非決定性、API 預算與團隊協作變成交付條件。
Fall 2025 第一講把 CS224V 的主線定成計算思維：不要期待一次提示解決可靠性，而要把檢索、形式表示、查核與生成拆成可測試的演算法。
第三講比較大量現代 LLM 後得到的不是一張最佳架構配方，而是一組保守共識：pre-norm、RMSNorm、無 bias、SwiGLU、RoPE，以及少數值得偏離預設的推論與穩定性設計。
第四講沿著兩種稀疏化拆解現代 LLM：linear/recurrent attention 減少序列維度成本，MoE 讓每個 token 只啟用部分參數；兩者都把理論省下的 FLOPs 換成 routing、平衡與通訊問題。
第十四講把 raw documents 經語言辨識、品質與安全 filtering、exact/near dedup、source mixing 送進訓練；每一步都會改變模型分布，而 synthetic instruction 與 agent trajectories 又把資料管線延伸到可執行環境。
第十三講沿著 Common Crawl、Wikipedia、GitHub、arXiv、書籍與歷代開放資料集追溯語料來源；抓得到不等於可合法使用，raw data 也不等於 training data，來源 provenance 必須先於清理與混合。
CS336 第一講不把「從零打造語言模型」理解成重做所有舊技術，而是先區分 mechanics、mindset 與 intuitions，再用 BPE 示範如何把原始位元組轉成可訓練的 token。
第二講把模型訓練還原成 tensor、FLOPs、bytes 與時間：用 einops 管維度，以 arithmetic intensity 和 roofline 判斷瓶頸，再用 gradient accumulation 與 activation checkpointing 交換運算和記憶體。
第九講從資料量與 error 的 log-log 線性關係出發，說明 scaling law 如何比較架構、optimizer、batch 與模型資料配置；Chinchilla 爭議也示範擬合方法、資料範圍與部署目標會改變答案。
第十一講從 MiniCPM、DeepSeek、Qwen 與 Llama 3 的公開 recipe 拆解 scaling 實務：先固定大多數架構比例，再用小規模 sweep 找 learning rate、batch 與 IsoFLOPs 配置；μP 有用，但會被 normalization、optimizer 與 weight decay 破壞。
Fireworks AI 把開放權重模型的試用、專用 GPU 部署與 LoRA 客製化放在同一套 API 後面；Serverless 適合低流量起步，On-demand 適合穩定高流量與自有模型，保留容量則換取企業級的容量保證。
LiteLLM 不是模型供應商，而是一套可當 Python SDK 或自架 Proxy 使用的統一介面：把 100+ 家 LLM API 轉成一致格式，並在 Gateway 層集中處理路由、fallback、虛擬金鑰、預算與觀測。
Promptfoo 用 YAML 把 prompts、providers、test cases 與 assertions 組成可在本機與 CI 重跑的 LLM 評估矩陣，並共用同一套 target 做 red team；它降低測試門檻，但隨機輸出、LLM judge 偏差與 hosted data flow 仍要另外治理。
第 17 章從 next-token loss 推到 Transformer、KV cache、MoE 與 SFT，說清楚 LLM 的訓練目標、架構與推論成本如何連在一起。
Together AI 把開放權重模型的 Serverless API、專屬 GPU 端點、批次推論與 Fine-tuning 放在同一平台，適合先按 token 驗證，再在流量或客製化需求成形後升級部署。
Vertex AI 不是只有 Gemini API，而是把 200+ 個模型的取用、訓練、評估、部署與治理放進同一個 Google Cloud 控制面；2026 年 4 月後，它的產品與後續藍圖已併入 Gemini Enterprise Agent Platform，但 Vertex AI API、文件路徑與既有資源名稱仍大量存在。
15–18 組教材把 NLP 模型放進感知、推理、工具與環境迴圈；核心問題從下一個 token，轉成如何分配推論計算並驗證多步行動。
CS288 用 18 組公開投影片與三份作業，從 n-gram 走到 RAG、reasoning 與 agents；錄影需 Berkeley 登入，所以這是一條教材型 A3 路線。
08–12 組教材把 base model 變成可互動系統：預訓練決定基礎能力，post-training 改變行為，generation 與 evaluation 決定輸出如何被使用與判讀。
13–14 組教材把模型接到外部知識；A3 要學生自行蒐集資料、標註 QA、建索引、做 ablation，並在 CPU 與延遲限制下交付 RAG。
Chroma 的對照實驗證明：就算塞得下，塞滿也會變差。於是各家 coding agent 發展出七種對策——壓縮、換手、剪枝、少載入、隔離、進模型、換單位。Amp 直接移除 /compact，Atlassian 說摘要該是最後手段，Cursor 的 A/B 測出 46.9% token 降幅。三場分歧的根源不是誰對，是各自在衡量不同的東西。
Crawl4AI 負責 URL 之後的抓取與抽取：穩定 DOM 先用 JsonCssExtractionStrategy，只有語意判讀或版面不規則時才切 LLMExtractionStrategy。
MIT 6.S191 的 2026 版已公開九講影片、投影片、三個 software labs 與解答，足以列為 A3 自學課；但官方執行路線需要 Google／Colab、Comet，以及 Lab 3 的 OpenRouter，校外讀者也拿不到 MIT 的學分、專案回饋與 API credit。
CS124 是 Stanford NLP 分支的第一門課，教科書是 Jurafsky 自己免費放在網路上的《Speech and Language Processing》，九個作業 repo 全部公開。但課程網站首頁掛著一行公告：2026–27 學年整年不開。而且那份課綱指定的章號，已經跟 2026 年 8 月版的教科書對不上了。
CS224N 把 2000 年以來每一屆的課程網站都留在線上。2019 冬季那版，Transformer 是第 14 堂的客座講題；2026 冬季那版，它是第 5 堂，之後每一堂都預設你已經懂它。機器翻譯作業整個消失了，第三份作業改成自己刻一個 decoder-only Transformer，附 pytest 可以在筆電上跑。
CS224V 的課名在 2026-2027 學年才從 Conversational Virtual Assistants 換成 Agentic AI，但底下的東西沒換：把自然語言翻成形式語意、用 SMT 與知識圖譜約束 agent，而不是拼框架。閱讀清單十一篇 Mandatory 裡，七篇出自授課者自己的實驗室。投影片全公開，課程網站卻明講它們是刻意殘缺的。
CS25 是 Stanford 的 1 學分 seminar，唯一作業是出席，全程對外開放。2026 春季第六季九場講座裡，最值得看的三場是 Albert Gu 談 SSM 與 Transformer 的歸納偏誤、Charles Frye 談上千張 GPU 的推論服務、Victoria Lin 談原生多模態還沒解決什麼。
CS336 的十七堂正課裡，只有九堂是可以執行的 Python 程式，另外八堂是 PDF 投影片——分界線剛好是兩位授課者。第一份作業的講義有八個「低資源提示」教你怎麼在筆電上做完，第二到第五份一個都沒有。課程頁自己列了 B200 的每小時單價，作業講義自己列了每題要幾個 B200 小時。
AI SDK v5 把一則 AI 訊息拆成 parts 陣列——text、reasoning、source-url、tool-* 各自是獨立片段。這個資料結構決定了現代 AI 對話介面怎麼寫：render 時 switch part.type，每種片段交給對應元件。這篇拆解 parts 模型的設計邏輯、useChat 的串流機制，以及它如何成為 AI Elements 這類元件庫的地基。
LLM Application Design 是 2025-2026 面試最熱的新題型。核心考點：RAG pipeline 的 chunking/retrieval/reranking 設計、agent 架構的 tool-use 與 planning loop、context window 管理策略、guardrails 與 safety 設計、以及 LLM 應用的評估方法。面試官特別看重你有沒有踩過坑。
LLM 面試的分水嶺是你有沒有實際用過這些東西。高頻考點：BPE tokenization 的邏輯與多語言問題、預訓練目標（CLM vs MLM）、fine-tuning 的三種層次（full/LoRA/prompt tuning）、RLHF 的流程與 failure mode、prompting 的工程實踐、LLM 評估的困難與現有方法。
CS329A 的軸心是 generation–verification gap：模型答得出來，卻認不出哪個對。但課程自己下的結論更值得記——目前這些方法讓模型變得更穩定，不是更聰明。錄影公開 9 支，只涵蓋 20 堂中的 9 堂。
Stanford CS 的骨架是 CS103、CS107、CS109、CS111、CS161；CS221 先修列出其中三門，另加 CS106B。本文依官方先修與編輯者建議順序排出主線，並標明公開教材與停開風險。
Google PMLE、AWS AIF-C01 與 AIP-C01、微軟 AI-103 與 AI-500、NVIDIA NCP-GENL 都考「怎麼讓 GenAI 應用又快又便宜又不掛」，但排起來是一道三階梯子：AIF-C01 問你知不知道成本隨 token 走，AIP-C01 與微軟兩張問你控不控得住，NCP-GENL 問你改不改得動模型與硬體。切入的高度差三層：NVIDIA 在 kernel 與量化層（Model Optimization 17% + GPU Acceleration 14% = 31%，全系列最重的單一成本延遲區塊），AWS 與微軟在應用層（快取三層、token 上限、chargeback），Google 在 MLOps 層（CPU/GPU/TPU 評估、資料平行 vs 模型平行、依吞吐量擴展服務後端）。交集是八根槓桿，但同一根在三個高度上是三種題目。本文刻意不帶任何價格與硬體規格數字——那是這個主題腐敗最快的部分。
純圖片理解已經打平：MMMU-Pro 上四家前沿模型全部過 80%，差距在 3 分內。真正分勝負的是影片、長文件 OCR、即時語音這幾條軸線，各有不同的領先者。但整理這些排名時最該學的一課，是兩份都算可信的來源對同一個 Video-MME 給出的榜首可以差超過 10 分，而且不是同一家。七月與八月又各換過一輪。
NCA-GENL 是職缺點名「NVIDIA Generative AI / LLM 相關認證」時最常指的那張。但官方 blueprint 的權重跟名字落差很大——Core Machine Learning and AI Knowledge 30%、Software Development 24%、Experimentation 22%、Data Analysis 14%、Trustworthy AI 10%，LLM 與 RAG 的內容散在條目層而不是自成一塊，spaCy、NumPy、Keras、cross validation 都在考。另一個要先知道的：NVIDIA 官方備考課程全部要付費（$30 到 $500），是本系列唯一沒有免費官方學習路徑的廠商。官方規格：$125、1 小時、50–60 題、效期兩年、僅英文、pass/fail 不給分數。
NCP-GENL 是 NVIDIA 的 LLM 專業級認證，$200、120 分鐘、60–70 題。它跟其他 GenAI 證照最大的差別在重心：Model Optimization 17% 加 GPU Acceleration 14% 合計 31%，考的是量化、蒸餾、剪枝、分散式平行與 CUDA profiling，不是接 API。兩個要先知道的：官方頁面的 Register 標著 Coming soon，還不能報名；而且同一頁的權重表有兩格描述文字是壞的——Fine-Tuning 那格寫的是 OpenUSD 的資料交換，Model Optimization 那格寫的是部署內容，兩處我都逐字驗過，正確描述在官方 PDF 裡。
Workers AI 目錄目前 84 個模型。通用對話選 glm-4.7-flash（$0.06 / $0.40 per M、131K context），要 vision 選 gemma-4-26b-a4b-it（$0.10 / $0.30、256K），極省成本選 granite-4.0-h-micro（$0.017 / $0.112），embedding 選 qwen3-embedding-0.6b 或 bge-m3（同為 $0.012 per M）。這篇會定期跟著官方目錄更新。
CS146S 第一週的講題是「用 200 行寫出 Claude Code」加上「解剖 production agent 的 system prompt」。agent loop 本身確實只有十幾行。課程投影片最後一頁列了四條 Claude 底下實際在做的事，其中一條是用 `<system-reminder>` 標籤在各處防止模型漂掉——這在官方文件裡找不到。
圍棋不能用監督式學習的第三個理由最有意思：ground truth 本身就沒有良好定義——最強的人類不是每天下出最好的棋，而他最好的棋也不是最優解。這一講的最後 20 分鐘把 RLHF 完整放回 RL 的框架：agent 是被微調的模型、action 是下一個 token、一個 episode 是一次完整生成，而且獎勵極度稀疏。
CS230 第一講是課程總覽，但 Andrew Ng 花最多時間講的是三件事：為什麼 scaling 有效、什麼時候 prompt 就不夠用了、以及他認為「不要學寫程式」是史上最糟的職涯建議之一。
Chroma 測了 18 個前沿模型，全部隨輸入變長而跳崖式退化。記憶失效多半是檢索失效偽裝的。而 KV cache 的真正成本是頻寬不是儲存——decoding 每產生一個 token 都要讀過整個 cache。
2025-11 三大實驗室聯手把先前提出的 12 種 prompt injection 防禦全部攻破。EchoLeak 的 payload 通過了微軟自己的專用分類器。所以目標不是擋住每次攻擊，是攻擊成功時活下來——而這只能在 harness 做。
workflow 與 agent 的分界是「步數由誰決定」——開發者在設計時決定是 workflow，模型在執行時決定是 agent。依這個定義，今天大多數上線的 LLM 系統其實是 workflow。附 agent / RAG / MCP 的可操作判準。
MCP 管 agent ↔ 工具，A2A 管 agent ↔ agent，Skills 管可重複使用的知識。判準是資料會不會變：呼叫之間會變就要 MCP，穩定到可以寫下來就用 skill 檔案——後者不需要一個會獨立失敗的 runtime。
Microsoft、OpenAI、Salesforce、Stripe 等七個獨立案例講出同一句話：可靠性來自模型周圍的工程。而「把確定性的部分還給程式碼」已經被四家公司各自做成產品——Agent Script、Procedures、runtime、blueprints。
Firecrawl 開源的 Rust 轉檔函式庫，14 種辦公格式（含 .doc / .ppt / .xls 老格式）統一轉 GFM，中位耗時 4.7ms，同樣計時條件下比 Docling 快 109 倍。代價是完全不碰 OCR。
把文件餵給 LLM 之前，最常見的錯誤不是選錯工具，是選錯層。結構已經在檔案裡的用轉換層（毫秒級），有文字沒結構的用抽取層，連文字都要推斷的才用解析層——anydoc 的 4.7ms 到 Docling 的 513.6ms 差 109 倍，多數人卻直接跳最貴的那層。
AI 教育界被引用最多的那篇 meta-analysis（g = 0.867、瀏覽近 50 萬次）已於 2026 年 4 月被 Nature 撤稿。但正向結論沒被推翻——問題是它測的是「AI 在手時的表現」。Bastani 的 PNAS RCT 測了另一件事：練習時用 GPT-4 正確率 +48%，收走後考試比從沒用過的低 17%。
從 MarkItDown (175k stars, MIT) 到 curl_cffi (6k stars)，整理 34 個「爬資料餵 AI」的開源工具。沿五條軸線分類：整站爬取、AI 瀏覽器代理、文件轉檔、智慧擷取、反偵測基建。選型關鍵不是哪個最好，是場景匹配。
從 CLI 工具 kin3o 到 CVPR 2026 論文 OmniLottie，盤點把文字和圖片轉成 Lottie 動畫的開源路徑，附效能基準與選型建議。
MUSE-Autoskill（2026）提出五階段 skill 生命週期框架，自創 skill 在 SkillsBench 達 60.35%（+7.16%），成功生成 skill 的任務上更達 87.94%，超越人工撰寫上限。本文整合六篇 arXiv 論文，梳理 skill evolution 研究全景。
即使 temperature=0，LLM 輸出實測仍可能抖動 15%。要嚴謹比較 agent 調整前後，得靠凍結 golden set、每題跑 ≥3 次取平均、LLM-as-judge 盲評（pairwise 偏好翻轉率高達 35%）與配對統計檢定，而不是前後各問一遍看感覺。
業界已收斂到用 OpenTelemetry GenAI 語義約定把每個 LLM call / tool call 變成 span；偵測三大故障再分三條線：faithfulness + semantic entropy 抓幻覺、framework 層 symbolic guardrail 擋 tool misuse、max steps + action hash 去重防無限迴圈，最後全部掛上 Final / Trajectory / Single-step 三層評估。
資源受限下的 agent 決策是 bounded rationality 的復活：Rational Metareasoning 用 VOC 獎勵省 20–37% token、BATS 證明沒有 budget awareness 加預算也沒用、FrugalGPT cascade 最高省 98% 成本、Speculative Actions 降 20% 延遲。三約束最後收斂成一條 Pareto 曲線，主線是「從人手調旋鈕走向模型自己做資源理性決策」。
三個聽起來不同的 agent 安全問題——tool output 注入、信任邊界、惡意 agent——根是同一個：LLM 把指令與資料攤平成同一條 token 串流，架構上無法區分。理解這條主線，就能看懂從 EchoLeak（CVE-2025-32711，zero-click）到 Morris II AI 蠕蟲的所有攻擊，以及為什麼「把模型調乖」沒用、只有架構約束（六大設計模式、CaMeL）有用。
傳統 RAG 是固定管線「先查再答」；Agentic RAG 把檢索拆成三層決策：何時檢索（FLARE 用 token 機率、Adaptive-RAG 用複雜度分類器）、檢索什麼（HyDE / RAG-Fusion / 分解 / Step-back）、如何整合（RRF k=60 → cross-encoder rerank → 壓縮，Anthropic 實測失敗率 −67%）。關鍵反直覺：不必要的檢索會傷品質，「決定不查」是一級能力。
自動 prompt 優化（APO）從 APE/OPRO 演進到 GEPA：用語言反思取代稀疏 reward，少 4–35 倍 rollouts 贏過 GRPO 約 6pp。另一邊，tool description 是被忽略的 prompt——小改措辭能讓工具選用率變 10 倍，Anthropic 實測讓 Claude 自我改寫 tool description 勝過人類專家手寫。兩條線正在合流：eval-driven 的自動優化吃掉手工調 prompt。
自主研究 agent = 四個可控環節：規劃（拆子問題）、檢索迴圈（search→read→反思 gap→再 search）、證據仲裁（≥2 獨立來源、衝突分型處理）、可驗證輸出（句級引用 + 獨立查核 pass）。兩條路線：訓練派用 RL 端到端學會何時搜（Search-R1 +41%），編排派用 orchestrator-worker 分工（Anthropic 內部評測 +90.2%，代價 ~15× token）。
從觀察行為反推他者的信念/目標/意圖，學界叫 Machine Theory of Mind。三條血脈：符號 BDI、貝氏逆向規劃、深度學習 ToMnet。LLM 時代最大爭議是 ToMBench 上 GPT-4 仍落後人類 >10 分——高分到底是真推理還是統計捷徑。
每步 99% 準確率、跑 100 步，無錯完成率只剩 36%——錯誤複利是結構問題，不是 prompt 能調掉的。分散式系統的 supervisor tree、bulkhead、circuit breaker、saga、durable execution 幾乎可一對一搬進 agent 編排；但 LLM 多了一種傳統系統沒有的故障——不會 crash 的語意錯誤，得靠 Inspector agent（recover 96.4%）與冗餘投票（MAKER 百萬步零錯誤）補上。
Cosine similarity 和 relevance 在一整類情境系統性背離：否定詞（NevIR 上多數 IR 模型 ≤ 隨機）、精確識別碼、數值門檻、邏輯組合（SoTA 模型在 LIMIT 上 recall@100 < 20）——其中一部分是單向量範式的理論上限，換大模型無解。補救順序：hybrid BM25 → reranker（Anthropic 實測 −67%）→ 上游 metadata 路由 → 領域微調 / multi-vector。
工具一多，選擇準確率不是緩降是崩塌：4→51 個工具從 43% 掉到 2%、10→100+ 個從 78% 掉到 13.62%。根治解法是別一次塞全部——Anthropic Tool Search Tool 用 defer loading + 檢索砍 85% token，Opus 4.5 準確率 79.5%→88.1%。description 品質的效益是條件式的：簡單場景沒差，多工具串接場景 correctness 44%→50%。
繁中 RAG 檢索失敗是三層疊加：embedding 的粒度缺陷（BGE/GTE 從 0.1B 到 7B 都在「炸鸡」這種簡單 query 上排錯）、簡中/英文語料主導造成的在地詞彙偏移（保費、不保事項對齊不可靠）、MTEB 中文榜是簡體導致選型訊號失真。修復是架構性的：OpenCC 正規化 → hybrid + jieba 斷詞 → reranker → 最後才是在地微調——而且一切前提是先建繁中專屬 eval set。
arXiv 不做 peer review，約 2% 投稿被拒。判斷品質靠外部訊號：頂會收錄 > 機構 + 開源復現 > 引用品質。附 20 項實戰 checklist 和 2026 年工具箱（PWC 已關閉）。
LLM agent 的難點不是把 function calling、skill、code interpreter、文件工具各自做出來，而是把它們組成一個會選工具、會寫程式、會拆任務、會驗證結果、又不會被 prompt injection 打穿的系統。這篇把代表論文整理成六個工程決策：function calling 可靠度、tool/skill selection、code-as-action、多步 planning、skill 系統、安全與文件生成。
讀論文是兩個問題疊在一起:方法論(Keshav 三遍閱讀法,5-10 分/1 小時/4-5 小時)決定怎麼讀,工具(arXiv HTML、alphaXiv、NotebookLM、Connected Papers、Zotero)負責縮短每一遍的時間。AI 負責降低理解門檻,判斷對錯永遠留給人。
把 tool description 從軟建議改成硬規則（白名單 + 後果說明），LLM 亂選 tool 的問題消失了；另外加 skip_signal=True 修掉 vector store 雙重 indexing。
個人專案、玩具 demo、做 RAG 原型，不想第一步就掏卡。整理 2026/05 還在運作的 40+ 家 LLM inference 服務商，按免費資源「是持續補充還是一次性」分梯，標註綁卡需求、模型清單、付費起價，數字全部從官方 pricing 頁驗證。中國原廠含智谱 GLM（永久免費）、豆包（每日 200 萬 tokens）、Kimi、百煉、Ollama 本地跑法一併收錄。
PageIndex 不切 chunk、不做 embedding、不存向量，靠 LLM 推理一份 LLM 自己寫的目錄樹，在 FinanceBench 上由開發方自評拿到 98.7%。它解的不是向量 RAG 的同一個問題——是『在一份結構清楚的厚文件裡找對的那一節』。
Groq Console 是 Groq 自家 LPU 晶片的開發者入口，提供 OpenAI 相容 API、Playground、免費額度，主打把 Llama、Qwen、DeepSeek 等開源模型跑出市面上最快的 token/秒。
在 Cloudflare Workers AI 上跑繁中 LLM，Gemma 系列的指令跟隨比同級 Llama 穩定。gemma-3-12b-it 已於 2026-05-30 標為 deprecated，現在的對應選項是 gemma-4-26b-a4b-it：256K context、Vision、Function calling，$0.10 / $0.30 per M tokens。
AEO/GEO 工具不是單一類別，而是三個面向：輸入面（網站有沒有準備好給 AI 讀）、流量面（AI bot 實際爬了多少）、輸出面（品牌在答案裡怎麼被提到）。這篇把三面向、從開源自架到商業 SaaS 的工具一次攤開。
Encyclopedia of Agentic Coding Patterns 收錄 190 個 pattern，幫你在 AI 代寫程式的時代做出正確的軟體決策——而這本書本身就是由 AI agent 自主撰寫和維護的。
Microsoft 開源的輕量工具，把 PDF、Office、圖片、音訊等格式統一轉成 Markdown，專門為 LLM pipeline 設計。
Autoreason 用競爭式多版本評估（A/B/AB + 盲測 Borda count）取代傳統的「批評→改寫」迴圈，解決 LLM 自我修正中的提示偏差、範疇蔓延和缺乏克制三大問題。
比較 NVIDIA DGX Spark、Apple Mac Studio M4 Ultra、ASUS Ascent GX10、MSI AI Edge 等個人 AI 工作站，幫你找到適合的本地推論硬體。
NVIDIA DGX Spark 搭載 GB10 Grace Blackwell Superchip，128GB 統一記憶體，提供 1 petaFLOP FP4 算力，售價約 $3,999 美元起。適合開發者在本地跑 200B 參數模型、fine-tune 70B 模型，是目前最容易入手的 NVIDIA AI 開發平台。
2026 Q1 開源模型全面爆發：LLM 方面 GLM-5、Kimi K2.5、Qwen3.5 追上閉源；Embedding 和 Reranker 由 Qwen3 和 BGE 主導；語音有 Voxtral TTS 和 Whisper V3；圖像有 FLUX.2；影片有 Wan 2.2 追平 Sora。這篇是完整導覽地圖。
OpenClaw 的容錯是兩階段：先在同一供應商內輪替 auth profile，再換模型。但真正決定行為的是「這個模型是誰選的」——你手動用 /model 選的模型是嚴格的，失敗就報錯，不會偷偷用別的模型回答你。
OpenClaw 對模型的硬需求是 tool use 加夠大的 context——onboarding 自動推薦本地模型的門檻是支援 tool 且 context 至少 16K。但更容易搞混的是 provider、model、agent runtime 其實是三層，`openai/*` 不等於走 Codex。
Langfuse 是目前最成熟的開源 LLM Observability 平台。這篇從 Tracing、Prompt 管理、評估、Dataset 四個核心功能切入，帶你搞清楚它在實際專案中怎麼用。
AI Agent 不是黑盒子——它由三層構成：知道什麼（Context）、怎麼想（Cognition）、能做什麼（Action）。搞清楚這三層，才能理解 agent 為什麼有時聰明、有時失控，以及怎麼設計一個真正好用的 agent 系統。
Ollama 把 llama.cpp 包裝成 Docker 風格的 CLI + REST API，一行指令就能在本地跑 LLM。這篇從核心概念、安裝、API、硬體需求到 Modelfile 自訂，完整介紹這個工具適合什麼、不適合什麼。
好的 Prompt 不是一次寫出來的，而是迭代出來的。從最簡單的 prompt 開始，用真實 case 測試，分類錯誤類型，針對性修改。本文涵蓋 System Prompt 三段式結構、推理框架選擇、Few-shot 最佳化、Token 預算管理和六個常見錯誤。
不是所有問題都需要 RAG。用 LLM 先分類查詢類型，再決定執行路徑，節省成本又提升準確度。
RAG 系統面對的攻擊不只是技術層面的，Prompt Injection 和 Jailbreak 是真實威脅。輸入輸出都需要獨立的防護層。
搜尋找到了正確的文件，但 LLM 的回答還是不好——很多時候問題在 Prompt 設計。System prompt 結構、context 排版、指令語言都會影響輸出品質。
RAG 和 Fine-tuning 解決的是不同問題。RAG 給模型新知識，Fine-tuning 改變模型的行為風格。大多數情況是兩者都用，而不是選一個。
用 Cloudflare Workers AI（gemma-3-12b-it + bge-m3）打造可動態組裝的 RAG pipeline，14 個基礎 step + 6 個 LangGraph 專屬節點，三種策略圖（Baseline / Agentic / Plan-Execute）動態切換。