**thedotmack/claude-mem**(⭐110k)是給 agent 用的常駐記憶壓縮系統,今天把相容清單擴大到 Grok Bot／T3 Code／Antigravity CLI／OMP／Pi／DeepSeek Harness,幾乎吃下市面上叫得出名字的 coding agent；**max-sixty/worktrunk**(⭐9.9k)用 Rust 把 git worktree 操作簡化成三個指令,解決平行跑多個 agent 時『開一個新工作目錄要打三次分支名』的麻煩；**db-lyon/ue-mcp**(⭐466)把整個 Unreal Editor 暴露成 MCP 工具,2114+ 個動作裡 830 個直接呼叫 Epic 官方原生 AI Toolset；**FlashML-org/FreeToken**(⭐16k)是 edge-native 的 MoE 推理引擎,想讓 290B+ 參數的前沿開放權重模型在一般遊戲電腦上跑出互動速度。今天沒有重要框架 release。
Mac 沒有 NVIDIA 卡跑不了 vLLM，Colab 免費 T4（compute capability 7.5，剛好達 vLLM 最低門檻）可以。用 vllm serve 把 0.6B 的 Qwen3 開成 OpenAI 相容 API，再同時打 8 個請求、看 /metrics，就能親眼看到 continuous batching。
11-868 用兩講回答同一個問題：一台推論伺服器怎麼同時服務大量請求，又不浪費 GPU 上的 KV cache。第 22 講（Lei Li）從 SGLang 的排程迴圈講起：ORCA 的 continuous batching、用 radix tree 管 KV 的 RadixAttention、依前綴命中率排序與分流、把 CPU 排程藏到 GPU 計算後面。第 24 講由 vLLM 作者 Woosuk Kwon 主講：PagedAttention 把 KV cache 切成固定大小的 block，用 block table 做虛擬化，讓同一張 A100 的 batch 從 8 撐到 40；後半講 vLLM 怎麼壓 CPU overhead、用 piecewise CUDA graph、切模型平行與管理混合架構的記憶體。
11-868 最後一組講義有五份：DistServe 的 Hao Zhang、NVIDIA Dynamo 的 Vikram Mailthody、LMCache 的 Junchen Jiang、Mooncake／KTransformers 的 Mingxing Zhang，加上 Lei Li 的框架地圖。它們回答同一個問題：服務規模從一台機器擴到一座資料中心之後，算力和 KV cache 要放在哪裡。主線有三步：量尺從 throughput 換成符合 SLO 的 goodput；prefill 與 decode 拆到不同 GPU；KV cache 從 GPU 記憶體擴張到 CPU、SSD 與遠端儲存。
第 13 講把 LLM 推論變快的方法分成三條路。量化：SmoothQuant 把 activation 的離群值難度搬到權重做 W8A8，AWQ 依 activation 找出約 1% 的重要權重、用縮放保護它們做 W4A16，QServe 再合成 W4A8KV4。稀疏：Wanda 用 |W|·‖X‖ 剪權重，DejaVu 與 MoE 每個 token 只用一部分參數，SpAtten 與 H2O 丟掉不重要的 token。Serving：TTFT／TPOT 指標、PagedAttention、FlashAttention、speculative decoding 與 continuous batching。投影片上 OPT-6.7B 做 INT3 時，RTN 的 perplexity 是 43.16，把重要 channel 放大 2 倍就降到 14.07。
learn-inference.com 是 Philip Kiely《Inference Engineering》（256 頁，Baseten 出版，可免費下載 PDF）的非官方互動版：照原書 8 章、42 節重寫解說，把 TTFT、P99、speculative decoding、prefix cache 路由這類靠直覺的概念做成可以拖滑桿的模擬器，另外附免金鑰的 JSON API 與 MCP server。
Xinference 把 vLLM、SGLang、llama.cpp、Transformers、MLX 五種後端包在同一個管理層，用 Web UI 和 OpenAI 相容 API 統一管理 LLM、embedding、rerank、語音和圖像模型，適合需要多類型模型共存的自架部署；但管理層的解析邏輯也讓攻擊面比純 serving engine 大（CVE-2026-61539 是案例）。
Fireworks AI 把開放權重模型的試用、專用 GPU 部署與 LoRA 客製化放在同一套 API 後面；Serverless 適合低流量起步，On-demand 適合穩定高流量與自有模型，保留容量則換取企業級的容量保證。
Triton Inference Server 用統一的 HTTP／gRPC 介面服務 TensorRT、ONNX、PyTorch 等模型，核心能力是 model repository、動態批次、instance group 與 ensemble；它適合異質模型平台，不是專為 LLM KV cache 打造的引擎。
CS25 是 Stanford 的 1 學分 seminar，唯一作業是出席，全程對外開放。2026 春季第六季九場講座裡，最值得看的三場是 Albert Gu 談 SSM 與 Transformer 的歸納偏誤、Charles Frye 談上千張 GPU 的推論服務、Victoria Lin 談原生多模態還沒解決什麼。
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。