Xinference：一個平台管 LLM、Embedding、語音與圖像模型的自架推論伺服器
Xinference 把 vLLM、SGLang、llama.cpp、Transformers、MLX 五種後端包在同一個管理層，用 Web UI 和 OpenAI 相容 API 統一管理 LLM、embedding、rerank、語音和圖像模型，適合需要多類型模型共存的自架部署；但管理層的解析邏輯也讓攻擊面比純 serving engine 大（CVE-2026-61539 是案例）。
#model-serving
5 篇文章Fireworks AI：從 Serverless API 到客製模型部署的推論平台
Fireworks AI 把開放權重模型的試用、專用 GPU 部署與 LoRA 客製化放在同一套 API 後面；Serverless 適合低流量起步，On-demand 適合穩定高流量與自有模型，保留容量則換取企業級的容量保證。
NVIDIA Triton Inference Server：多框架模型、自動批次與推論管線
Triton Inference Server 用統一的 HTTP／gRPC 介面服務 TensorRT、ONNX、PyTorch 等模型，核心能力是 model repository、動態批次、instance group 與 ensemble；它適合異質模型平台，不是專為 LLM KV cache 打造的引擎。
Stanford CS25 V6：叫 Transformers United 的課，前兩場講的都不是 Transformer
CS25 是 Stanford 的 1 學分 seminar，唯一作業是出席，全程對外開放。2026 春季第六季九場講座裡，最值得看的三場是 Albert Gu 談 SSM 與 Transformer 的歸納偏誤、Charles Frye 談上千張 GPU 的推論服務、Victoria Lin 談原生多模態還沒解決什麼。
vLLM — 從 PagedAttention 到生產級 LLM 推論引擎
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。