自架推論服務導讀：什麼時候值得自己跑模型
自架推論的關鍵不在引擎多快，而在你的 GPU 使用率：一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7，比多數雲端 API 貴。這篇是系列導讀，把七套工具分成三層，幫你判斷該選哪一層。
9 篇文章
自架推論服務
自己架推論服務要考慮的取捨：硬體、模型 serving 框架、成本與維運，對照直接呼叫雲端 API 的分界點。
系列導讀
vLLM — 從 PagedAttention 到生產級 LLM 推論引擎
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。
vLLM：自架推論服務的預設選擇，以及它什麼時候是過度工程
vLLM 是自架 LLM 推論的事實標準（GitHub 89,470 stars，2026-08-21 實查），核心是把 KV cache 當作業系統的分頁來管。但選型的關鍵不在它多快，在你的 GPU 使用率：以 Red Hat 實測的每秒 793 個輸出 token 換算，一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7——比多數雲端 API 貴。
SGLang 自架推論服務：RadixAttention、OpenAI API 與多 GPU 部署
SGLang 是專攻生成式模型的推論引擎：用 RadixAttention 重用共同前綴的 KV cache，提供 OpenAI 相容 API、結構化輸出與多 GPU 平行化；它解決的是高吞吐 LLM serving，不是完整的產品後端。
NVIDIA Triton Inference Server：多框架模型、自動批次與推論管線
Triton Inference Server 用統一的 HTTP／gRPC 介面服務 TensorRT、ONNX、PyTorch 等模型，核心能力是 model repository、動態批次、instance group 與 ensemble；它適合異質模型平台，不是專為 LLM KV cache 打造的引擎。
Ray Serve 自架推論服務：Python 服務圖、GPU 排程與自動擴縮
Ray Serve 是建立在 Ray 上的分散式 serving layer：用 deployment 與 handle 組合 Python 服務圖，配置 CPU／GPU replica、自動擴縮與模型多工；它負責編排，不取代 vLLM 或 SGLang 的 LLM 執行引擎。
TGI：HuggingFace 的 LLM 推論伺服器，以及它為什麼進入維護模式
Text Generation Inference（TGI）是 HuggingFace 自家的 LLM 推論伺服器，用 Rust + Python 實作，率先在開源推論引擎裡引入 continuous batching 與 Flash Attention。2026 年 3 月 GitHub 倉庫歸檔進入維護模式，官方建議遷移到 vLLM 或 SGLang。了解 TGI 仍然重要：它定義了後繼引擎的架構基線，而且許多 HuggingFace Inference Endpoint 上的既有服務仍在跑它。
TensorRT-LLM：編譯換效能的 NVIDIA 專用 LLM 推論引擎
TensorRT-LLM 是 NVIDIA 的開源 LLM 推論庫（Apache 2.0），用離線編譯把模型權重與計算圖轉成最佳化的 TensorRT engine，再用自訂 CUDA kernel、in-flight batching 與多種平行化壓出硬體極限。代價是只支援 NVIDIA GPU、編譯要數十分鐘、換模型或量化就要重新 build。
在 Google Colab 免費 T4 上試跑 vLLM：十五分鐘看懂推論引擎在做什麼
Mac 沒有 NVIDIA 卡跑不了 vLLM，Colab 免費 T4（compute capability 7.5，剛好達 vLLM 最低門檻）可以。用 vllm serve 把 0.6B 的 Qwen3 開成 OpenAI 相容 API，再同時打 8 個請求、看 /metrics，就能親眼看到 continuous batching。