vLLM：自架推論服務的預設選擇，以及它什麼時候是過度工程
vLLM 是自架 LLM 推論的事實標準（GitHub 89,470 stars，2026-08-21 實查），核心是把 KV cache 當作業系統的分頁來管。但選型的關鍵不在它多快，在你的 GPU 使用率：以 Red Hat 實測的每秒 793 個輸出 token 換算，一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7——比多數雲端 API 貴。
#pagedattention
2 篇文章vLLM — 從 PagedAttention 到生產級 LLM 推論引擎
vLLM 用 PagedAttention 解決 KV cache 記憶體浪費問題，搭配 continuous batching 和 prefix caching，成為目前最主流的開源 LLM 推論引擎。