開源 LLM 自架指南：框架怎麼選、硬體怎麼算、什麼時候比 API 划算
2026 年開源模型在 coding benchmark 追平閉源，但自架不只是選模型——vLLM 適合高併發生產服務、SGLang 在前綴重用場景快 29%、Ollama 是本地開發首選、llama.cpp 吃最少資源。A100 雲端租金約 $1.4-2.2/hr，自架損益兩平點大約在每月 100M tokens。
#quantization
6 篇文章量化與推論最佳化：讓 70B 模型跑在你的筆電上
70B 模型原本需要 140GB VRAM，但量化到 4-bit 只需要 ~35GB，再用 llama.cpp 的部分卸載就能在消費級硬體上跑。GGUF 格式的命名規則（Q4_K_M、Q5_K_S）告訴你精度和大小的取捨。KV cache 是長對話變慢的主因。
CS336 Lecture 10：LLM 推論的核心不是少算，而是少讀權重與 KV cache
第十講把 prefill 與 decode 分開：前者能平行、常受算力限制，後者逐 token 且常受記憶體頻寬限制；GQA/MLA、量化、speculative decoding、continuous batching 與 PagedAttention 都在改寫這條成本。
llama.cpp — 從純 C++ 到消費級硬體上的 LLM 推論引擎
llama.cpp 是目前最廣泛使用的本地 LLM 推論引擎，用純 C/C++ 實作，支援 CPU、Metal、CUDA、Vulkan 等多後端，搭配 GGUF 量化格式讓消費級硬體能跑數十億參數的模型。
TurboQuant+ — 用兩階段量化把 KV Cache 壓到 2-bit，讓 MacBook 跑 100B 模型
TurboQuant+ 是 Google Research ICLR 2026 論文的開源實作，用 PolarQuant + QJL 兩階段量化壓縮 KV cache 達 3.8-6.4x，讓消費級硬體跑更大模型和更長上下文。
能在手機上跑的小模型：2026 年的選擇與限制
2026 年行動端 LLM 主力是 Gemma 3n、Qwen 3.5 Small、Llama 3.2、Phi-4-mini、Ministral 3 和 SmolLM3。3B 以下量化模型在 8GB RAM 手機上能跑到 30–50 tokens/sec，但 RAM、散熱和 context window 仍是硬限制。