量化與推論最佳化：讓 70B 模型跑在你的筆電上
70B 模型原本需要 140GB VRAM，但量化到 4-bit 只需要 ~35GB，再用 llama.cpp 的部分卸載就能在消費級硬體上跑。GGUF 格式的命名規則（Q4_K_M、Q5_K_S）告訴你精度和大小的取捨。KV cache 是長對話變慢的主因。
#gguf
3 篇文章Unsloth 完整指南：在本地微調和運行 LLM 的加速工具
Unsloth 是目前最省 VRAM、最快的本地 LLM 微調工具，訓練速度快 2 倍、VRAM 省 70%。2026 年加入 Desktop 桌面應用後，整合了推論、微調、圖片影片生成、web search 和 agent 連接，從微調庫變成完整的本地 AI 工作站。
llama.cpp — 從純 C++ 到消費級硬體上的 LLM 推論引擎
llama.cpp 是目前最廣泛使用的本地 LLM 推論引擎，用純 C/C++ 實作，支援 CPU、Metal、CUDA、Vulkan 等多後端，搭配 GGUF 量化格式讓消費級硬體能跑數十億參數的模型。