Apple 讓 App Store Small Business Program 開發者免費使用跑在 Private Cloud Compute 上的 AFM 3 模型，門檻是首次下載數低於 200 萬次。AFM 3 家族共五個模型，裝置端的 AFM 3 Core Advanced 用 200 億參數稀疏架構只啟動 1–4B，雲端最強的 AFM 3 Cloud Pro 跑在 Google Cloud NVIDIA GPU 上，用 Gemini 輸出做蒸餾式精煉。
Apple Foundation Models（AFM）是 Apple 自研的封閉生態 AI 家族，三代演進從 2024 年的 3B dense + LoRA adapter，到 2026 年的五個模型。AFM 3 Core Advanced 用 IFP 稀疏架構把 20B 跑在手機上（只啟動 1–4B），雲端最強的 Cloud Pro 跑在 Google Cloud NVIDIA GPU、用 Gemini 蒸餾精煉。沒有公開 API 定價，沒有第三方 benchmark，只透過 Foundation Models framework 給 iOS/macOS 開發者使用。
llama.cpp 是目前最廣泛使用的本地 LLM 推論引擎，用純 C/C++ 實作，支援 CPU、Metal、CUDA、Vulkan 等多後端，搭配 GGUF 量化格式讓消費級硬體能跑數十億參數的模型。
TurboQuant+ 是 Google Research ICLR 2026 論文的開源實作，用 PolarQuant + QJL 兩階段量化壓縮 KV cache 達 3.8-6.4x，讓消費級硬體跑更大模型和更長上下文。