#llm-inference

12 篇文章

ai guide 認識 AI 模型 2026年8月26日

開源 LLM 自架指南：框架怎麼選、硬體怎麼算、什麼時候比 API 划算

2026 年開源模型在 coding benchmark 追平閉源，但自架不只是選模型——vLLM 適合高併發生產服務、SGLang 在前綴重用場景快 29%、Ollama 是本地開發首選、llama.cpp 吃最少資源。A100 雲端租金約 $1.4-2.2/hr，自架損益兩平點大約在每月 100M tokens。

#self-hosting #vllm #sglang #ollama #llama-cpp #gpu #quantization #llm-inference

tech guide 自架推論服務 2026年8月25日

自架推論服務導讀：什麼時候值得自己跑模型

自架推論的關鍵不在引擎多快，而在你的 GPU 使用率：一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7，比多數雲端 API 貴。這篇是系列導讀，把七套工具分成三層，幫你判斷該選哪一層。

#self-hosted #llm-inference #vllm #sglang #tensorrt-llm #triton #ray-serve #gpu

tech deep-dive 自架推論服務 2026年8月25日

TensorRT-LLM：編譯換效能的 NVIDIA 專用 LLM 推論引擎

TensorRT-LLM 是 NVIDIA 的開源 LLM 推論庫（Apache 2.0），用離線編譯把模型權重與計算圖轉成最佳化的 TensorRT engine，再用自訂 CUDA kernel、in-flight batching 與多種平行化壓出硬體極限。代價是只支援 NVIDIA GPU、編譯要數十分鐘、換模型或量化就要重新 build。

#tensorrt-llm #nvidia #llm-inference #gpu #self-hosted #cuda

tech guide AI 時代的技術選擇 2026年8月24日

自架推論伺服器怎麼選：從 Ollama 到 Xinference，六套工具的定位與取捨

自架推論伺服器分三層：執行引擎（llama.cpp）、服務引擎（vLLM、SGLang）、模型管理平台（Ollama、Xinference、Triton）。選對層級比選對工具重要——先問你的瓶頸在排程還是在部署流程，再決定複雜度放在哪裡。

#llm-inference #self-hosting #vllm #sglang #ollama #xinference #triton-inference-server #ray-serve #gpu

tech deep-dive AI 時代的技術選擇 2026年8月24日

Xinference：一個平台管 LLM、Embedding、語音與圖像模型的自架推論伺服器

Xinference 把 vLLM、SGLang、llama.cpp、Transformers、MLX 五種後端包在同一個管理層，用 Web UI 和 OpenAI 相容 API 統一管理 LLM、embedding、rerank、語音和圖像模型，適合需要多類型模型共存的自架部署；但管理層的解析邏輯也讓攻擊面比純 serving engine 大（CVE-2026-61539 是案例）。

#xinference #llm-inference #self-hosting #vllm #sglang #model-serving #gpu #openai-api

ai deep-dive Stanford CS336 導讀 2026年8月22日

CS336 Lecture 10：LLM 推論的核心不是少算，而是少讀權重與 KV cache

第十講把 prefill 與 decode 分開：前者能平行、常受算力限制，後者逐 token 且常受記憶體頻寬限制；GQA/MLA、量化、speculative decoding、continuous batching 與 PagedAttention 都在改寫這條成本。

#cs336 #llm-inference #kv-cache #quantization #vllm

ai deep-dive 2026年8月22日

OpenRouter：一把 API Key 串起多模型與多供應商的 LLM 路由層

OpenRouter 用 OpenAI 相容 API 統一多家模型與推論端點，並把供應商排序、故障切換、BYOK 與零資料保留政策放進同一套路由規則。

#openrouter #llm-routing #llm-inference #openai-compatible #api-gateway

ai deep-dive 2026年8月22日

Sail Research：用延遲換成本的 Long-Horizon Agent 推論平台

Sail Research 讓每個推論 request 宣告 completion window，把可等待的背景 Agent 排到較便宜的運算資源；並以 Sailboxes 補上長時間執行環境。

#sail-research #llm-inference #ai-agent #long-horizon-agent #open-models #agent-infrastructure

ai deep-dive 自架推論服務 2026年8月21日

vLLM：自架推論服務的預設選擇，以及它什麼時候是過度工程

vLLM 是自架 LLM 推論的事實標準（GitHub 89,470 stars，2026-08-21 實查），核心是把 KV cache 當作業系統的分頁來管。但選型的關鍵不在它多快，在你的 GPU 使用率：以 Red Hat 實測的每秒 793 個輸出 token 換算，一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7——比多數雲端 API 貴。

#vllm #llm-inference #self-hosting #gpu #pagedattention #cost

ai guide 2026年4月1日