#sglang

6 篇文章

ai guide 認識 AI 模型 2026年8月26日

開源 LLM 自架指南：框架怎麼選、硬體怎麼算、什麼時候比 API 划算

2026 年開源模型在 coding benchmark 追平閉源，但自架不只是選模型——vLLM 適合高併發生產服務、SGLang 在前綴重用場景快 29%、Ollama 是本地開發首選、llama.cpp 吃最少資源。A100 雲端租金約 $1.4-2.2/hr，自架損益兩平點大約在每月 100M tokens。

#self-hosting #vllm #sglang #ollama #llama-cpp #gpu #quantization #llm-inference

tech guide 自架推論服務 2026年8月25日

自架推論服務導讀：什麼時候值得自己跑模型

自架推論的關鍵不在引擎多快，而在你的 GPU 使用率：一張打滿的 A100 約 $0.70 / 百萬輸出 token，使用率掉到一成就變 $7，比多數雲端 API 貴。這篇是系列導讀，把七套工具分成三層，幫你判斷該選哪一層。

#self-hosted #llm-inference #vllm #sglang #tensorrt-llm #triton #ray-serve #gpu

tech guide AI 時代的技術選擇 2026年8月24日

自架推論伺服器怎麼選：從 Ollama 到 Xinference，六套工具的定位與取捨

自架推論伺服器分三層：執行引擎（llama.cpp）、服務引擎（vLLM、SGLang）、模型管理平台（Ollama、Xinference、Triton）。選對層級比選對工具重要——先問你的瓶頸在排程還是在部署流程，再決定複雜度放在哪裡。

#llm-inference #self-hosting #vllm #sglang #ollama #xinference #triton-inference-server #ray-serve #gpu

tech deep-dive AI 時代的技術選擇 2026年8月24日

Xinference：一個平台管 LLM、Embedding、語音與圖像模型的自架推論伺服器

Xinference 把 vLLM、SGLang、llama.cpp、Transformers、MLX 五種後端包在同一個管理層，用 Web UI 和 OpenAI 相容 API 統一管理 LLM、embedding、rerank、語音和圖像模型，適合需要多類型模型共存的自架部署；但管理層的解析邏輯也讓攻擊面比純 serving engine 大（CVE-2026-61539 是案例）。

#xinference #llm-inference #self-hosting #vllm #sglang #model-serving #gpu #openai-api

tech deep-dive 自架推論服務 2026年8月22日