開源 LLM 自架指南：框架怎麼選、硬體怎麼算、什麼時候比 API 划算
2026 年開源模型在 coding benchmark 追平閉源，但自架不只是選模型——vLLM 適合高併發生產服務、SGLang 在前綴重用場景快 29%、Ollama 是本地開發首選、llama.cpp 吃最少資源。A100 雲端租金約 $1.4-2.2/hr，自架損益兩平點大約在每月 100M tokens。
#ollama
11 篇文章量化與推論最佳化：讓 70B 模型跑在你的筆電上
70B 模型原本需要 140GB VRAM，但量化到 4-bit 只需要 ~35GB，再用 llama.cpp 的部分卸載就能在消費級硬體上跑。GGUF 格式的命名規則（Q4_K_M、Q5_K_S）告訴你精度和大小的取捨。KV cache 是長對話變慢的主因。
跟成熟 coding agent 學設計（12）：小模型能寫程式嗎——能力邊界與 eval 紀律
小模型卡的不是『不會想』而是『格式不穩』：tool call JSON、diff hunk 計數、context 預算都會爆。五家參考專案的共識是把評測建立在真實模型行為上（pi 的 model-backed eval、OMP 從真實 session log 校準編輯基準、Codex 甚至為弱模型放寬 parser），looplane 則選最窄但最硬的路：一個 fixture、五次真實 Ollama 執行、manifest 宣告改哪些檔案和哪些 patch 片段才算過，並且把 M2 的失敗原封不動留成證據——不把 mock 當 E2E，不把部分成功講成全過。
自架推論伺服器怎麼選：從 Ollama 到 Xinference，六套工具的定位與取捨
自架推論伺服器分三層：執行引擎（llama.cpp）、服務引擎（vLLM、SGLang）、模型管理平台（Ollama、Xinference、Triton）。選對層級比選對工具重要——先問你的瓶頸在排程還是在部署流程，再決定複雜度放在哪裡。
Crawl4AI 完整介紹：從 Markdown 抓取到結構化資料抽取
Crawl4AI 負責 URL 之後的抓取與抽取：穩定 DOM 先用 JsonCssExtractionStrategy，只有語意判讀或版面不規則時才切 LLMExtractionStrategy。
2026 年 LLM Inference 服務商免費額度與定價：40+ 家分梯整理
個人專案、玩具 demo、做 RAG 原型，不想第一步就掏卡。整理 2026/05 還在運作的 40+ 家 LLM inference 服務商，按免費資源「是持續補充還是一次性」分梯，標註綁卡需求、模型清單、付費起價，數字全部從官方 pricing 頁驗證。中國原廠含智谱 GLM（永久免費）、豆包（每日 200 萬 tokens）、Kimi、百煉、Ollama 本地跑法一併收錄。
OpenCode 完整方案分析：75+ 模型供應商的開源終端 Agent
OpenCode 是免費開源的 TypeScript CLI agent（MIT，約 198K GitHub stars），支援 75+ 模型供應商含本地 Ollama，可用 Copilot/ChatGPT 帳號認證，session 中途切換模型不丟上下文。另有桌面版與官方 Zen gateway。
2026 Q1 開源 LLM 全景圖：從前沿大模型到手機端，完整盤點
2026 Q1 開源模型全面爆發：LLM 方面 GLM-5、Kimi K2.5、Qwen3.5 追上閉源；Embedding 和 Reranker 由 Qwen3 和 BGE 主導；語音有 Voxtral TTS 和 Whisper V3；圖像有 FLUX.2；影片有 Wan 2.2 追平 Sora。這篇是完整導覽地圖。
Pi Coding Agent：極簡主義的開源終端機 Coding Harness
Pi 是 Mario Zechner 打造的極簡 coding agent（TypeScript、MIT、約 93K stars），只有 4 個核心工具與極短 system prompt，其餘全靠 Extensions／Skills／Prompt Templates 自己疊。刻意不做 MCP、sub-agents、plan mode、權限彈窗。repo 已改名 earendil-works/pi，npm scope 換成 @earendil-works。
OpenClaw 的 60 個供應商：分類地圖，與接本地模型真正會踩的坑
官方 provider 目錄現在有 60 個條目。接本地模型最常見的失敗是把 Ollama 的 base URL 寫成 /v1——那會破壞 tool calling，模型會把 tool JSON 當純文字吐出來。
Ollama 完整指南：一行指令在本地跑 LLM
Ollama 把 llama.cpp 包裝成 Docker 風格的 CLI + REST API，一行指令就能在本地跑 LLM。這篇從核心概念、安裝、API、硬體需求到 Modelfile 自訂，完整介紹這個工具適合什麼、不適合什麼。