CS2680 第 8 堂（2026-10-07）分兩半。前半拆 agent 的帳單：成本是一條乘式，使用者數 × 每人 session 數 × 每個 session 的 turn 數 × 每個 turn 的 step 數 × 每個 step 的 token 數 × 每個 token 的價格，後四項是你能砍的。學生自己的 Claude Code 紀錄顯示，97.6% 的 token 是命中快取的重讀，所以「prefix 要穩定」比「prompt 要短」更重要。速度看的是關鍵路徑，不是每一步加總。後半比較三種 harness 架構（單體、模組化、微核心）與八個開源或商用 harness 的設計取向。本文用一張手算帳單示範：把時間戳放進 system prompt 開頭，同一個任務的帳單會從 23.6 單位變回 65 單位以上。
為了減少每輪重送歷史的輸入 token，agent 平台常截斷、清除或摘要舊的工具結果，技能（skill）指令、寫入回執與錯誤訊息也會一起被砍。The Complexity Trap 顯示觀察遮罩能把成本砍半，但 Gemini 2.5 Flash thinking 的完成率仍從 40.4% 掉到 36.4%。省多少要跟完整歷史比，修多少要跟現況比，看的是每個成功任務的總費用，不是單輪輸入變短。
Claude 文件指出工具超過 30–50 支後選擇準確度會下降，Claude 與 OpenAI 都改用按需載入的 tool search。但搜得到不等於做得完：ToolRet 的 43k 工具基準上，沒有一個檢索器能在前 10 名湊齊完整工具組超過 35%。本文把問題拆成五個失敗點，對照七種做法與一套驗收指標。
KV Cache 把已經算過的 key 和 value 存起來，decode 時就不必重算，但它每個 token 都要佔一份記憶體：以 Gemma 2 27B 為例，一個 token 約 0.72MB，A100 80GB 只夠放約 11.4 萬個 token。李宏毅接著整理了一串瘦身法：讓多個 query 共用 key/value（MQA、GQA）、把 key/value 壓成一個向量又不必解壓（MLA）、只看一段範圍（Sliding Window、StreamingLLM）、把沒人理的 key/value 丟掉（Scissorhands、H2O），最後講跨對話的 prompt caching：只有前綴完全相同才會命中，所以 system prompt 要把穩定的內容放前面。
Looplane 用靜態 model role catalog 提供候選順序，只對 retryable provider error 重試與 fallback；cache 是 provider hint 加 trace，cost 是靜態價表估算。三者都留下訊號，但都不是即時營運路由或帳單。
Claude Code 的 prompt caching 靠 prefix 完全匹配運作：命中時重讀計費約為標準 input 的 10%，但換模型、改 effort、開 fast mode、連斷 MCP server、整工具 deny 都會讓下一輪整段重算。TTL 預設五分鐘，訂閱方案的主對話與少數 helper requests 用一小時。
Hermes 支援 40 家以上供應商，其中「用消費者訂閱登入」的路徑最容易產生帳單意外：Anthropic OAuth 只吃 Claude Max 的加購額度、Claude Pro 根本不能用；auxiliary 任務預設 `provider: auto` 會走你的主模型，等於用貴模型做壓縮與視覺。fallback 鏈是每個 session 只觸發一次的一次性切換，不是持續重試。
OpenAI 詳解 Codex 的 agent loop 設計：prompt 如何建構、multi-turn 對話如何管理、prompt caching 如何避免成本爆炸，以及 context window 自動壓縮的實作。
OpenClaw 的容錯是兩階段：先在同一供應商內輪替 auth profile，再換模型。但真正決定行為的是「這個模型是誰選的」——你手動用 /model 選的模型是嚴格的，失敗就報錯，不會偷偷用別的模型回答你。