Skip to content
所有標籤

#agent-harness

26 篇文章
aideep-dive

Cloudflare Agents SDK 怎麼選起點:Pi harness、Agent、AIChatAgent 與 Think

已有 harness 就用 PiHarness;做 chat、要自己組模型呼叫用 AIChatAgent,交給框架用 Think;不是 chat 但要狀態、排程、MCP,用 Agent。

親手寫一個 coding agent harness:四個工具加一個 loop|Harvard CS2680 作業 2

CS2680 作業 2(Mads-Loop)要你自己寫一個 coding agent harness:用指定的小模型 qwen3.6-35b-a3b,在 Docker 容器裡修 SWE-bench Pro 的真實 issue,並照規定格式記下每一步。作業頁明說它給的設計不要照單全收,10 題裡也有解不了的題。這篇整理規格、作業頁值得懷疑的幾處、harness 最常壞的五個地方與各自的處理方式(附一段實跑過的片段),以及怎麼自建四題評估集、怎麼判斷一題是不是真的解不了。不含官方解答。

在不掉分的前提下省錢省時間:成本優化競賽|Harvard CS2680 作業 3

CS2680 作業 3(Mads-Opt)是一場 harness 競賽:同一批 SWE-bench Pro 題目,比誰解得多、每解一題花得少、每解一題等得短。三個指標不加權,改用 skyline(Pareto)分層排名:沒有人在三項都不比你差、還至少一項比你好,你就是第 1 名。這篇整理作業的容器架構與硬限制、排名與計分怎麼算(附手算例子),用作業頁公布的模型價格先算一題大概花多少,再把第 8 堂的成本與速度槓桿對到這份作業。不含官方解答,也不談具體解法。

Agent 是系統問題:從單次推論到一串工具呼叫|Harvard CS2680 第 1 堂

CS2680 第 1 堂(2026-09-02)先說明 AI 系統和傳統系統的差別:運算分散在 CPU 與 GPU、浮點運算不保證每次一樣、狀態大到要跨 GPU 搬。接著把 agent 比作新型電腦(LLM 是 CPU、context window 是記憶體、harness 是作業系統),指出 agent 的一個請求會變成「推論 → 工具 → 推論」的長鏈,所以每秒 token 數是錯的目標,要看任務成功率、端到端延遲與每次成功的花費。本文用兩個 agent 的帳算一次這些指標怎麼用。

Claude Code 怎麼運作:loop、記憶、工具與擴充|Harvard CS2680 第 2 堂

CS2680 第 2 堂(2026-09-09)拆開 Claude Code:你打一句話,它會呼叫模型很多次;模型每次只「提出」要跑的工具,harness 檢查權限後才執行,再把結果放回 context,context 滿了就壓縮。後半講記憶(你寫的 CLAUDE.md 與 Claude 自己記的 auto memory)與四種擴充:skill 管怎麼做、MCP 管連到外面、hook 管一定要發生的事、plugin 管打包。本文先補一次 API 呼叫長什麼樣,再用「修好一個測試」走完整條 loop。

自己設計 agent:工具設計與 context 工程|Harvard CS2680 第 4 堂

CS2680 第 4 堂(2026-09-16)從「用 agent」換到「設計 agent」:agent 是模型加一個 loop,你要決定給它哪些工具、每一步讓它看到什麼。工具這半講找程式碼的四種方法、改程式碼的四種方法、shell 的威力與風險,以及「少而正交、專用、輸出省 token、錯誤教得會」的設計原則。context 這半講 context 為什麼是有限資源、四種管理手段(從擋在門口到最後才摘要)、五種 context 失敗,最後用一篇論文說明:context 很緊時,同一個模型只換 harness,解題數可以多出七成到一倍以上。

多 agent 架構:拓撲、任務切分與 agent 之間的通訊|Harvard CS2680 第 5 堂

CS2680 第 5 堂(2026-09-23)講多 agent 系統怎麼設計。拆成多個 agent 有四個理由:專長、隔離、平行、context 管理;每種架構都可以用三個問題描述:誰指揮、工作怎麼切、訊息怎麼傳。課堂列了八種架構,再講任務切分的六種方法、一條判斷拆不拆的粒度公式、六種常見的切分失敗,以及通訊為什麼其實是分散式系統問題:訊息會遺失、重送,兩個 agent 會同時改同一份東西。最後對照 A2A 與 MCP 的分工,並以「真的需要多 agent 嗎?」作為第一條設計原則。

Agent 的記憶與可靠度:寫什麼、記多久、錯在哪一層|Harvard CS2680 第 6 堂

CS2680 第 6 堂(2026-09-28)前半講 agent 的記憶:把一件事留下來,要依序決定寫不寫、存成什麼樣子、存在哪裡、什麼時候取回、要不要歸納成通則、還算不算數,另外還有記憶歸誰管。過期的事實不要直接刪,要記下它什麼時候成立、從哪裡來。後半講可靠度:每步 95% 成功,20 步全對只剩約 36%;失敗可以歸到任務規格、harness、模型、工具、環境五層,每層各有修法。兩半的接點是一個 harness 層的失敗:把過期的筆記當成事實。

讓 agent 便宜又快:成本拆解、關鍵路徑與 harness 架構|Harvard CS2680 第 8 堂

CS2680 第 8 堂(2026-10-07)分兩半。前半拆 agent 的帳單:成本是一條乘式,使用者數 × 每人 session 數 × 每個 session 的 turn 數 × 每個 turn 的 step 數 × 每個 step 的 token 數 × 每個 token 的價格,後四項是你能砍的。學生自己的 Claude Code 紀錄顯示,97.6% 的 token 是命中快取的重讀,所以「prefix 要穩定」比「prompt 要短」更重要。速度看的是關鍵路徑,不是每一步加總。後半比較三種 harness 架構(單體、模組化、微核心)與八個開源或商用 harness 的設計取向。本文用一張手算帳單示範:把時間戳放進 system prompt 開頭,同一個任務的帳單會從 23.6 單位變回 65 單位以上。

AI Agent GitHub Digest — 2026-10-20

**tinyhumansai/openhuman**(42,159★)是用 Rust 寫的輕量 agent harness,公開的 SWE-bench 測試裡比 Hermes 等六套工具快一倍以上、token 省 2.6 倍、記憶體和 CPU 省 8 倍,靠 token 壓縮、專挑工具用的小模型 Jev、單一行程內的 plugin bus 做到;**tigerless-labs/agent-memory**(4,385★)把 agent 的長期記憶做成一疊 Markdown 檔+可重建的本機索引,刪掉索引不會丟知識,Claude Code 和 Codex CLI 能共用同一個記憶庫;**jub0t/Concat**(9,417★)是本地優先、零浮水印的開源 CapCut 替代品,內建 MCP server,讓 Claude 之類的 agent 直接下指令剪片。Release:Agno v3.1.6 讓 eval Case 能帶 session_id/圖片等參數跑完整輪次,OS Manager 改成直接查文件而不轉交 Platform Manager。

AI Agent GitHub Digest — 2026-10-09

**trueforge**(6,083★)是把 model 呼叫、MCP 工具、sandbox、approval、session 狀態這些「跑好一個 agent」要做的雜事包好的開源 harness runtime;**agent-device**(4,937★)讓 coding agent 直接在 iOS / Android 模擬器或實機上開 app、點畫面、讀 accessibility snapshot 來驗證自己改的程式碼,Expensify、Shopify 都在用;**pi-pocket**(274★,上線 4 天)把開源極簡 coding agent 「Pi」的整個 session 搬進手機,可以遠端操控、多人同看、排程任務。Claude Code v2.1.294 修掉一個會讓「用自然語言寫的」hook 擋不住它該擋的指令的洞;browser-use 0.13.11 預告了給 Claude 用的瀏覽器工具集,但要等 Anthropic SDK 補上對應功能才能真正用。

aideep-dive

Pi Durable:長時間 Agent 掛掉之後,要從哪裡接著做

Pi 1.0 與實驗性套件 Pi Durable 在 2026 年 10 月初同步發佈。Pi Durable 把每次模型請求、工具呼叫、compaction 都當成會寫 checkpoint 的 task,process 死掉後可從上一個 checkpoint 接續;Cloudflare 隨即用 PiHarness 把它接上 Durable Objects。重點是工具要分「可重跑」與「不可重跑」。

親手寫一個 agent harness——同一個 ReAct 迴圈,修 bug、壓上下文、下西洋棋|CMU 11-768 作業 1

CMU 11-768 第一份作業要你從空白的 ReAct 迴圈做起:先讓 CodeAgent 用 bash 修好一個西洋棋 app 的 bug,再加上下文壓縮去修一題 SWE-bench,最後讓同一個迴圈變成下棋的 ChessAgent,並用 simulate_move、run_python 與 skill 做兩步搜尋;100 分全部靠離線重播 patch 與軌跡評分。

AI Agent GitHub Digest — 2026-09-20

affaan-m/ECC 靠「agent harness 效能優化」8 個月衝上 26 萬+ star,但成長速度快到該保守看待;cactus-compute/needle 用 8-29MB 模型犧牲聊天能力換工具呼叫精準度;Graphify-Labs/graphify 用本地 AST parsing 建知識圖譜取代向量資料庫;tinyhumansai/openhuman 把「認識使用者」當 agent 記憶的核心賣點;IvanMurzak/Godot-MCP 讓 agent 直接操作 Godot 編輯器;Claude Code v2.1.277 加入 AGENTS.md 支援

AI Agent GitHub Digest — 2026-09-07

DeepSeek Harness(dsh)用 everything-is-a-plugin 架構 3 週衝上 21.4 萬星;ponytail 用實測數據證明一個 skill 能讓 Claude Code 少寫 54% 程式碼;Magnitude 幫你的 coding agent 自動挑本地模型跑;wigolo 讓 agent 免 API key 搜尋、爬蟲、研究整個網路

pi-mono 深度導讀 13:Agent Harness、Skills、System Prompt 組裝——從零構建 Agent 行為

AgentHarness 核心類別、System Prompt 動態組裝流程、Skills 載入與格式化、Prompt Templates 系統、Harness 如何決定 Tool 可用性、Result Handling、Telemetry Schema 註冊、預設 Harness 建構、Extension 如何擴充 Harness。

AI Agent GitHub Digest — 2026-08-27

deepseek-ai/deepseek-harness(dsh)用 Cordis 外掛架構把「模型/工具/沙箱/記憶」全部做成可替換元件,developer preview 上線一週已逼近 20 萬星;PrimeIntellect-ai/prime-agent 用 Recursive Language Model 架構做長跑研究型 coding agent,靠持久 IPython session 撐過終端機斷線;liqiwa/mcp-radar 反過來做這類 digest 的自動化版本,每天掃 GitHub 排名新出現的 MCP server。框架端 Mastra 1.61.0 補上可撐過當機的背景任務佇列,ComposioHQ/composio 0.17.0 把 SSRF 防護延伸到工具執行下載與 S3 上傳。

aideep-dive

Slack Code:多人協作 AI Coding 與 Agent 控制平面的競爭版圖

Slack Code 把 AI coding agent 從開發者的終端搬進 Slack 頻道,讓團隊即時看到 diff、預覽與計畫。但它解決的是管理層的透明度焦慮,不是工程師的生產力瓶頸——真正的戰場在「誰當 agent 的控制平面」。

AI Agent GitHub Digest — 2026-08-19

DeepSeek 開源的 agent harness「dsh」8/13 發布一小時內破 2 萬星,目前累積約 15.8 萬星,社群兩天湧入 2000+ 外掛提案;核心是 Cordis 驅動的「一切皆插件」架構,甚至能把 Claude Code、Codex 當子 agent 呼叫。RightNow-AI 用 Rust 從 OS 層級重新定義 agent(openfang),網易有道推出建立在 OpenClaw 之上的桌面 Agent LobsterAI,PrimeIntellect 的 prime-agent 主打自我改進推理迴路。CrewAI 1.15.16 補強 execution context 追蹤與 flow 錯誤記錄。

AI Agent Arxiv Digest — 2026-08-14

Harness-IF 揭示 Coding Agent 的指令遵從度被高估 3.6-7.4 個百分點,因為模型本來就會做的事被算成了遵從;SHE 把 harness 拆成四個安全元件並從軌跡失敗自動演化,ASR 降低 3.1 倍且正確率提升;SBCO 用分解式驗證器銀行搭配文本梯度做 harness 自我改進,在規劃任務上以 4-5.5 倍更少的算力追平 Gödel Machine

AI Agent Arxiv Digest — 2026-08-10

Evo-Bench 評測九款模型自主改進鷹架的能力,GPT-5.6 Sol 拿下 +16.6 分但 Office 任務幾乎不動;MEGA 用三層 Wisdom Graph 讓 Agent 優化基礎設施自我進化,知識積累與優化合為同一過程;SHE 把鷹架拆成四個可演化元件,從失敗軌跡學習安全邊界,ASR 降低 3.1 倍且跨模型可遷移

AI Agent Arxiv Digest — 2026-08-09

OneDayAgent 用任務分解+執行記憶+全域驗修三步鷹架在 AgentIF-OneDay 拿下 0.821 新 SOTA,同一鷹架跨五個後端穩定運作;The Horizon Gap 綜述 1,547 篇論文發現長程 Agent 六大失敗類別共享同一結構模式——純結果訊號隨步數增長而失效,領域正在製造更密的過程訊號來補;Evo-Bench 首次測量 Agent 自動進化鷹架的能力,GPT-5.6 Sol 最高拿 +16.6 分,但 Office 任務仍需人工流程

aiguide

Codex App Server:OpenAI 如何把 Agent Harness 變成通用協議

OpenAI 把 Codex harness 包裝成 JSON-RPC over stdio 的 App Server,讓 VS Code、JetBrains、Web、桌面 App 都能共用同一套 agent loop,三個核心 primitive:Item、Turn、Thread。

aiguideAI Agent 實戰

Agentic Engineering 的記憶問題:從類型、實作到擁有權

Agent 的記憶不是一個插件,而是 harness 本身的一部分。選對記憶類型、估算資料量、再決定用什麼技術——最後,也要搞清楚你是否真的擁有那份記憶。

aiproject

OpenHarness:把 Agent Harness 完整開源的框架

香港大學 HKUDS 開源的 Agent Harness 框架,實作了工具呼叫、技能載入、記憶、權限、多代理協作等完整基礎設施,支援 Anthropic / OpenAI / GitHub Copilot 三種 API 格式。

aiguide

Phil Schmid:為什麼 Agent Harness 是 2026 年最重要的事

模型是 CPU,harness 是作業系統,agent 是應用程式。模型能力再強,沒有好的 harness 就只是 demo。Phil Schmid 認為 harness 是 2026 年 AI 工程最關鍵的基礎設施。