Skip to content

工具推薦|EYRA — 讓 Agent 直接讀 Windows UI 樹,不用再猜螢幕座標

2026年11月22日1 分鐘
TL;DREYRA 是一個 ~1.9MB 的 Windows MCP server,讓 agent 直接讀取視窗的 UI Automation 樹、聽系統音訊、控制鍵鼠。下載 eyra.exe 加進 MCP 設定即可用。解決了 agent 每步都要截圖猜座標、浪費大量 token 的問題。

查詞與收藏

正在載入查詞工具…

English version

工具資訊

項目值
名稱EYRA
類型MCP server + CLI + agent skill
GitHublayer8labs8/EYRA
Stars2(2026-11-21 剛建立,查核時數字)
語言Rust
授權Apache-2.0
安裝下載 latest release 的 eyra.exe,指到 MCP 設定即可

解決什麼問題

你讓 agent 操作 Windows 上的桌面程式——File Explorer、Office、公司內部的 Electron 工具——多半靠「computer use」那套老方法:每一步都截一張螢幕圖丟給模型,模型自己從像素裡猜哪裡是按鈕、座標大概在哪。猜對了還好,猜錯一次就要重截一次圖、重新猜一次,一個 20 步的任務光是截圖就能燒掉兩三萬 token,多螢幕或 150% DPI 縮放時座標還常常對不準。

EYRA 換了一個更底層的切入點:Windows 本身的 UI Automation(UIA)早就把畫面上每個按鈕、輸入框、核取方塊的名稱、狀態、精確像素座標都存成一棵樹了,EYRA 直接讀這棵樹,印成一份有編號的文字地圖(#51 inp "Repository name *" (focused) [496,333,530,32]),agent 看地圖點 click(id=51) 就能精準命中,不用猜。它量到的數字也驗證了這個切法:對同一個視窗,第一次 see 的成本和截一張圖差不多(~1,137 vs ~969 tokens),但真正的省錢在後面——see_diff 只回傳畫面變了的那幾項,單步通常在 40 token 以內,作者估算一個 20 步任務用 see_diff 大概只要 1.7k tokens,比全程截圖省下 90% 以上。沒有 UIA tree 的情境(遊戲、canvas、遠端桌面)會自動退化成 OCR,代價是延遲從 22ms 拉到 80ms 左右。整個程式是單一 ~1.9MB 的 Rust binary,不需要 Python、FFmpeg、Whisper 或任何 API key,只呼叫 Windows 原生的 UI Automation、WinRT OCR、WASAPI 和 SendInput。

EYRA 的本機 MCP 架構:Eye / Ear / Hand 包住 Windows API
EYRA 的本機 MCP 架構:Eye / Ear / Hand 包住 Windows APIEYRA 以本機 MCP server 居中,把 Windows 內建的 UI Automation、WASAPI、SendInput 包成 Eye/Ear/Hand 三組工具,讓任何 MCP agent 直接讀寫本機視窗,不必截圖猜座標。 WINDOWS 10/11 MCP 客戶端 EYRA MCP server Eye UIA + OCR Ear WASAPI Hand SendInput 目標視窗 MCP

簡化示意:省略選用的 HTTP bridge(`eyra serve`)與 CLI 直接呼叫路徑。

適合場景:需要讓 agent 操作原生 Windows 應用(Explorer、Office、WinForms/WPF 內部工具)或 Electron 桌面程式(VS Code、Slack、Discord)、又不想靠截圖燒 token 的場景;需要重複監看同一個視窗變化(例如等進度條跑完、等某個對話框跳出來);或是想讓支援音訊輸入的模型「聽」系統音訊或麥克風再做決策。深層 DOM、網路封包、JS 狀態這類瀏覽器才看得到的東西,EYRA 看不到,仍得交給瀏覽器擴充型工具。

快速上手

安裝

# 下載最新 release 的 eyra.exe(也可以拿 .zip,裡面多附 SKILL.md/範例設定/授權)
Invoke-WebRequest https://github.com/layer8labs8/EYRA/releases/latest/download/eyra.exe -OutFile eyra.exe

# 先核對 SHA256(release 頁面會附 SHA256SUMS.txt)
Get-FileHash .\eyra.exe -Algorithm SHA256

加進 Claude Code:

claude mcp add eyra -- C:\path\to\eyra.exe mcp

Claude Desktop 使用者可以直接下載 eyra-<version>.mcpb 雙擊安裝;Gemini CLI 用 gemini extensions install https://github.com/layer8labs8/EYRA 一行裝好。

基本用法

eyra windows                                        # 列出目前可見的視窗
eyra see --window Chrome --interactive-only --coords center
eyra click --id 51
eyra type "octocat" --id 49
eyra hotkey ctrl+l

MCP 介面對應的是同一組工具:list_windows、see、see_diff、click、type_text、hotkey、scroll、drag 等,agent 一般的流程是先 see 拿到編號地圖,之後每一步改叫 see_diff 只看變化。

進階用法

只開觀察類工具,完全不給滑鼠鍵盤權限:

{
  "mcpServers": {
    "eyra": { "command": "C:\\path\\to\\eyra.exe", "args": ["mcp", "--read-only"] }
  }
}

每一次呼叫都會記進 %LOCALAPPDATA%\eyra\audit.jsonl(含時間、耗時、token 估算,密碼欄位自動遮蔽),事後要稽核 agent 到底點了什麼、打了什麼字,直接讀這個檔案就有完整流水帳。

與現有工具的比較

EYRA傳統 screenshot 式 computer usepywinauto 等 UIA 腳本函式庫
座標從哪來讀 OS Accessibility Tree,給精確 id/座標模型從畫面像素猜測手寫 selector,程式先驗知道
重複觀察的成本see_diff 單步約在 40 token 以內每步都要整張截圖(README 實測密集頁面約 1,137 token)不經 LLM、沒有 token 成本,但要先手刻腳本
支援對象整個 Windows 桌面:原生應用、Electron,canvas/遊戲退化走 OCR看模型看不看得懂畫面,純視覺,理論上什麼都能試僅 Win32/UIA 支援的應用,Electron 支援有限
跨 MCP host 通用標準 MCP,Gemini/Claude/Cursor/VS Code 都能接同一個 binary需要 host 原生做這個 tool(例如 Claude 的 computer use)要自己寫 wrapper 接進 agent
內建安全防護read-only 模式、失焦角落、Ctrl+Alt+Esc 緊急停止、密碼遮罩、audit log視各家 host 自行實作,通常較少無,全部自己寫

注意事項

  • 只能在 Windows 10/11 上跑:Mac/Linux 完全用不了,README 也沒有打算跨平台的規劃。
  • binary 還沒簽章:第一次執行 Windows SmartScreen 會跳警告,要手動選「仍要執行」,建議先用 release 附的 SHA256SUMS.txt 核對下載檔案。
  • 沒有 UIA tree 的畫面退化成 OCR:遊戲、canvas、遠端桌面這類情境,延遲會從 22ms 拉到約 80ms,文字辨識本身也可能有誤差,別預期跟原生應用一樣精準。
  • 專案才剛起步:2026-11-21 建立、2 顆星、0 個 open issue,長期維護力和社群回饋還沒經過時間驗證;正式環境導入前,先用 --read-only 跑一段觀察期比較保險。

今日收穫

多數人把 computer-use 的瓶頸想成「模型看不看得懂畫面」,EYRA 提醒的是另一件事:Windows 自己的 accessibility tree 早就把這些資訊結構化好了,真正燒錢的不是「看懂一次」,而是「每一步都要重新看一次」——這也是為什麼 see_diff 能把重複觀察壓到 40 token 以內:它省的不是第一次 see 的成本(那次其實跟截圖差不多貴),省的是後面十幾步不用再把整個畫面重新算一遍的成本。

參考資料