vercel-labs/agent-desktop：为 AI 智能体打造的桌面端控制命令行工具

项目概述 agent-desktop 是一个功能强大的命令行工具和 C 语言库，旨在为 AI 智能体赋予原生操作电脑的能力。它不依赖脆弱的屏幕截图或复杂的像素匹配，而是直接读取操作系统的无障碍接口，把桌面应用转成结构化的 JSON 树结构供智能体理解。 核心工作原理 该工具会扫描目标应用，并为每一个可以交互的界面元素分配一个独一无二的引用编号。智能体通过获取快照、利用引用编号来模拟点击或输入文字，并在操作后通过新快照验证结果。默认情况下，它采用无头模式运行，在后台直接与 UI 交互，既不抢占焦点也不需要移动鼠标指针。 生态与集成 通过底层封装各大操作系统的无障碍 API（如 macOS 的 AX API、Windows 的 UI Automation 以及 Linux 的 AT-SPI），agent-desktop 完美支持主流桌面平台。此外，它原生内置了 MCP 服务模式，能把所有桌面控制命令无缝转换为标准的 AI 工具供各种大模型调用。