Vercel Labs 开源了一个叫 agent-desktop 的工具，试图绕开「截图 + 坐标点击」这条主流路线，用操作系统原生的无障碍树给 Agent 提供电脑操作能力。
发生了什么
agent-desktop 由 Vercel Labs 发布，采用 Apache-2.0 许可，用 Rust 写成，形态是一个 CLI 工具。它的核心思路是：不把屏幕画面交给模型去「看」，而是读取 macOS、Windows、Linux 各自的无障碍树（accessibility tree），把界面解析成结构化的元素列表，再让 Agent 通过稳定的引用（refs）对目标元素执行操作。官方定位是「给任意 AI Agent 加上 computer use 能力」，跨三大桌面平台。
为什么重要
Computer use 过去一年是 Agent 领域最热的方向之一，但工程上一直卡在同一个地方：基于像素的方案脆弱。分辨率变化、主题切换、弹窗遮挡、动画过渡，都会让坐标失效，模型需要反复截图确认，token 成本和延迟都高，失败率也不稳定。
无障碍树是另一条路径。它本来就是操作系统为辅助技术提供的语义层，每个可交互控件都有角色、名称、状态和层级关系。基于它操作，等于让 Agent 直接和界面的语义结构对话，而不是猜像素位置。这条思路并不新，浏览器自动化里的 DOM 选择器、Playwright 的可访问性定位都是同源逻辑，但把它做成跨三平台的通用 CLI，并明确面向 Agent 而非测试脚本，是这次发布的差异点。
选 Rust 和 CLI 形态也值得注意：前者意味着低开销、易分发、可嵌入其他进程；后者意味着它不绑定某一家 Agent 框架，任何能调用命令行、能解析结构化输出的模型都能接。
影响与看点
对开发者来说，最直接的价值是降低 computer use 类应用的接入成本。过去要自己处理三套平台 API、自己设计元素寻址协议，现在可以把这个环节外包给一个开源工具。对 Agent 产品而言，语义化操作意味着更少的截图往返，执行链路更短、更可审计——每一步操作都能对应到具体的界面元素，而不是一串坐标。
需要冷静看待的地方同样明显。无障碍树的质量高度依赖应用本身：原生应用通常覆盖较好，但大量 Electron、游戏引擎、自绘 UI 的界面语义稀疏，甚至为空，这类场景下 agent-desktop 的优势会打折。另外，跨平台意味着三套无障碍 API 的差异要被抹平，实际覆盖度需要社区验证。
一个判断：computer use 的竞争重心正在从「模型能不能看懂屏幕」转向「运行时能不能稳定地描述和操作界面」。Vercel Labs 这次押注的是后者，而这个层面的开源基础设施，目前仍然稀缺。
