AI智能体操作电脑这件事，正在换一条技术路线。2026年10月31日，Vercel Labs发布开源工具agent-desktop，一个让编码智能体直接操作macOS、Windows、Linux桌面应用的CLI。发布当天，npm上的版本已经到了1.0.2，协议是Apache-2.0，任何人和任何智能体都能免费使用。
不看画面，读结构
市面上大部分computer use方案依赖截图加视觉模型。智能体先截屏，模型在图里找到按钮的大致位置，再估算坐标去点击。这条路能用，但代价不低：主题换了、分辨率变了、字体缩放了，坐标都可能失准。更麻烦的是，元素消失后，智能体可能点到同一位置上的另一个东西。
agent-desktop走了另一条路。它读取操作系统已经暴露的UI结构——macOS用AX无障碍树，Windows用UIA，Linux用AT-SPI。这套结构和屏幕阅读器用的是同一套数据。工具把界面里的可操作元素读出来，给每个元素分配一个ref，智能体拿着ref去点击、输入、滚动，不碰像素。
整个循环是这样的：先执行`agent-desktop snapshot`拿到界面快照，再用ref执行操作，然后再快照验证结果。ref绑定在它所属的那次快照上，界面变了ref就失效，工具会返回STALE_REF或AMBIGUOUS_TARGET，逼着智能体重新观察。官方README里写得很清楚：这是Rust写的CLI，外加一个C库，包含60个命令名，其中56个已经可用。
56个命令能干什么
命令覆盖面比想象中广：
- 观察类：snapshot、find、screenshot、list-surfaces
- 元素操作：click、type、set-value、select、toggle、scroll-to
- 键盘鼠标：press、hover、drag、mouse-wheel
- 应用窗口：launch、resize-window、minimize、focus-window
- 通知管理：list-notifications、dismiss-notification
- 辅助：clipboard-get/set、wait、session、trace
官方那个19.9秒的演示视频里，智能体自己构建并启动一个应用，枚举控件，改了一天日期，再把打包清单的勾选项逐个切换。终端里滚过snapshot和click，全程没人碰鼠标。
因为对ref的操作走无障碍API，不移动指针、不抢焦点，默认的无头模式可以让你一边干活一边让智能体在后台跑。多个智能体并行时，每个session和agent有独立光标，屏幕上能看清谁在操作。物理输入靠全机唯一的交互租约串行化，避免两个智能体打架。
谁能用、怎么接
任何能执行shell命令的智能体都能接：Claude Code、Codex、Cursor都可以。它是CLI，一行调用，不需要MCP服务器。安装也简单：
“`
npm install -g agent-desktop
“`
二进制自带给智能体看的文档，`agent-desktop skills get desktop`可以直接取出使用说明，也能通过`npx skills add`装成技能。macOS需要授予辅助功能权限，工具会用`permissions –guide`给出指引；Windows下应用与终端处于同一完整性级别就无需授权；Linux需要at-spi2-core，Wayland下截图走门户协议。
对开发者的三笔账
成本账。截屏方案每次操作都要过一遍视觉大模型，token消耗可观。读无障碍树返回的是JSON结构，文本量小一个量级。对于高频操作的自动化流程，这笔差价会累加得很快。
可靠性账。坐标猜测的失败模式很隐蔽——点错了但看起来像点对了。ref失效是显式的，STALE_REF错误一出现，智能体就知道要重新观察。出错可检测，比不出错但结果未知更值得信任。
边界账。这个工具读结构不读画面，判断版式好不好看、图标有没有对齐，仍然要靠截图加视觉模型。它适合的场景是那些只有GUI没有API的应用：改一个设置、填一张表格、清掉一堆积压通知、跑完一套老旧内部系统的流程。
一个信号
Vercel Labs把定位标成实验性，但这个发布透露的方向很明确：computer use的竞争正在从”让模型看懂屏幕”转向”让智能体用好系统已有的结构化接口”。OpenAI的ChatGPT Agent、Anthropic的Computer Use、Google的Project Mariner都在截屏路线上烧算力，现在出现了一个不烧算力的替代方案，还是开源的。
对普通开发者来说，今天就可以花十分钟把它装上，让Claude Code替你操作那个没有API的内部系统。对整个行业来说，桌面自动化这条赛道的门槛，刚刚被踩到了地板上。
苏公网安备32010502011527号
发表回复