今天 GitHub 震撼登场的 Cua 项目，短短时间收获 25748 星，当日新增 609 星。它不是又一个聊天机器人，而是要解决 AI 代理的「手」——让模型能真实操作计算器、编写文档、切换应用，完成端到端的桌面任务。这标志着计算机使用从「读界面」迈入「动界面」的 2.0 时代。

Cua 本质是一套开放协议栈，由五个核心模块构成：

Cua Fleets：Provision 云桌面的入口。你可以在网页一键获取隔离的 Linux 桌面环境，代码通过 Sandbox SDK 发送指令、截图验证。这解决了本地环境不稳定、权限难配的痛点，尤其适合团队部署。

Cua Driver：真正的「自动化引擎」。它支持 macOS、Windows、Linux 三大平台，能无聚焦地后台操作应用（应用支持时）。通过 CLI、MCP 或 SDK 连接你的代理，执行点击、输入、截图等原子操作。比如让代理打开计算器、输入「6 × 7」、截图核实显示 42。

CUA-S1：专为桌面操作设计的小模型系列。官方称之为「系统 1 模型」——类比人类的直觉快速决策。它不替代大模型的规划能力，而是专注高置信度的界面决策，比如表单填值、按钮选择。首个发布的是 CUA-S1-FORMS，聚焦表单结构的扫描与补全。

Lume：Apple Silicon 上的本地 macOS 虚拟机工具。利用 Apple Virtualization.Framework，一行命令创建 Tahoe 虚拟机，免去繁琐的系统安装与激活流程。对隐私敏感或无法用云桌面的场景至关重要。

Cua Bench：任务构建与评估框架。支持零依赖的模拟任务快速验证，也能导出真实轨迹用于训练。它把「测试一个代理能否完成任务」变得像单元测试一样可重复。

上手非常简单。以驱动 macOS 上的计算器为例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 1. 安装 Cua Driver（macOS/Linux）
/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

# 2. 连接应用（CLI 方式）
cua driver app --name "Calculator"

# 3. 指令驱动
./cua-cli -c "click '6', click '×', click '7', click '='"

# 4. 验证结果
./cua-cli -c "screenshot | extract '42'"

云端 Fleets 也只需几行 Python 代码：

1
2
3
4
5
6

import cua.sandbox

with cua.sandbox.Pool().claim("linux") as desktop:
    result = desktop.run("uname -a")
    desktop.screenshot("/tmp/desc.png")
print(result.stdout)

技术亮点在于它对「超分层架构」的精心设计：

• 驱动层抽象统一化：Cua Driver 通过适配不同操作系统的交互协议（Accessibility API、Windows UI Automation 等），给上层提供一致的 Action 接口。这意味着你的代理逻辑无需关心运行平台。

• 后台无聚焦能力：当平台支持时，驱动引擎利用虚拟输入或无障碍接口，避免代理操作时抢占用户焦点。这在真实工作流中极为关键——没人愿意被不断弹出的窗口打断。

• Sandbox 隔离设计：云桌面采用沙箱容器化，本地 VM 用 Lume 管理。两者共享同一套 SDK 接口，开发者可以本地开发、云端部署，流程无缝衔接。

• 评估即训练：Cua Bench 不止是测试框架，它导出的轨迹数据（状态-动作-奖励）可直接喂给训练流程。这打通了「评估-反馈-优化」的闭环，避免评估与训练脱节。

适用人群非常明确：

• AI 团队：需要让代理真正操作软件，而非仅读取网页内容。Cua 提供测试床与标准化接口。
• 研究者：评估计算机使用能力急需可控环境。Cua Bench 允许零依赖构建确定性任务，结果可复现。
• 企业开发者：Lume 在 Apple Silicon 上运行原生 macOS，配合 Fleets 云供应，私有化部署方案更完整。

同类方案的差异在于：传统自动化工具（如 Selenium、Playwright）只针对浏览器；AutoHotkey、AppleScript 是平台封闭脚本；Cua 首个提出统一的「计算机使用协议栈」概念，覆盖桌面、浏览器、API、代码，真正实现 Computer-Use 2.0 所说的「代理在多个界面间自由移动」。

Cua 的意义，是把 AI 代理从「玻璃屋里的观察者」，变成「可以触摸键盘的参与者」。当模型不再依赖页面文本解析，而是能像人类一样操作界面——这个时代的真正starts，才刚刚开启。