正在加载模式…
🖱️
计算机操作(CU)
智能体像人一样操作图形用户界面（桌面、浏览器或移动端），通过读取截图并发出鼠标和键盘操作，而不是调用 API。核心挑战在于 GUI 定位：将意图映射到屏幕上精确的像素坐标。智能体循环执行截图、推理、行动和观察，直到任务完成。
复杂度: high工具使用
30秒速览
- 是什么
- 智能体读取截图，将意图落到像素坐标上，执行鼠标和键盘操作，并循环往复直到任务完成。
- 何时使用
- 没有 API 的系统、多步骤的复杂 UI 流程，或需要自动化遗留系统与第三方应用时。
- 注意
- 面对动态布局、微小目标或被遮挡的元素，GUI 定位会失败，引发难以恢复的连锁错误。
向AI专家咨询此模式
打开助手并预填您的问题,发送前可先确认。
计算机操作: 概览
智能体像人一样操作图形用户界面（桌面、浏览器或移动端），通过读取截图并发出鼠标和键盘操作，而不是调用 API。核心挑战在于 GUI 定位：将意图映射到屏幕上精确的像素坐标。智能体循环执行截图、推理、行动和观察，直到任务完成。
- Screenshot-based perception of the live screen
- GUI grounding from intent to precise pixel coordinates
- Low-level action space: click, type, scroll, drag, key press
- Perception-reason-act-observe loop with feedback after each step
- Error recovery from popups, modals, and unexpected UI states
- Works on applications and sites that expose no API
The Agent Architect
每周一个模式、一个权衡、一个生产事故案例。为构建智能体系统的人准备的每周简报。
每周一封邮件,一键退订。您的地址仅用于发送简报。
参考资料
该模式所依据的论文、规范和代码仓库。
由本目录背后的工程师执行
为你的智能体架构做一次评审
本页讲的是一个模式。真实系统会同时跑几十个，而多数故障恰恰出在它们的衔接处。我们按本目录的 288 个模式评审你的整体设计：架构、可靠性、评测与成本，每一条结论都对应到能修复它的模式。
€750（原价 €1,500），一周交付，书面报告加讲解通话，9月30日前