Loading...
🖱️
计算机操作(CU)
智能体像人一样操作图形用户界面（桌面、浏览器或移动端），通过读取截图并发出鼠标和键盘操作，而不是调用 API。核心挑战在于 GUI 定位：将意图映射到屏幕上精确的像素坐标。智能体循环执行截图、推理、行动和观察，直到任务完成。
复杂度: high工具使用
In 30 seconds
- What
- 智能体读取截图，将意图落到像素坐标上，执行鼠标和键盘操作，并循环往复直到任务完成。
- When to use
- 没有 API 的系统、多步骤的复杂 UI 流程，或需要自动化遗留系统与第三方应用时。
- Watch out
- 面对动态布局、微小目标或被遮挡的元素，GUI 定位会失败，引发难以恢复的连锁错误。
Loading technique guide…