Loading...
🖱️
Использование компьютера(CU)
Агенты работают с графическими интерфейсами (десктоп, браузер или мобильное устройство) так же, как это делает человек: считывают скриншоты и выполняют действия мышью и клавиатурой вместо вызова API. Основная сложность заключается в привязке к GUI (GUI grounding): сопоставление намерения с точными координатами пикселей на экране. Агент выполняет цикл из создания скриншота, рассуждения, действия и наблюдения, пока задача не будет завершена.
Сложность: highИспользование инструментов
In 30 seconds
- What
- Агент читает скриншоты, привязывает намерение к координатам в пикселях, выполняет действия мышью и клавиатурой и повторяет цикл до завершения задачи.
- When to use
- Системы без API, сложные многошаговые UI-сценарии или необходимость автоматизировать унаследованные и сторонние приложения.
- Watch out
- Привязка к элементам графического интерфейса срывается на динамических макетах, мелких целях и перекрытых элементах, вызывая каскад ошибок, из которых трудно выбраться.
Loading technique guide…