Загружаем паттерны…
Использование компьютера(CU)
Агенты работают с графическими интерфейсами (десктоп, браузер или мобильное устройство) так же, как это делает человек: считывают скриншоты и выполняют действия мышью и клавиатурой вместо вызова API. Основная сложность заключается в привязке к GUI (GUI grounding): сопоставление намерения с точными координатами пикселей на экране. Агент выполняет цикл из создания скриншота, рассуждения, действия и наблюдения, пока задача не будет завершена.
За 30 секунд
- Что это
- Агент читает скриншоты, привязывает намерение к координатам в пикселях, выполняет действия мышью и клавиатурой и повторяет цикл до завершения задачи.
- Когда применять
- Системы без API, сложные многошаговые UI-сценарии или необходимость автоматизировать унаследованные и сторонние приложения.
- Осторожно
- Привязка к элементам графического интерфейса срывается на динамических макетах, мелких целях и перекрытых элементах, вызывая каскад ошибок, из которых трудно выбраться.
Спросите ИИ-эксперта об этом паттерне
Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.
Использование компьютера: Обзор
Агенты работают с графическими интерфейсами (десктоп, браузер или мобильное устройство) так же, как это делает человек: считывают скриншоты и выполняют действия мышью и клавиатурой вместо вызова API. Основная сложность заключается в привязке к GUI (GUI grounding): сопоставление намерения с точными координатами пикселей на экране. Агент выполняет цикл из создания скриншота, рассуждения, действия и наблюдения, пока задача не будет завершена.
- Screenshot-based perception of the live screen
- GUI grounding from intent to precise pixel coordinates
- Low-level action space: click, type, scroll, drag, key press
- Perception-reason-act-observe loop with feedback after each step
- Error recovery from popups, modals, and unexpected UI states
- Works on applications and sites that expose no API
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.
Источники
Статьи, спецификации и репозитории, на которых основан этот паттерн.
От инженера, создавшего этот каталог
Проведите ревью архитектуры ваших агентов
На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.
€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября