パターンを読み込んでいます…
コンピュータ操作(CU)
エージェントは、APIを呼び出す代わりにスクリーンショットを読み取ってマウスやキーボードの操作を発行することで、人間と同じようにグラフィカルユーザーインターフェース（デスクトップ、ブラウザ、モバイル）を操作します。中核となる課題はGUIグラウンディング、すなわち意図を画面上の正確なピクセル座標に対応づけることです。エージェントは、タスクが完了するまでスクリーンショット、推論、行動、観察のループを繰り返します。
30秒でわかる概要
- 概要
- エージェントはスクリーンショットを読み取り、意図をピクセル座標に結び付け、マウスとキーボードの操作を実行し、タスクが完了するまで繰り返します。
- 使いどころ
- API のないシステム、複数手順にわたる複雑な UI ワークフロー、あるいはレガシーやサードパーティのアプリケーションを自動化したい場合。
- 注意点
- 動的なレイアウト、小さなターゲット、遮られた要素では GUI の位置特定が失敗し、回復しにくい連鎖的なエラーを招きます。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
コンピュータ操作: 概要
エージェントは、APIを呼び出す代わりにスクリーンショットを読み取ってマウスやキーボードの操作を発行することで、人間と同じようにグラフィカルユーザーインターフェース（デスクトップ、ブラウザ、モバイル）を操作します。中核となる課題はGUIグラウンディング、すなわち意図を画面上の正確なピクセル座標に対応づけることです。エージェントは、タスクが完了するまでスクリーンショット、推論、行動、観察のループを繰り返します。
- Screenshot-based perception of the live screen
- GUI grounding from intent to precise pixel coordinates
- Low-level action space: click, type, scroll, drag, key press
- Perception-reason-act-observe loop with feedback after each step
- Error recovery from popups, modals, and unexpected UI states
- Works on applications and sites that expose no API
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
このカタログを作ったエンジニアが担当
エージェント構成をレビューします
このページが扱うのは1つのパターンです。実際のシステムは数十を組み合わせて動き、障害の多くはその繋ぎ目で起きます。カタログの288パターンに照らして設計全体をレビューします。アーキテクチャ、信頼性、評価、コストまで、指摘ごとに対応するパターンを示します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで