コンピュータ操作(CU)

エージェントは、APIを呼び出す代わりにスクリーンショットを読み取ってマウスやキーボードの操作を発行することで、人間と同じようにグラフィカルユーザーインターフェース（デスクトップ、ブラウザ、モバイル）を操作します。中核となる課題はGUIグラウンディング、すなわち意図を画面上の正確なピクセル座標に対応づけることです。エージェントは、タスクが完了するまでスクリーンショット、推論、行動、観察のループを繰り返します。