Chargement des modèles…
Utilisation de l'ordinateur(CU)
Les agents manipulent les interfaces graphiques (bureau, navigateur ou mobile) comme le ferait une personne, en lisant des captures d'écran et en émettant des actions de souris et de clavier au lieu d'appeler des API. Le défi central est l'ancrage GUI : associer une intention à des coordonnées de pixels exactes à l'écran. L'agent exécute en boucle les étapes de capture d'écran, de raisonnement, d'action et d'observation jusqu'à ce que la tâche soit terminée.
Aperçu en 30 secondes
- Quoi
- L'agent lit des captures d'écran, ancre l'intention à des coordonnées en pixels, exécute des actions souris et clavier, puis boucle jusqu'à l'achèvement de la tâche.
- Quand l'utiliser
- Systèmes sans API, flux de travail UI complexes en plusieurs étapes, ou lorsqu'il faut automatiser des applications héritées ou tierces.
- Vigilance
- L'ancrage dans l'interface graphique échoue sur les mises en page dynamiques, les cibles minuscules ou les éléments masqués, ce qui provoque des erreurs en cascade difficiles à rattraper.
Interrogez l'expert IA sur ce pattern
Ouvre l'assistant avec votre question préremplie. Vous la relisez avant l'envoi.
Utilisation de l'ordinateur: Vue d’ensemble
Les agents manipulent les interfaces graphiques (bureau, navigateur ou mobile) comme le ferait une personne, en lisant des captures d'écran et en émettant des actions de souris et de clavier au lieu d'appeler des API. Le défi central est l'ancrage GUI : associer une intention à des coordonnées de pixels exactes à l'écran. L'agent exécute en boucle les étapes de capture d'écran, de raisonnement, d'action et d'observation jusqu'à ce que la tâche soit terminée.
- Screenshot-based perception of the live screen
- GUI grounding from intent to precise pixel coordinates
- Low-level action space: click, type, scroll, drag, key press
- Perception-reason-act-observe loop with feedback after each step
- Error recovery from popups, modals, and unexpected UI states
- Works on applications and sites that expose no API
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.
Références
Les articles, spécifications et dépôts sur lesquels repose ce modèle.
Par l’ingénieur derrière ce catalogue
Faites auditer l’architecture de vos agents
Cette page documente un pattern. Votre système en fait tourner des dizaines, et l’essentiel des pannes se loge dans la façon dont ils s’articulent. Faites relire toute la conception à l’aune des 288 patterns de ce catalogue : architecture, fiabilité, évaluation et coûts, chaque constat relié au pattern qui le corrige.
750 € au lieu de 1 500 €, une semaine, rapport écrit et appel de restitution, jusqu’au 30 septembre