Loading...
🖱️
Utilisation de l'ordinateur(CU)
Les agents manipulent les interfaces graphiques (bureau, navigateur ou mobile) comme le ferait une personne, en lisant des captures d'écran et en émettant des actions de souris et de clavier au lieu d'appeler des API. Le défi central est l'ancrage GUI : associer une intention à des coordonnées de pixels exactes à l'écran. L'agent exécute en boucle les étapes de capture d'écran, de raisonnement, d'action et d'observation jusqu'à ce que la tâche soit terminée.
Complexité: highUtilisation d'outils
In 30 seconds
- What
- L'agent lit des captures d'écran, ancre l'intention à des coordonnées en pixels, exécute des actions souris et clavier, puis boucle jusqu'à l'achèvement de la tâche.
- When to use
- Systèmes sans API, flux de travail UI complexes en plusieurs étapes, ou lorsqu'il faut automatiser des applications héritées ou tierces.
- Watch out
- L'ancrage dans l'interface graphique échoue sur les mises en page dynamiques, les cibles minuscules ou les éléments masqués, ce qui provoque des erreurs en cascade difficiles à rattraper.
Loading technique guide…