Loading...
🖱️
Computernutzung(CU)
Agenten bedienen grafische Benutzeroberflächen (Desktop, Browser oder Mobilgerät) wie ein Mensch, indem sie Screenshots lesen und Maus- und Tastaturaktionen ausführen, anstatt APIs aufzurufen. Die zentrale Herausforderung ist das GUI-Grounding: eine Absicht auf exakte Pixelkoordinaten auf dem Bildschirm abzubilden. Der Agent durchläuft eine Schleife aus Screenshot, Schlussfolgern, Handeln und Beobachten, bis die Aufgabe abgeschlossen ist.
Komplexität: highWerkzeugnutzung
In 30 seconds
- What
- Der Agent liest Screenshots, verankert die Absicht in Pixelkoordinaten, führt Maus- und Tastaturaktionen aus und wiederholt das, bis die Aufgabe erledigt ist.
- When to use
- Systeme ohne API, komplexe mehrstufige UI-Workflows oder wenn Sie Legacy- oder Drittanbieteranwendungen automatisieren müssen.
- Watch out
- Die GUI-Verankerung scheitert an dynamischen Layouts, kleinen Zielen oder verdeckten Elementen und löst Folgefehler aus, von denen man sich schwer erholt.
Loading technique guide…