Synthetische Nutzersimulation(SIM)

Ein LLM-gesteuerter Nutzersimulator, parametrisiert durch vielfältige Personas wie verwirrte, feindselige, ungeduldige oder das Ziel wechselnde Nutzer, dient als Test-Harness, der einen Konversationsagenten autonom durch viele mehrschrittige Dialoge führt. Diese simulierten Gespräche im großen Maßstab auszuführen, bringt verlorenen Kontext, Richtlinienverstöße und Halluzinationen zum Vorschein, bevor echte Nutzer auf sie stoßen, und erkundet Zweige des Dialogbaums, die statische einschrittige Golden-Cases nicht erreichen. Es erfordert bewusste Persona-Vielfalt und Zielausrichtung, um den blinden Fleck eines einzelnen kooperativen Simulators zu vermeiden, der sich gefälliger verhält als echte Nutzer. Zu unterscheiden von tau-bench, einem festen Benchmark, der einen einzigen Nutzersimulator einbettet, und von eval-driven-agent-development, dessen Goldens statische einschrittige Fälle sind, während dieser Ansatz dynamischen mehrschrittigen Verkehr erzeugt.