Симуляция синтетических пользователей(SIM)

Симуляция синтетических пользователей: Обзор

Симулятор пользователя на основе LLM, параметризованный разнообразными персонами, такими как растерянные, враждебные, нетерпеливые или меняющие цель пользователи, используется как тестовая обвязка, которая автономно проводит диалогового агента через множество многоходовых диалогов. Запуск таких симулированных разговоров в больших масштабах выявляет потерю контекста, нарушения правил и галлюцинации до того, как с ними столкнутся реальные пользователи, исследуя ветви дерева диалога, недостижимые для статичных одноходовых эталонных случаев. Это требует намеренного разнообразия персон и согласования целей, чтобы избежать слепого пятна в виде единственного покладистого симулятора, который ведёт себя сговорчивее реальных пользователей. В отличие от tau-bench, фиксированного бенчмарка со встроенным одним симулятором пользователя, и от eval-driven-agent-development, чьи эталоны представляют собой статичные одноходовые случаи, этот подход генерирует динамический многоходовой трафик.

• •LLM user simulators parameterized by explicit personas (confused, adversarial, impatient, goal-shifting)
• •Autonomous multi-turn dialogue generation as a scalable test harness
• •Surfaces dropped context, policy violations, and hallucination across the dialogue tree
• •Persona diversity and goal alignment to avoid the cooperative-simulator blind spot
• •Failure clusters mined from simulated runs feed back into the golden regression set
• •Runs pre-release, before real users are exposed to the new agent version