Симуляция синтетических пользователей(SIM)

Симулятор пользователя на основе LLM, параметризованный разнообразными персонами, такими как растерянные, враждебные, нетерпеливые или меняющие цель пользователи, используется как тестовая обвязка, которая автономно проводит диалогового агента через множество многоходовых диалогов. Запуск таких симулированных разговоров в больших масштабах выявляет потерю контекста, нарушения правил и галлюцинации до того, как с ними столкнутся реальные пользователи, исследуя ветви дерева диалога, недостижимые для статичных одноходовых эталонных случаев. Это требует намеренного разнообразия персон и согласования целей, чтобы избежать слепого пятна в виде единственного покладистого симулятора, который ведёт себя сговорчивее реальных пользователей. В отличие от tau-bench, фиксированного бенчмарка со встроенным одним симулятором пользователя, и от eval-driven-agent-development, чьи эталоны представляют собой статичные одноходовые случаи, этот подход генерирует динамический многоходовой трафик.