合成用户模拟(SIM)

合成用户模拟: 概览

由 LLM 驱动的用户模拟器，通过多样的人物画像（如困惑型、对抗型、急躁型或中途改变目标的用户）进行参数化，用作测试框架，自主地驱动对话式智能体完成大量多轮对话。大规模运行这些模拟对话，能在真实用户遇到之前就暴露出上下文丢失、策略违规和幻觉，并探索静态单轮黄金用例无法触及的对话树分支。它需要刻意保持人物画像的多样性并对齐目标，以避免单一配合型模拟器的盲点，因为这种模拟器的表现会比真实用户更顺从。它区别于 tau-bench（一个内嵌单个用户模拟器的固定基准测试），也区别于 eval-driven-agent-development（其黄金用例是静态的单轮用例），而本方法生成的是动态的多轮流量。

• •LLM user simulators parameterized by explicit personas (confused, adversarial, impatient, goal-shifting)
• •Autonomous multi-turn dialogue generation as a scalable test harness
• •Surfaces dropped context, policy violations, and hallucination across the dialogue tree
• •Persona diversity and goal alignment to avoid the cooperative-simulator blind spot
• •Failure clusters mined from simulated runs feed back into the golden regression set
• •Runs pre-release, before real users are exposed to the new agent version