合成ユーザーシミュレーション(SIM)

合成ユーザーシミュレーション: 概要

LLM で駆動されるユーザーシミュレーターを、混乱している、敵対的である、せっかちである、目標を途中で変えるといった多様なペルソナでパラメータ化し、会話型エージェントを多数のマルチターン対話へと自律的に導くテストハーネスとして用います。こうしたシミュレーション対話を大規模に実行することで、実ユーザーが遭遇する前にコンテキストの欠落、ポリシー違反、ハルシネーションを表面化させ、静的なシングルターンのゴールデンケースでは到達できない対話ツリーの分岐を探索します。実ユーザーよりも従順に振る舞う単一の協力的なシミュレーターという盲点を避けるため、意図的なペルソナの多様性と目標の整合が必要です。単一のユーザーシミュレーターを組み込んだ固定ベンチマークである tau-bench とは異なり、また、ゴールデンが静的なシングルターンのケースである eval-driven-agent-development とも異なり、この手法は動的なマルチターンのトラフィックを生成します。

• •LLM user simulators parameterized by explicit personas (confused, adversarial, impatient, goal-shifting)
• •Autonomous multi-turn dialogue generation as a scalable test harness
• •Surfaces dropped context, policy violations, and hallucination across the dialogue tree
• •Persona diversity and goal alignment to avoid the cooperative-simulator blind spot
• •Failure clusters mined from simulated runs feed back into the golden regression set
• •Runs pre-release, before real users are exposed to the new agent version