tau-bench (Tool-Agent-User)(TAU)

エージェントを、シミュレートされた人間のユーザーとドメイン API 群（小売、航空）の間に置き、書かれたポリシー文書に従わせるベンチマーク。単一の応答をチェックするのではなく、会話全体が終わった後のデータベースの最終状態を目標状態と比較します。特徴的な指標は pass^k で、同じタスクを k 回独立に試行してすべて成功する確率を表し、平均化された pass@1 のスコアでは見えない一貫性の欠如を明らかにします。