tau-bench (Tool-Agent-User)(TAU)

该基准测试将智能体置于模拟的人类用户与一组领域 API（零售、航空）之间，同时要求其遵守一份书面政策文档。它不是检查单个回复，而是在完整对话结束后，将数据库的最终状态与目标状态进行比较。其标志性指标是 pass^k，即在同一任务的全部 k 次独立试验中都成功的概率，这能揭示被平均化的 pass@1 分数所掩盖的一致性缺陷。