模式评测实验室
把一小组测试用例交给不同的智能体模式和不同的模型并排运行。每次运行都会给出真实输出、延迟、词元数量和成本；AI 评审会对照你的预期答案为质量打分，整个对比可导出为 JSON 或 CSV。让模式选择建立在实测数据上，而不是凭感觉。
一次真实对比
同一任务，四种方式
针对同一个问题，对两个模型和两种模式进行实测而非假设。延迟为实际耗时，令牌数来自服务商，成本为实际计费金额。
任务: A bat and a ball cost $1.10 in total. The bat costs $1.00 more than the ball. How much does the ball cost?
| 模型 | 模式 | 回答 | 延迟 | 令牌 | 成本 |
|---|---|---|---|---|---|
| anthropic/claude-sonnet-5 | Direct | $0.05 | 3,065 ms | 63 | $0.000174 |
| anthropic/claude-sonnet-5 | Chain of Thought | $0.05 | 4,870 ms | 366 | $0.0031 |
| google/gemini-2.5-flash | Direct | $0.05 | 458 ms | 45 | $0.000024 |
| google/gemini-2.5-flash | Chain of Thought | $0.05 | 1,257 ms | 276 | $0.00058 |
四次运行全部答对。也就是说在这个任务上，推理模式只带来了时间和成本：最贵的一次约为最便宜一次的 128 倍。这正是应当实测而非臆断模式选择的理由，也是本实验室在输出旁同时展示成本与延迟的原因。
测量于 2026-08-06
还有一位亮出依据的评审
实验室还会用 AI 评审为质量打分，依据是你提供的预期答案。在这次记录的对比中，两次运行都算出了正确数字，评审仍分出了高下：任务要求先给出数字，把数字埋在后面的那次运行在指令遵循上被扣了分。
任务: A retail API rate limiter allows 120 requests per minute per key. A batch job needs to send 4,500 requests. What is the minimum time in minutes to send them all, and how should the job pace itself? Answer with the number first.
预期答案: 37.5 minutes (4500 / 120), pacing at or under 2 requests per second.
| 模型 | 模式 | 质量 | 指令遵循 | 延迟 | 成本 |
|---|---|---|---|---|---|
| openai/gpt-5-mini | Chain of Thought | 5.00/5 | 5/5 | 14,220 ms | $0.0021 |
| anthropic/claude-haiku-4-5 | Chain of Thought | 4.67/5 | 3/5 | 4,688 ms | $0.0023 |
评审对被扣分运行的评语: “The calculation and pacing advice are correct and clearly explained, but the answer is not given first as instructed; it only appears at the end after several intermediate steps.”
一对一裁决会做位置偏差检查：交换顺序向评审问两次。在这对势均力敌的输出上评审改变了选择，因此实验室报告为平局，而不是硬造一个赢家。
由 anthropic/claude-sonnet-5 对照预期答案按 1 到 5 打分。测量于 2026-08-10