Loading...
💸
预算护栏式自主(BGA)
对令牌、金额、实际耗时和工具调用次数设定强制执行的按任务、按会话硬性预算,在每次调用之前进行检查,暂停或终止执行,而非事后的成本告警。相关机制包括:在下一次调用抵达服务提供方之前触发超预算停止的预检式预算检查、在失控循环时跳闸的令牌速率熔断器、终止无进展循环的循环检测器,以及委派式预算上限,即父智能体为子智能体授予其无法超出的支出上限。区别于 `cost-aware-model-selection`,后者通过路由到更便宜的模型来降低单位成本,但并不强制上限或终止支出。
复杂度: medium资源感知优化
In 30 seconds
- What
- 在每个执行步骤之前,对 token、金额、时间和工具调用强制施加硬性上限,一旦触及限额就停止或暂停。
- When to use
- 自主智能体在无人监督下执行任务,而失控循环、token 膨胀或意外费用会带来真实的财务或运营风险时。
- Watch out
- 预算收得过紧会让正当的工作难以完成;上限设得太小则会引发误报和频繁暂停,既让用户恼火,也浪费工程时间。
Loading technique guide…