Loading...
Автономность с бюджетными ограничениями(BGA)
Жёсткие, принудительно применяемые бюджеты на уровне задачи и сессии по токенам, деньгам, реальному времени и числу вызовов инструментов, которые проверяются перед каждым вызовом и приостанавливают или завершают выполнение, а не выдают запоздалые оповещения о затратах. К механизмам относятся предварительные проверки бюджета, которые вызывают остановку по превышению бюджета до того, как следующий вызов достигнет провайдера, предохранитель по скорости расхода токенов, срабатывающий на неуправляемых циклах, детекторы циклов, останавливающие итерации без прогресса, и делегированные потолки бюджета, когда родительский агент выдаёт дочернему лимит расходов, который тот не может превысить. Отличается от `cost-aware-model-selection`, который направляет запросы к более дешёвым моделям для снижения удельной стоимости, но не устанавливает потолок и не останавливает расходы.
In 30 seconds
- What
- Перед каждым шагом выполнения применяет жёсткие потолки по токенам, деньгам, времени и вызовам инструментов, останавливая или приостанавливая работу при достижении лимита.
- When to use
- Автономные агенты, выполняющие задачи без присмотра, где неконтролируемые циклы, разрастание токенов или неожиданные расходы создают реальный финансовый или операционный риск.
- Watch out
- Слишком жёсткие бюджеты душат нормальную работу, а заниженные потолки порождают ложные срабатывания и частые паузы, которые раздражают пользователей и съедают время инженеров.
Loading technique guide…