Loading...
Autonomie encadrée par un budget(BGA)
Des budgets stricts et appliqués, par tâche et par session, portant sur les tokens, les dollars, le temps d'horloge et le nombre d'appels d'outils, qui sont vérifiés avant chaque appel et mettent en pause ou arrêtent l'exécution, plutôt que de simples alertes de coût a posteriori. Les mécanismes incluent des vérifications de budget en amont qui déclenchent un arrêt pour dépassement de budget avant que l'appel suivant n'atteigne le fournisseur, un disjoncteur de vélocité de tokens qui se déclenche sur les boucles incontrôlées, des détecteurs de boucle qui stoppent les cycles sans progrès, et des plafonds de budget délégués où un agent parent accorde à un agent enfant une limite de dépense qu'il ne peut pas dépasser. À distinguer de `cost-aware-model-selection`, qui oriente vers des modèles moins chers pour réduire le coût unitaire mais n'impose aucun plafond et n'arrête pas la dépense.
In 30 seconds
- What
- Impose des plafonds stricts sur les tokens, les dollars, le temps et les appels d'outils avant chaque étape d'exécution, en arrêtant ou en suspendant l'agent dès qu'une limite est atteinte.
- When to use
- Des agents autonomes exécutant des tâches sans supervision, où les boucles incontrôlées, l'inflation de tokens ou les coûts imprévus représentent un vrai risque financier ou opérationnel.
- Watch out
- Des budgets trop serrés étouffent le travail légitime ; des plafonds sous-dimensionnés provoquent de fausses alertes et des pauses fréquentes qui frustrent les utilisateurs et gaspillent du temps d'ingénierie.
Loading technique guide…