Optimisation sensible aux ressources

Ajuste dynamiquement les ressources de calcul en fonction des besoins de la charge de travail et des exigences de performance.

Sélectionne intelligemment les modèles d'IA en fonction des compromis coût-performance propres à chaque tâche.

Optimise l'inférence IA pour une consommation d'énergie minimale tout en maintenant les performances.

Gère efficacement l'utilisation de la mémoire grâce à des stratégies de mise en cache, de compression et de ramasse-miettes.

Réduit le temps de réponse grâce au préchargement prédictif, à la mise en cache et à l'optimisation des requêtes.

Exploiter les temps morts entre les interactions utilisateur pour effectuer un raisonnement en arrière-plan au lieu d'attendre la requête suivante. L'agent réorganise et compresse sa mémoire, précalcule les inférences probablement nécessaires et prépare des réponses aux questions anticipées, déplaçant ainsi le travail hors du chemin critique de latence. Au moment de l'inférence, la réponse est en grande partie prête, ce qui réduit le calcul et la latence à l'exécution.

Mettre en cache les réponses du LLM ou de l'agent en les indexant sur la similarité des embeddings plutôt que sur une correspondance exacte de chaîne, afin que des requêtes sémantiquement équivalentes réutilisent une réponse stockée. Un seuil de similarité détermine un succès, une TTL de fraîcheur limite l'obsolescence et une politique d'invalidation évince les entrées lorsque les données sources changent. Cela réduit le coût et la latence sur les trafics à fort volume et se distingue de la mise en cache du préfixe de prompt ou du cache KV.

Des budgets stricts et appliqués, par tâche et par session, portant sur les tokens, les dollars, le temps d'horloge et le nombre d'appels d'outils, qui sont vérifiés avant chaque appel et mettent en pause ou arrêtent l'exécution, plutôt que de simples alertes de coût a posteriori. Les mécanismes incluent des vérifications de budget en amont qui déclenchent un arrêt pour dépassement de budget avant que l'appel suivant n'atteigne le fournisseur, un disjoncteur de vélocité de tokens qui se déclenche sur les boucles incontrôlées, des détecteurs de boucle qui stoppent les cycles sans progrès, et des plafonds de budget délégués où un agent parent accorde à un agent enfant une limite de dépense qu'il ne peut pas dépasser. À distinguer de `cost-aware-model-selection`, qui oriente vers des modèles moins chers pour réduire le coût unitaire mais n'impose aucun plafond et n'arrête pas la dépense.