Santé du service
Débit de requêtes, temps d’attente en file, temps jusqu’au premier jeton, latence totale, erreurs, réessais et saturation.
Guide de l’inférence IA
Supervision de l’inférence IA
Surveillez ensemble la santé du service, le comportement du modèle, la qualité des sorties et la dépense, pour qu’une API en bonne santé ne puisse pas masquer une expérience produit dégradée.
Quatre couches à observer
Comportement du modèle
Version du modèle et du prompt, nombre de jetons, raison d’arrêt, appels d’outils, replis et troncature du contexte.
Qualité produit
Réussite de la tâche, ancrage dans les sources, contrôles de sûreté, retours utilisateurs et échantillons de production relus.
Économie
Requêtes et jetons par fonctionnalité, facturation du fournisseur, efficacité du cache, consommation de quota et coût par tâche réussie.
Alerter sur l’impact utilisateur
- Définissez des objectifs de latence et d’erreur pour chaque chemin d’inférence exposé aux utilisateurs.
- Alertez sur des dérives durables et sur le burn rate, pas sur des requêtes bruyantes isolées.
- Segmentez par modèle, fournisseur, région, version et fonctionnalité avant d’agréger.
- Attachez un runbook, un responsable et une action de rollback à chaque alerte d’astreinte.
Boucler la gestion d’incident
- Confirmez le périmètre à l’aide des traces et des métadonnées de version.
- Réduisez l’impact par rollback, repli, limitation de débit ou contrôles de fonctionnalité.
- Conservez des preuves respectueuses de la vie privée pour le diagnostic et le rejeu d’évaluation.
- Ajoutez le mode de défaillance aux tests, aux tableaux de bord et au runbook d’exploitation.