Loading...
🔭
Observabilité et traçage des agents(AOT)
Traçage en production au niveau de chaque étape qui enregistre chaque appel de modèle, appel d'outil, étape de workflow et sous-agent sous forme de span dans un arbre d'exécution unique, annoté de métriques de tokens, de latence et de coût. Standardisé via les conventions sémantiques OpenTelemetry GenAI (attributs gen_ai.*) et exposé dans des plateformes comme LangSmith, Braintrust et Datadog, c'est le signal en temps réel pour déboguer les défaillances non déterministes en production, à distinguer des benchmarks hors ligne qui notent le comportement avant le déploiement.
Complexité: mediumÉvaluation et surveillance
In 30 seconds
- What
- Enregistre chaque appel de modèle, chaque appel d'outil et chaque étape du workflow sous forme de spans horodatés, avec le nombre de tokens, la latence et le coût, organisés en un arbre d'exécution unique pour le débogage en production.
- When to use
- Systèmes en production où les défaillances d'agents multi-étapes sont non déterministes, difficiles à reproduire hors ligne, ou exigent une analyse de cause racine à travers les frontières entre modèle et outils.
- Watch out
- La surcharge et les coûts de stockage grimpent vite avec une journalisation verbeuse, et la capture négligente de données sensibles (données personnelles, secrets) dans les prompts et les réponses crée un risque de conformité et de sécurité.
Loading technique guide…