Loading...
🔭
Agenten-Observability und -Tracing(AOT)
Tracing auf Schritt-Ebene im Produktivbetrieb, das jeden Modellaufruf, Tool-Aufruf, Workflow-Schritt und Sub-Agenten als Span in einem einzigen Run-Tree erfasst, angereichert mit Kennzahlen zu Tokens, Latenz und Kosten. Standardisiert über die semantischen Konventionen von OpenTelemetry GenAI (gen_ai.*-Attribute) und in Plattformen wie LangSmith, Braintrust und Datadog sichtbar gemacht, ist es das Live-Signal zum Debuggen nicht-deterministischer Fehler in Produktion, im Unterschied zu Offline-Benchmarks, die das Verhalten vor dem Deployment bewerten.
Komplexität: mediumEvaluierung und Monitoring
In 30 seconds
- What
- Zeichnet jeden Modellaufruf, Tool-Aufruf und Workflow-Schritt als zeitgestempelten Span mit Token-Zahlen, Latenz und Kosten auf, gebündelt in einem einzigen Run-Tree für das Debugging in Produktion.
- When to use
- Produktivsysteme, in denen mehrstufige Agentenfehler nicht deterministisch sind, sich offline kaum reproduzieren lassen oder eine Ursachenanalyse über Modell- und Tool-Grenzen hinweg erfordern.
- Watch out
- Overhead und Speicherkosten steigen bei ausführlichem Logging schnell; das unbedachte Mitschreiben sensibler Daten (personenbezogene Daten, Secrets) in Prompts und Antworten schafft Compliance- und Sicherheitsrisiken.
Loading technique guide…