Loading...
🔭
Наблюдаемость и трассировка агентов(AOT)
Пошаговая трассировка в продакшене, которая записывает каждый вызов модели, вызов инструмента, шаг рабочего процесса и субагента как span в едином дереве запуска с аннотациями по метрикам токенов, задержки и стоимости. Стандартизированная через семантические соглашения OpenTelemetry GenAI (атрибуты gen_ai.*) и отображаемая на платформах вроде LangSmith, Braintrust и Datadog, она служит оперативным сигналом для отладки недетерминированных сбоев в продакшене, в отличие от офлайн-бенчмарков, которые оценивают поведение до развёртывания.
Сложность: mediumОценка и мониторинг
In 30 seconds
- What
- Записывает каждый вызов модели, вызов инструмента и шаг рабочего процесса как спан с временной меткой, количеством токенов, задержкой и стоимостью, собирая всё в единое дерево запуска для отладки в продакшене.
- When to use
- Продакшен-системы, где сбои многошаговых агентов недетерминированы, плохо воспроизводятся офлайн или требуют анализа первопричин на стыке модели и инструментов.
- Watch out
- Накладные расходы и стоимость хранения быстро растут при подробном логировании, а неаккуратная запись чувствительных данных (персональных данных, секретов) из промптов и ответов создаёт риски для комплаенса и безопасности.
Loading technique guide…