Руководство по инференсу

Мониторинг ИИ-инференса

Следите за здоровьем сервиса, поведением модели, качеством ответов и расходами вместе, чтобы здоровый API не скрывал деградацию продуктового опыта.

Частота запросов, время в очереди, время до первого токена, общая задержка, ошибки, повторы и насыщение.

Версия модели и промпта, количество токенов, причина завершения, вызовы инструментов, запасные маршруты и обрезка контекста.

Успешность задач, обоснованность ответов, проверки безопасности, обратная связь пользователей и разобранные вручную продакшен-примеры.

Запросы и токены в разрезе функций, счета провайдеров, эффективность кеша, расход квот и стоимость успешно выполненной задачи.

Задайте цели по задержке и ошибкам для каждого пользовательского пути инференса.
Алертите по устойчивым изменениям и скорости расходования бюджета ошибок, а не по отдельным шумным запросам.
Сегментируйте по модели, провайдеру, региону, релизу и функции до агрегации.
К каждому будящему алерту приложите ранбук, владельца и действие отката.

Подтвердите масштаб по трассировкам и метаданным релиза.
Уменьшите влияние откатом, запасным маршрутом, троттлингом или отключением функции.
Сохраните безопасные с точки зрения приватности свидетельства для диагностики и повторного прогона оценок.
Добавьте этот режим отказа в тесты, дашборды и эксплуатационный ранбук.

Четыре слоя наблюдения

Частота запросов, время в очереди, время до первого токена, общая задержка, ошибки, повторы и насыщение.

Алертите по влиянию на пользователя

Задайте цели по задержке и ошибкам для каждого пользовательского пути инференса.

Алертите по устойчивым изменениям и скорости расходования бюджета ошибок, а не по отдельным шумным запросам.

Сегментируйте по модели, провайдеру, региону, релизу и функции до агрегации.

К каждому будящему алерту приложите ранбук, владельца и действие отката.

Замкните цикл работы с инцидентом

Подтвердите масштаб по трассировкам и метаданным релиза.

Уменьшите влияние откатом, запасным маршрутом, троттлингом или отключением функции.

Сохраните безопасные с точки зрения приватности свидетельства для диагностики и повторного прогона оценок.

Добавьте этот режим отказа в тесты, дашборды и эксплуатационный ранбук.