サービスの健全性
リクエストレート、キューでの待ち時間、最初のトークンまでの時間、全体のレイテンシ、エラー、リトライ、飽和度。
AI推論ガイド
AI推論のモニタリング
サービスの健全性、モデルの挙動、出力の品質、支出をまとめて監視し、APIが健全に見えるまま製品体験の劣化が隠れてしまう状態を防ぎます。
観測すべき4つの層
モデルの挙動
モデルとプロンプトのバージョン、トークン数、終了理由、ツール呼び出し、フォールバック、コンテキストの切り詰め。
製品の品質
タスクの成功率、根拠への忠実さ、安全性チェック、ユーザーからのフィードバック、レビュー済みの本番サンプル。
経済性
機能別のリクエスト数とトークン数、プロバイダーへの支払い、キャッシュの効き、クォータの消費、成功タスクあたりのコスト。
ユーザーへの影響でアラートを出す
- ユーザーに見える推論経路ごとに、レイテンシとエラーの目標を定めます。
- 単発のノイズではなく、継続的な変化とバーンレートでアラートを出します。
- 集計する前に、モデル、プロバイダー、リージョン、リリース、機能で切り分けます。
- 呼び出しを伴うアラートには必ず、ランブック、担当者、ロールバック手段を紐づけます。
インシデントのループを閉じる
- トレースとリリースのメタデータで影響範囲を確認します。
- ロールバック、フォールバック、スロットリング、機能の制御で影響を抑えます。
- 原因の切り分けと評価の再実行のために、プライバシーに配慮した証跡を残します。
- その障害モードをテスト、ダッシュボード、運用ランブックに追加します。