Dienstzustand
Anfragerate, Wartezeit in der Warteschlange, Zeit bis zum ersten Token, Gesamtlatenz, Fehler, Retries und Sättigung.
Leitfaden KI-Inferenz
Monitoring der KI-Inferenz
Überwachen Sie Dienstzustand, Modellverhalten, Ausgabequalität und Ausgaben gemeinsam, damit eine gesunde API kein verschlechtertes Produkterlebnis verdecken kann.
Vier Ebenen, die zu beobachten sind
Modellverhalten
Modell- und Prompt-Version, Token-Zahlen, Abschlussgrund, Werkzeugaufrufe, Fallbacks und Kontextkürzungen.
Produktqualität
Aufgabenerfolg, Belegtreue, Sicherheitsprüfungen, Nutzerfeedback und geprüfte Stichproben aus dem Produktivbetrieb.
Wirtschaftlichkeit
Anfragen und Token je Feature, Anbietergebühren, Wirksamkeit des Caches, Kontingentnutzung und Kosten je erfolgreicher Aufgabe.
Auf Auswirkungen für die Nutzer alarmieren
- Legen Sie Latenz- und Fehlerziele für jeden nutzerseitigen Inferenzpfad fest.
- Alarmieren Sie bei anhaltenden Veränderungen und bei der Burn Rate, nicht bei einzelnen verrauschten Anfragen.
- Segmentieren Sie nach Modell, Anbieter, Region, Release und Feature, bevor Sie aggregieren.
- Hängen Sie an jeden eskalierenden Alert ein Runbook, eine verantwortliche Person und eine Rollback-Maßnahme.
Den Incident-Kreislauf schließen
- Bestätigen Sie den Umfang anhand von Traces und Release-Metadaten.
- Verringern Sie die Auswirkungen per Rollback, Fallback, Drosselung oder Feature-Schaltern.
- Sichern Sie datenschutzkonforme Belege für Diagnose und erneute Auswertung.
- Nehmen Sie den Fehlermodus in Tests, Dashboards und das Betriebs-Runbook auf.