Evaluierung und Monitoring

Produktionsreifes Framework zur Sicherheitsbewertung, das die Reaktionen von KI-Systemen über 12 Gefahrenkategorien hinweg misst, mit standardisierten Testprotokollen für Deployment-Entscheidungen.

Die ursprüngliche AgentBench-Studie evaluierte ihr veröffentlichtes Modellportfolio über 8 unterschiedliche Umgebungen sowie mehrstufige, offene Szenarien hinweg.

Bewertet LLM-Agenten anhand folgenreicher realer Aufgaben, die typischerweise von mehreren Berufsrollen in einem Softwareentwicklungsunternehmen erledigt würden.

Umfassender Benchmark zur Bewertung von KI-Agenten anhand offener Forschungsaufgaben des maschinellen Lernens von führenden ML-Konferenzen.

Produktionsreife Methodik, die die Prinzipien der 12-Factor-App auf skalierbare, wartbare Agentensysteme überträgt, mit umfassendem Monitoring und umfassender Evaluierung.

Die Holistic Evaluation of Language Models des Stanford CRFM, erweitert um Agentenfähigkeiten. Das ausgearbeitete Beispiel ist eine veraltete Benchmark-Momentaufnahme und keine aktuelle Modellempfehlung.

Framework für die Human-in-the-Loop-Bewertung und -Verfeinerung LLM-basierter Agenten, das es Ingenieuren ermöglicht, die Leistung des Agenten in jeder Entwicklungsphase zu steuern und zu beurteilen.

Metas umfassender Cybersicherheits-Benchmark zur Bewertung der Sicherheitsrisiken von LLM-Agenten in autonomen und Multi-Agenten-Umgebungen.

Benchmark zur Messung der Leistung von Agenten auf Basis von Frontier-Modellen bei ML-Forschungs-Engineering-Aufgaben im Vergleich zu den Fähigkeiten menschlicher Experten.

Benchmark-Suite für Software-Engineering mit SWE-bench, SWE-bench Verified und SWE-bench Live. Die im Beispiel als Vergleich genannten Modelle sind historische Referenzwerte.

Der ursprüngliche GAIA-Benchmark prüfte Schlussfolgern, Multimodalität, Web-Navigation und Werkzeugnutzung. Das genannte Vergleichsmodell ist der historische Referenzwert der Arbeit.

Ganzheitlicher Benchmark, der Agenten über fünf Domänen hinweg mit 20 Aufgaben und 3K+ Prompts bewertet. Das Beispiel behält die Modellauswahl aus der Zeit der Veröffentlichung bei.

Umfassende Evaluierung von Web-Agenten mit WebArena, VisualWebArena und WorkArena zum Testen realistischer Web-Interaktionen in isolierten Sandbox-Umgebungen.

Regulatorisches Rahmenwerk der Europäischen Union für die Bewertung von KI-Agenten, mit risikobasierter Klassifizierung, Anforderungen an GPAI-Modelle und verpflichtender Compliance für den Einsatz in der EU.

Umfassendes Evaluierungs-Framework des AI Safety Institute für Frontier-KI-Systeme, abgestimmt mit der AI-Safety-Arbeit des NIST, für eine Sicherheitsbewertung nach staatlichem Standard.

Mehrsprachiger Benchmark für Agentenleistung und -sicherheit in 12 Sprachen. Das Beispiel ist eine datierte Momentaufnahme des Benchmarks und keine aktuelle Modellempfehlung.

Anthropics Framework zur Bewertung der KI-Sicherheit anhand konstitutioneller Prinzipien, einschließlich Tests der Jailbreak-Resistenz und einer Bewertung der Harmlosigkeit.

Tracing auf Schritt-Ebene im Produktivbetrieb, das jeden Modellaufruf, Tool-Aufruf, Workflow-Schritt und Sub-Agenten als Span in einem einzigen Run-Tree erfasst, angereichert mit Kennzahlen zu Tokens, Latenz und Kosten. Standardisiert über die semantischen Konventionen von OpenTelemetry GenAI (gen_ai.*-Attribute) und in Plattformen wie LangSmith, Braintrust und Datadog sichtbar gemacht, ist es das Live-Signal zum Debuggen nicht-deterministischer Fehler in Produktion, im Unterschied zu Offline-Benchmarks, die das Verhalten vor dem Deployment bewerten.

Benchmark, der den Agenten zwischen einen simulierten menschlichen Nutzer und eine Reihe von Domänen-APIs (Einzelhandel, Fluggesellschaft) stellt, wobei er ein schriftliches Richtliniendokument befolgen muss. Statt eine einzelne Antwort zu prüfen, vergleicht er nach dem vollständigen Gespräch den finalen Datenbankzustand mit einem Zielzustand. Seine charakteristische Kennzahl ist pass^k, die Wahrscheinlichkeit, alle k unabhängigen Versuche derselben Aufgabe zu bestehen, was Konsistenzfehler aufdeckt, die gemittelte pass@1-Werte verbergen.

Die Disziplin im Entwicklungslebenszyklus, Agenten und Prompts zuerst gegen Evals zu bauen. Sorgfältig kuratierte Golden-Datasets (etwa 50 bis 500 Fälle, gewichtet nach bekannten Fehlermodi) werden zusammen mit den Prompts versioniert, bei jedem Pull Request als Regressionssuite ausgeführt, und Merge oder Promotion sind an Metrik-Schwellenwerte gebunden. Die Pipeline fixiert die Versionen von Modell und Judge, sodass ein stilles modellseitiges Update aufseiten des Anbieters als Regression erkannt statt unbemerkt übernommen wird, und staffelt ihre Prüfungen als Lint, dann Offline-Eval, dann ein Kosten-Gate, bevor eine Änderung gemergt werden kann. Zu unterscheiden von agent-observability-tracing, das Laufzeit-Telemetrie und kein Gate vor dem Merge ist, und von festen öffentlichen Benchmarks, die keine teameigenen Regressionssuiten in der CI sind.

Die Deployment-Seite des sicheren Ausrollens einer Agenten- oder Prompt-Version. Der Kandidat läuft zunächst im Schattenmodus: Er wird auf echtem Produktionsverkehr ausgeführt, während seine Ausgabe den Nutzern vorenthalten und offline mit der ausgelieferten Version verglichen wird, geht dann als Canary auf 1 bis 5 Prozent des Live-Verkehrs, bewertet durch Online-Evals gegen eine Kontrollgruppe, und anschließend in eine schrittweise Hochskalierung, mit automatischem Rollback in dem Moment, in dem eine überwachte Kennzahl sich verschlechtert. Die Kombination von Online-Evals (die Live-Verkehr im laufenden Betrieb bewerten) mit Offline-Evals erfasst die Long-Tail-Fehler, die ein statisches Golden-Set nicht vorhersagen kann. Zu unterscheiden von eval-driven-agent-development, das Änderungen offline vor dem Merge kontrolliert, während dieses Muster die Online-Hochskalierung nach dem Merge steuert.

Ein LLM-gesteuerter Nutzersimulator, parametrisiert durch vielfältige Personas wie verwirrte, feindselige, ungeduldige oder das Ziel wechselnde Nutzer, dient als Test-Harness, der einen Konversationsagenten autonom durch viele mehrschrittige Dialoge führt. Diese simulierten Gespräche im großen Maßstab auszuführen, bringt verlorenen Kontext, Richtlinienverstöße und Halluzinationen zum Vorschein, bevor echte Nutzer auf sie stoßen, und erkundet Zweige des Dialogbaums, die statische einschrittige Golden-Cases nicht erreichen. Es erfordert bewusste Persona-Vielfalt und Zielausrichtung, um den blinden Fleck eines einzelnen kooperativen Simulators zu vermeiden, der sich gefälliger verhält als echte Nutzer. Zu unterscheiden von tau-bench, einem festen Benchmark, der einen einzigen Nutzersimulator einbettet, und von eval-driven-agent-development, dessen Goldens statische einschrittige Fälle sind, während dieser Ansatz dynamischen mehrschrittigen Verkehr erzeugt.