Agentic DesignMuster und Werkzeuge für produktive KI-Agenten

Loading...

⚖️

LLM als Richter(LJ)

Eine spezielle Ausprägung des Produzent-Kritiker-Musters, bei der ein LLM als Kritiker fungiert, um Ausgaben zu bewerten

Komplexität: lowReflexion

In 30 seconds

What: Erzeugt mehrere Ausgabekandidaten und lässt sie von einem zweiten LLM anhand eines Bewertungsrasters benoten, um das bestbewertete Ergebnis auszuwählen.
When to use: Sie brauchen eine konsistente Qualitätsfilterung und haben Budget für mehrere LLM-Aufrufe; das Ranking zählt mehr als die Geschwindigkeit.
Watch out: Das bewertende LLM wendet Raster womöglich nicht zuverlässig konsistent an, besonders bei subjektiven Kriterien oder Grenzfällen.

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic DesignMuster und Werkzeuge für produktive KI-Agenten

Expertenhilfe Preise

Entwurfsmuster und Techniken

Loading...

⚖️

LLM als Richter(LJ)

Eine spezielle Ausprägung des Produzent-Kritiker-Musters, bei der ein LLM als Kritiker fungiert, um Ausgaben zu bewerten

Komplexität: lowReflexion

In 30 seconds

What: Erzeugt mehrere Ausgabekandidaten und lässt sie von einem zweiten LLM anhand eines Bewertungsrasters benoten, um das bestbewertete Ergebnis auszuwählen.
When to use: Sie brauchen eine konsistente Qualitätsfilterung und haben Budget für mehrere LLM-Aufrufe; das Ranking zählt mehr als die Geschwindigkeit.
Watch out: Das bewertende LLM wendet Raster womöglich nicht zuverlässig konsistent an, besonders bei subjektiven Kriterien oder Grenzfällen.

30-Sekunden-Überblick

Muster: LLMs nutzen, um Ausgaben anderer LLMs im großen Maßstab zu bewerten und zu benoten

Warum: Automatisiert die Qualitätsbewertung, ermöglicht Best-of-N-Auswahl, skaliert die Bewertung

Kernerkenntnis: Konkrete Umsetzung von Producer-Critic, bei der der Critic ein LLM mit Bewertungsprompts ist

Schnelle Umsetzung

1Kriterien definieren:Bewertungsmetriken und Rubriken festlegen

2Prompt entwerfen:Strukturierten Judge-Prompt erstellen

3Ausgaben einspeisen:Generierte Inhalte an den Judge übergeben

4Bewertungen erhalten:Bewertungen/Rankings/Entscheidungen erhalten

5Auf Ergebnisse reagieren:Ausgaben filtern, ranken oder auswählen

Example: outputs[n] → LLM_Judge(criteria) → scores[n] → select_best(scores)

Do’s und Don’ts

✅Klare, objektive Bewertungskriterien verwenden

✅Für strittige Entscheidungen ein Judge-Panel einsetzen

✅Rubriken und Beispiele in Judge-Prompts bereitstellen

✅Strukturierte Ausgabeformate (JSON) für Bewertungen nutzen

✅Judge-Konsistenz anhand bekannter Testfälle validieren

❌Vage Kriterien wie „gut“ oder „besser“ verwenden

❌Bei kritischen Entscheidungen auf einen einzelnen Judge setzen

❌Kalibrierung des Judge gegen menschliche Bewertungen auslassen

❌Dasselbe Modell zum Generieren und Bewerten nutzen (Bias)

❌Unsicherheit oder Konfidenzwerte des Judge ignorieren

Wann einsetzen

Einsetzen, wenn

• Mehrere Ausgaben bewerten
• Qualitätssicherung im großen Maßstab
• A/B-Tests von LLM-Antworten
• Automatisierte Inhaltsmoderation

Vermeiden, wenn

• Subjektive kreative Aufgaben
• Erzeugung einer einzelnen Ausgabe
• Kritische Echtzeitentscheidungen
• Rechtliche/medizinische Beurteilungen

Kennzahlen

Judge-Übereinstimmung

Korrelation mit menschlichen Bewertern

Konsistenz

Gleiches Urteil bei gleicher Eingabe

Trennschärfe

Fähigkeit, Qualitätsunterschiede zu ranken

Falsch-Positiv-Rate

Guter Inhalt als schlecht markiert

Abdeckung

% korrekt behandelter Grenzfälle

Geschwindigkeit

Bewertungen pro Sekunde

Wichtigste Anwendungsfälle

Ausgabeauswahl: 5 Antworten generieren → Judge rankt → beste an Nutzer zurückgeben

Quality Gates: prüfen, ob generierter Code/Inhalt vor dem Deployment die Standards erfüllt

A/B-Tests: Modellversionen vergleichen, indem Ausgaben zu denselben Prompts bewertet werden

Sicherheitsfilterung: Ausgaben vor der Auslieferung auf schädliche/verzerrte Inhalte prüfen

RAG-Bewertung: Relevanz der abgerufenen Dokumente zur Anfrage beurteilen

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Wissenschaftliche Arbeiten

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)

Large Language Models are not Fair Evaluators (Wang et al., 2023)

Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)

Implementierungsleitfäden

Dokumentation des OpenAI Evals Framework

LangChain-Dokumentation zur LLM-Bewertung

MLflow-Implementierung des LLM-Judge

Tools und Bibliotheken

Evidently AI - Framework für LLM-Bewertung

DeepEval - Framework für LLM-Bewertung

RAGAS - Framework für RAG-Bewertung

Arthur Bench - Suite für LLM-Bewertung

Patterns

Entwurfsmuster und Techniken

Loading...

30-Sekunden-Überblick

Muster: LLMs nutzen, um Ausgaben anderer LLMs im großen Maßstab zu bewerten und zu benoten

Warum: Automatisiert die Qualitätsbewertung, ermöglicht Best-of-N-Auswahl, skaliert die Bewertung

Kernerkenntnis: Konkrete Umsetzung von Producer-Critic, bei der der Critic ein LLM mit Bewertungsprompts ist

Schnelle Umsetzung

1Kriterien definieren:Bewertungsmetriken und Rubriken festlegen

2Prompt entwerfen:Strukturierten Judge-Prompt erstellen

3Ausgaben einspeisen:Generierte Inhalte an den Judge übergeben

4Bewertungen erhalten:Bewertungen/Rankings/Entscheidungen erhalten

5Auf Ergebnisse reagieren:Ausgaben filtern, ranken oder auswählen

Example: outputs[n] → LLM_Judge(criteria) → scores[n] → select_best(scores)

Do’s und Don’ts

✅Klare, objektive Bewertungskriterien verwenden

✅Für strittige Entscheidungen ein Judge-Panel einsetzen

✅Rubriken und Beispiele in Judge-Prompts bereitstellen

✅Strukturierte Ausgabeformate (JSON) für Bewertungen nutzen

✅Judge-Konsistenz anhand bekannter Testfälle validieren

❌Vage Kriterien wie „gut“ oder „besser“ verwenden

❌Bei kritischen Entscheidungen auf einen einzelnen Judge setzen

❌Kalibrierung des Judge gegen menschliche Bewertungen auslassen

❌Dasselbe Modell zum Generieren und Bewerten nutzen (Bias)

❌Unsicherheit oder Konfidenzwerte des Judge ignorieren

Wann einsetzen

Einsetzen, wenn

• Mehrere Ausgaben bewerten
• Qualitätssicherung im großen Maßstab
• A/B-Tests von LLM-Antworten
• Automatisierte Inhaltsmoderation

Vermeiden, wenn

• Subjektive kreative Aufgaben
• Erzeugung einer einzelnen Ausgabe
• Kritische Echtzeitentscheidungen
• Rechtliche/medizinische Beurteilungen

Kennzahlen

Judge-Übereinstimmung

Korrelation mit menschlichen Bewertern

Konsistenz

Gleiches Urteil bei gleicher Eingabe

Trennschärfe

Fähigkeit, Qualitätsunterschiede zu ranken

Falsch-Positiv-Rate

Guter Inhalt als schlecht markiert

Abdeckung

% korrekt behandelter Grenzfälle

Geschwindigkeit

Bewertungen pro Sekunde

Wichtigste Anwendungsfälle

Ausgabeauswahl: 5 Antworten generieren → Judge rankt → beste an Nutzer zurückgeben

Quality Gates: prüfen, ob generierter Code/Inhalt vor dem Deployment die Standards erfüllt

A/B-Tests: Modellversionen vergleichen, indem Ausgaben zu denselben Prompts bewertet werden

Sicherheitsfilterung: Ausgaben vor der Auslieferung auf schädliche/verzerrte Inhalte prüfen

RAG-Bewertung: Relevanz der abgerufenen Dokumente zur Anfrage beurteilen

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Wissenschaftliche Arbeiten

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (Zheng et al., 2023)

G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment (Liu et al., 2023)

Large Language Models are not Fair Evaluators (Wang et al., 2023)

Prometheus: Inducing Fine-grained Evaluation Capability in LLMs (Kim et al., 2024)

Implementierungsleitfäden

Dokumentation des OpenAI Evals Framework

LangChain-Dokumentation zur LLM-Bewertung

MLflow-Implementierung des LLM-Judge

Tools und Bibliotheken

Evidently AI - Framework für LLM-Bewertung

DeepEval - Framework für LLM-Bewertung

RAGAS - Framework für RAG-Bewertung

Arthur Bench - Suite für LLM-Bewertung

Loading...

LLM als Richter(LJ)

In 30 seconds

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

LLM als Richter(LJ)

In 30 seconds

30-Sekunden-Überblick

Schnelle Umsetzung

Do’s und Don’ts

Wann einsetzen

Einsetzen, wenn

Vermeiden, wenn

Kennzahlen

Wichtigste Anwendungsfälle

Referenzen und weiterführende Literatur

Wissenschaftliche Arbeiten

Implementierungsleitfäden

Tools und Bibliotheken

Verwandte Patterns

Patterns

Entwurfsmuster und Techniken

Loading...

Entwurfsmuster und Techniken

30-Sekunden-Überblick

Schnelle Umsetzung

Do’s und Don’ts

Wann einsetzen

Einsetzen, wenn

Vermeiden, wenn

Kennzahlen

Wichtigste Anwendungsfälle

Referenzen und weiterführende Literatur

Wissenschaftliche Arbeiten

Implementierungsleitfäden

Tools und Bibliotheken

Verwandte Patterns

Entwurfsmuster und Techniken