Loading...

🔧

Korrigierendes RAG (CRAG)

RAG-System, das schlechte Retrieval-Ergebnisse automatisch durch Qualitätsbewertung und erneutes Retrieval erkennt und korrigiert

Komplexität: highWissensabruf (RAG)

In 30 seconds

What: Ruft Dokumente ab, bewertet ihre Relevanz und startet mit verfeinerten Suchanfragen einen neuen Abruf, sobald die Qualität unter den Schwellenwert fällt.
When to use: Abrufintensive Aufgaben, bei denen die ersten Ergebnisse oft unvollständig oder veraltet sind und zusätzliche API-Aufrufe vertretbar sind.
Watch out: Zu hoch angesetzte Qualitätsschwellen lösen endlose Wiederholungsschleifen aus, zu niedrige machen das Verfahren sinnlos und verschwenden Rechenzeit.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🔧

Korrigierendes RAG (CRAG)

RAG-System, das schlechte Retrieval-Ergebnisse automatisch durch Qualitätsbewertung und erneutes Retrieval erkennt und korrigiert

Komplexität: highWissensabruf (RAG)

In 30 seconds

What: Ruft Dokumente ab, bewertet ihre Relevanz und startet mit verfeinerten Suchanfragen einen neuen Abruf, sobald die Qualität unter den Schwellenwert fällt.
When to use: Abrufintensive Aufgaben, bei denen die ersten Ergebnisse oft unvollständig oder veraltet sind und zusätzliche API-Aufrufe vertretbar sind.
Watch out: Zu hoch angesetzte Qualitätsschwellen lösen endlose Wiederholungsschleifen aus, zu niedrige machen das Verfahren sinnlos und verschwenden Rechenzeit.

30-Sekunden-Überblick

Muster: Erweitertes RAG mit expliziter Bewertung der Abrufqualität und Korrekturmaßnahmen auf Basis von Konfidenzwerten

Warum: Reduziert Halluzinationen und steigert die Genauigkeit durch Qualitätsbewertung und adaptive Korrekturstrategien

Kernerkenntnis: Dreistufige Korrekturstrategie: Ergebnisse mit hoher Konfidenz verfeinern, mit mittlerer ergänzen, mit niedriger erneut abrufen

Schnelle Umsetzung

1Erste Abfrage:Kandidatendokumente per Dense-/Sparse-/Hybrid-Suche abrufen

2Qualitätsbewertung:Abfragequalität mit Konfidenzbewertung einstufen (hoch/mittel/niedrig)

3Korrekturmaßnahme:Je nach Konfidenzband verfeinern, ergänzen oder erneut abrufen

4Wissensverfeinerung:Belege zerlegen und neu zusammensetzen für optimalen Kontext

5Generieren und verifizieren:Antwort mit Zitaten und optionaler Verifikation erzeugen

Example: Anfrage → abrufen → evaluate_quality → [korrigieren/ergänzen/erneut abrufen] → verfeinern → generieren

Do’s und Don’ts

✅Expliziten Evaluator für Abfragequalität mit kalibrierten Konfidenzschwellen einsetzen

✅Wissensverfeinerung mit Zerlegen und Wiederzusammensetzen der Belege nutzen

✅Abrufergebnisse mittlerer Konfidenz durch Websuche ergänzen

✅Strenge Zitierpflichten mit Herkunftsverfolgung durchsetzen

✅Evaluator-Ausgaben und verfeinertes Wissen zwischenspeichern

❌Fehlkalibrierung des Evaluators ohne regelmäßige Validierung der Konfidenzwerte zulassen

❌Schutz vor Query-Drift beim korrigierenden erneuten Abruf auslassen

❌Unbegrenzte Korrekturschleifen ohne Kosten- und Latenzkontrolle bauen

❌Veraltete und aktuelle Quellen ohne zeitlichen Abgleich mischen

❌Abstinenzmechanismen vernachlässigen, wenn die Konfidenz dauerhaft niedrig bleibt

Wann einsetzen

Einsetzen, wenn

• Anwendungen mit hohem Risiko, die geprüfte Genauigkeit und Herkunft erfordern
• Sich schnell verändernde Domänen mit häufigen Inhaltsaktualisierungen
• Verrauschte oder heterogene Wissensbasen mit schwankender Qualität
• Long-Tail-Anfragen, bei denen der erste Abruf oft scheitert
• Regulierte Umgebungen, die explizite Belegverankerung verlangen

Vermeiden, wenn

• Echtzeitanwendungen mit strengen Latenzanforderungen
• Closed-Book-Aufgaben, bei denen parametrisches Wissen ausreicht
• Hochwertige homogene Korpora mit konstantem Recall
• Umgebungen, die externen Webzugriff zur Ergänzung untersagen
• Einfache Faktenanfragen, bei denen Standard-RAG zuverlässig arbeitet

Kennzahlen

Antworttreue

Faktische Korrektheit und Verankerung in den abgerufenen Belegen

Kalibrierung des Evaluators

Genauigkeit der Qualitätskonfidenz-Vorhersagen (ROC-AUC, ECE)

Wirksamkeit der Korrektur

Qualitätsgewinn durch Korrekturmaßnahmen

Abrufpräzision

Relevanz der Dokumente nach der Korrektur

Zitatabdeckung

Anteil der durch Belege gestützten Aussagen

Verteilung der Aktionen

Balance der Entscheidungen nutzen/ergänzen/erneut abrufen

Wichtigste Anwendungsfälle

Juristische Recherche: Rechtsprechungsanalyse mit geprüften Quellen und zeitlicher Genauigkeit

Medizinische Q&A: klinische Entscheidungsunterstützung mit evidenzbasierten Empfehlungen und Sicherheitsprüfungen

Finanzanalyse: Marktforschung, die Echtzeitdaten mit historischem Wissen verbindet

Politikrecherche: staatliche und regulatorische Informationen, die aktuell sein müssen

Technische Dokumentation: Software- und API-Dokumentation mit versionsspezifischen Korrekturen

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlagenarbeiten und CRAG-Forschung

Corrective Retrieval Augmented Generation (Yan et al., 2024)

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (Asai et al., 2023)

Active Retrieval Augmented Generation (Jiang et al., 2023)

Qualitätsbewertung und Evaluation

Searching for Best Practices in Retrieval-Augmented Generation (Barnett et al., 2024)

RAGAS: Automated Evaluation of Retrieval Augmented Generation (Es et al., 2023)

Benchmarking Large Language Models in Retrieval-Augmented Generation

Wissensverfeinerung und -verarbeitung

Lost in the Middle: How Language Models Use Long Contexts (Liu et al., 2023)

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression

Chain-of-Verification Reduces Hallucination in Large Language Models (Dhuliawala et al., 2023)

Factuality Enhanced Language Models for Open-Ended Text Generation (Lee et al., 2022)

Implementierungs-Frameworks und Werkzeuge

Umsetzung des Corrective-RAG-Workflows mit LlamaIndex

LangChain-Ketten zur RAG-Bewertung und -Korrektur

Haystack-Komponenten zur Dokumentbewertung und Neuordnung

DSPy: Prompts und Gewichte von LMs für RAG-Systeme optimieren

Websuche-Integration und Ergänzung

Bing Search API für Informationsabruf in Echtzeit

Google Search API zur Wissensergänzung einbinden

Tavily Search API für KI-Anwendungen

You.com Search API für die Entwicklerintegration

Produktivbetrieb und Monitoring

LangSmith: Produktionsmonitoring für RAG-Anwendungen

Weights & Biases: Experiment-Tracking für CRAG-Systeme

Arize: Bewertung des Abrufs

Neptune: Experimentverwaltung zur Optimierung von RAG-Systemen

Loading technique guide…