Loading...

🪞

Self-RAG(SRAG)

Selbstreflexives RAG, das adaptiv entscheidet, ob ein Retrieval nötig ist, und die Retrieval-Qualität mithilfe von Reflexions-Tokens bewertet

Komplexität: highWissensabruf (RAG)

In 30 seconds

What: Der Agent entscheidet, ob er externes Wissen abrufen soll, bewertet die Qualität der abgerufenen Inhalte und prüft seine eigene Ausgabe vor der Antwort, wobei Reflexionstoken diese Entscheidungen steuern.
When to use: Aufgaben mit hohem Anspruch an faktische Genauigkeit, bei denen die Sicherheit des Agenten schwankt, oder wenn Abrufkosten ins Gewicht fallen und unnötige Suchen entfallen sollen.
Watch out: Reflexionstoken erhöhen Latenz und Kosten; bei schlechter Kalibrierung ruft der Agent ab, wenn er es nicht sollte, oder verzichtet darauf, wenn er es müsste.

Loading technique guide…

Patterns

Loading...

Entwurfsmuster und Techniken

Loading...

🪞

Self-RAG(SRAG)

Selbstreflexives RAG, das adaptiv entscheidet, ob ein Retrieval nötig ist, und die Retrieval-Qualität mithilfe von Reflexions-Tokens bewertet

Komplexität: highWissensabruf (RAG)

In 30 seconds

What: Der Agent entscheidet, ob er externes Wissen abrufen soll, bewertet die Qualität der abgerufenen Inhalte und prüft seine eigene Ausgabe vor der Antwort, wobei Reflexionstoken diese Entscheidungen steuern.
When to use: Aufgaben mit hohem Anspruch an faktische Genauigkeit, bei denen die Sicherheit des Agenten schwankt, oder wenn Abrufkosten ins Gewicht fallen und unnötige Suchen entfallen sollen.
Watch out: Reflexionstoken erhöhen Latenz und Kosten; bei schlechter Kalibrierung ruft der Agent ab, wenn er es nicht sollte, oder verzichtet darauf, wenn er es müsste.

30-Sekunden-Überblick

Muster: RAG-System mit adaptiven Retrieval-Entscheidungen und Selbstreflexion, das trainierte Reflexions-Tokens zur Qualitätsbewertung nutzt

Warum: Verbessert die faktische Genauigkeit und reduziert Halluzinationen durch iterative Selbstkritik und selektives Wissensretrieval

Kernerkenntnis: Reflexions-Tokens ([Retrieve], [IsRel], [IsSup], [IsUse]) ermöglichen Modellen, Retrieval-Notwendigkeit und Antwortqualität zu bewerten

Schnelle Umsetzung

1Retrieval-Gate:Bewerten, ob für die Anfrage externes Wissen nötig ist

2Abrufen und ranken:Relevante Passagen abrufen und neuronales Reranking anwenden

3Entwurf generieren:Erste Antwort aus dem abgerufenen Kontext erstellen

4Selbstkritik:Reflexions-Tokens zur Bewertung der Antwortqualität nutzen

5Ausgabe verfeinern:Iterativ auf Basis der Selbstbewertung verbessern

Example: query → retrieval_gate → retrieve → generate → self_critique → [refine] → final_response

Do’s und Don’ts

✅Modelle mit Reflexions-Tokens trainieren ([Retrieve], [IsRel], [IsSup], [IsUse])

✅Retrieval-Notwendigkeit vorhersagen, um unnötigen Kontext zu vermeiden

✅Kalibrierte Konfidenzschwellen zum Auslösen der Verfeinerung nutzen

✅Zitationspflichten mit Belegverankerung durchsetzen

✅Reflexionsausgaben und Retrieval-Ergebnisse zur Effizienz cachen

❌Reflexions-Tokens unbeschränkt lassen, sodass sie ausufern

❌Die Validierung der Selbstkritik-Kalibrierung gegen Ground Truth überspringen

❌Endlose Verfeinerungsschleifen ohne Iterationsgrenzen bauen

❌Sich allein auf die Selbstbewertung ohne externe Validierung verlassen

❌Den Rechenaufwand mehrerer Generierungsrunden ignorieren

Wann einsetzen

Einsetzen, wenn

• Faktische Genauigkeit und Überprüfbarkeit sind kritische Anforderungen
• Domänenexpertise erfordert eine Balance aus parametrischem und abgerufenem Wissen
• Die Anwendung benötigt Konfidenzkalibrierung und Unsicherheitsquantifizierung
• Entscheidungen mit hohem Risiko, die nachvollziehbare Begründung und Quellen verlangen
• Wissensintensive Aufgaben in medizinischen, juristischen oder wissenschaftlichen Domänen

Vermeiden, wenn

• Einfache Anfragen, bei denen Standard-RAG bereits ausreichend genau ist
• Echtzeitanwendungen mit strengen Latenzvorgaben
• Ressourcenbeschränkte Umgebungen, die mehrere Generierungsrunden einschränken
• Domänen mit zu wenig Trainingsdaten für zuverlässige Selbstkritik
• Anwendungen, in denen der Zitationsaufwand unnötig ist

Kennzahlen

Antworttreue

Faktische Genauigkeit und Konsistenz mit den abgerufenen Belegen

Reflexionskalibrierung

Korrelation zwischen Konfidenzwerten und tatsächlicher Genauigkeit

Retrieval-Precision

Anteil der abgerufenen Passagen, die wirklich nützlich sind

Zitationsabdeckung

Anteil der Aussagen, die durch abgerufene Belege gestützt sind

Wirksamkeit der Verfeinerung

Qualitätsgewinn durch iterative Selbstkorrektur

Recheneffizienz

Qualitätsgewinn pro zusätzlichem Token oder Retrieval-Aufruf

Wichtigste Anwendungsfälle

Medizinisches Q&A: klinische Entscheidungsunterstützung mit hoher Genauigkeit und evidenzbasierten Antworten

Juristische Recherche: Rechtsprechungsanalyse mit Zitationspflicht und Konfidenzbewertung

Wissenschaftliche Literaturrecherche: Forschungssynthese mit Quellenangabe und Unsicherheitsquantifizierung

Finanzanalyse: Investmentresearch, das parametrisches Wissen und Echtzeit-Marktdaten ausbalanciert

Bildungsinhalte: akademische Betreuung mit verifizierten Informationen und Lernkonfidenz-Tracking

Referenzen und weiterführende Literatur

Vertiefen Sie Ihr Verständnis mit diesen ausgewählten Ressourcen

Grundlagenarbeiten und Self-RAG-Forschung

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (Asai et al., 2023)

SELF-REFINE: Iterative Refinement with Self-Feedback (Madaan et al., 2023)

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

Reflexions-Tokens und Trainingsmethoden

Offizielle Self-RAG-Implementierung: Training der Reflexions-Tokens

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training Language Models with Language Feedback at Scale (Scheurer et al., 2023)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

Retrieval und Kontextbewertung

When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories (Mallen et al., 2023)

Active Retrieval Augmented Generation (Jiang et al., 2023)

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering (Izacard & Grave, 2021)

Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al., 2020)

Implementierungs-Frameworks und Tools

LangChain Self-Query Retrieval und Reflection Chains

Haystack-Retriever-Dokumentation

Transformers-Bibliothek: Integration des Self-RAG-Modells

Evaluations- und Kalibrierungsmethoden

RAGAS: automatisierte Evaluierung von RAG-Anwendungen

TruLens: Bewertung der RAG-Triade

Calibrating Sequence Likelihood Improves Conditional Language Generation (Zhao et al., 2022)

Teaching Models to Express Their Uncertainty in Words (Lin et al., 2022)

Produktivbetrieb und Optimierung

LangSmith: Monitoring und Evaluierung von Self-RAG-Systemen

OpenAI Function Calling zur Umsetzung der Selbstkritik

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Loading technique guide…