Loading...

🪞

Self-RAG(SRAG)

RAG auto-réflexif qui détermine de manière adaptative la nécessité de récupérer et évalue la qualité de la récupération à l'aide de jetons de réflexion

Complexité: highRécupération de connaissances (RAG)

In 30 seconds

What: L'agent décide s'il doit récupérer des connaissances externes, évalue la qualité du contenu récupéré et juge sa propre sortie avant de répondre, en s'appuyant sur des jetons de réflexion pour guider ces décisions.
When to use: Tâches exigeant une exactitude factuelle où la confiance de l'agent varie, ou lorsque le coût de la récupération compte et que vous voulez éviter les recherches inutiles.
Watch out: Les jetons de réflexion ajoutent de la latence et du coût ; un mauvais calibrage pousse l'agent à récupérer quand il ne devrait pas, ou à s'en passer quand il le faudrait.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

🪞

Self-RAG(SRAG)

RAG auto-réflexif qui détermine de manière adaptative la nécessité de récupérer et évalue la qualité de la récupération à l'aide de jetons de réflexion

Complexité: highRécupération de connaissances (RAG)

In 30 seconds

What: L'agent décide s'il doit récupérer des connaissances externes, évalue la qualité du contenu récupéré et juge sa propre sortie avant de répondre, en s'appuyant sur des jetons de réflexion pour guider ces décisions.
When to use: Tâches exigeant une exactitude factuelle où la confiance de l'agent varie, ou lorsque le coût de la récupération compte et que vous voulez éviter les recherches inutiles.
Watch out: Les jetons de réflexion ajoutent de la latence et du coût ; un mauvais calibrage pousse l'agent à récupérer quand il ne devrait pas, ou à s'en passer quand il le faudrait.

Aperçu en 30 secondes

Modèle : Système RAG à décisions de recherche adaptatives et autoréflexion, utilisant des tokens de réflexion entraînés pour évaluer la qualité

Pourquoi : Améliore l'exactitude factuelle et réduit les hallucinations grâce à l'autocritique itérative et à une recherche sélective des connaissances

Idée clé : Les tokens de réflexion ([Retrieve], [IsRel], [IsSup], [IsUse]) permettent aux modèles d'évaluer la nécessité de la recherche et la qualité de la réponse

Mise en œuvre rapide

1Porte de recherche:Déterminer si des connaissances externes sont nécessaires pour la requête

2Rechercher et classer:Récupérer les passages pertinents et appliquer un reranking neuronal

3Générer un brouillon:Créer une réponse initiale à partir du contexte récupéré

4Autocritique:Utiliser les tokens de réflexion pour évaluer la qualité de la réponse

5Affiner la sortie:Améliorer de façon itérative à partir de l'auto-évaluation

Example: query → retrieval_gate → retrieve → generate → self_critique → [refine] → final_response

À faire et à éviter

✅Entraîner les modèles avec des tokens de réflexion ([Retrieve], [IsRel], [IsSup], [IsUse])

✅Prédire la nécessité de la recherche pour éviter un contexte inutile

✅Utiliser des seuils de confiance calibrés pour déclencher l'affinage

✅Imposer des exigences de citation avec ancrage sur les preuves

✅Mettre en cache les sorties de réflexion et les résultats de recherche pour plus d'efficacité

❌Laisser les tokens de réflexion sans contrainte, au risque de la verbosité

❌Négliger la validation de la calibration de l'autocritique face à la vérité terrain

❌Créer des boucles d'affinage infinies sans limite d'itérations

❌Se fier uniquement à l'auto-évaluation, sans validation externe

❌Ignorer le coût de calcul de plusieurs tours de génération

Quand l’utiliser

À utiliser quand

• L'exactitude factuelle et la vérifiabilité sont des exigences critiques
• L'expertise du domaine exige d'équilibrer connaissances paramétriques et récupérées
• L'application a besoin de calibration de confiance et de quantification de l'incertitude
• Décisions à fort enjeu exigeant un raisonnement explicable et des citations
• Tâches à forte intensité de connaissances dans les domaines médical, juridique ou scientifique

À éviter quand

• Requêtes simples où le RAG standard offre déjà une précision suffisante
• Applications temps réel soumises à des contraintes de latence strictes
• Environnements à ressources limitées qui restreignent les tours de génération multiples
• Domaines dont les données d'entraînement sont insuffisantes pour une autocritique fiable
• Applications où la charge liée aux citations est superflue

Indicateurs clés

Fidélité de la réponse

Exactitude factuelle et cohérence avec les preuves récupérées

Calibration de la réflexion

Corrélation entre les scores de confiance et la précision réelle

Précision de la recherche

Proportion de passages récupérés réellement utiles

Couverture des citations

Pourcentage d'affirmations étayées par les preuves récupérées

Efficacité de l'affinage

Gain de qualité obtenu par autocorrection itérative

Efficacité de calcul

Gain de qualité par token ou appel de recherche supplémentaire

Principaux cas d’usage

Questions-réponses médicales : aide à la décision clinique exigeant une grande précision et des réponses fondées sur les preuves

Recherche juridique : analyse de jurisprudence avec exigences de citation et évaluation de la confiance

Revue de littérature scientifique : synthèse de recherche avec attribution des sources et quantification de l'incertitude

Analyse financière : recherche en investissement combinant connaissances paramétriques et données de marché en temps réel

Contenus pédagogiques : tutorat académique avec informations vérifiées et suivi de la confiance d'apprentissage

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs et recherche sur Self-RAG

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (Asai et al., 2023)

SELF-REFINE: Iterative Refinement with Self-Feedback (Madaan et al., 2023)

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

Tokens de réflexion et méthodes d'entraînement

Implémentation officielle de Self-RAG : entraînement des tokens de réflexion

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Training Language Models with Language Feedback at Scale (Scheurer et al., 2023)

Self-Consistency Improves Chain of Thought Reasoning (Wang et al., 2022)

Recherche et évaluation du contexte

When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories (Mallen et al., 2023)

Active Retrieval Augmented Generation (Jiang et al., 2023)

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering (Izacard & Grave, 2021)

Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al., 2020)

Frameworks et outils d'implémentation

LangChain Self-Query Retrieval et Reflection Chains

Documentation du Retriever Haystack

Bibliothèque Transformers : intégration du modèle Self-RAG

Méthodes d'évaluation et de calibration

RAGAS : évaluation automatisée des applications RAG

TruLens : évaluation du triptyque RAG

Calibrating Sequence Likelihood Improves Conditional Language Generation (Zhao et al., 2022)

Teaching Models to Express Their Uncertainty in Words (Lin et al., 2022)

Déploiement en production et optimisation

LangSmith : supervision et évaluation des systèmes Self-RAG

Function calling OpenAI pour implémenter l'autocritique

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Loading technique guide…