Loading...

🧳

Apprentissage basé sur la mémoire(MBL)

Améliore le comportement de l'agent en récupérant et en réutilisant des expériences stockées au moment de la décision, plutôt qu'en mettant à jour les poids du modèle. Les interactions passées, les résultats et les retours des utilisateurs sont indexés sous forme de souvenirs et rappelés par similarité pour orienter les nouvelles décisions, ce qui permet une personnalisation continue sans réentraînement.

Complexité: mediumApprentissage et adaptation

In 30 seconds

What: Stocke les interactions passées avec leurs résultats et les retours reçus, puis retrouve des cas similaires au moment de décider, afin d'orienter les nouveaux choix sans réentraîner le modèle.
When to use: La personnalisation compte au fil d'interactions répétées et vous pouvez capter des signaux de retour fiables pour pondérer les expériences passées à réutiliser.
Watch out: La qualité du rappel chute nettement si les souvenirs ne portent pas d'étiquette de résultat claire ou si l'appariement par similarité fait remonter des cas passés hors sujet dans les décisions en cours.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

🧳

Apprentissage basé sur la mémoire(MBL)

Complexité: mediumApprentissage et adaptation

In 30 seconds

What: Stocke les interactions passées avec leurs résultats et les retours reçus, puis retrouve des cas similaires au moment de décider, afin d'orienter les nouveaux choix sans réentraîner le modèle.
When to use: La personnalisation compte au fil d'interactions répétées et vous pouvez capter des signaux de retour fiables pour pondérer les expériences passées à réutiliser.
Watch out: La qualité du rappel chute nettement si les souvenirs ne portent pas d'étiquette de résultat claire ou si l'appariement par similarité fait remonter des cas passés hors sujet dans les décisions en cours.

Aperçu en 30 secondes

Modèle : Apprendre en stockant, récupérant et adaptant depuis une banque mémoire d'expériences et d'exemples passés

Pourquoi : Permet l'apprentissage few-shot, évite l'oubli catastrophique et soutient la personnalisation grâce à l'expérience accumulée

Idée clé : Un système de mémoire efficace combine stockage efficient, récupération intelligente et intégration adaptative des expériences passées

Mise en œuvre rapide

1Stocker:Constituer une banque mémoire d'expériences, d'exemples ou de motifs

2Indexer:Créer un mécanisme de récupération efficace (embeddings, clés)

3Récupérer:Trouver les souvenirs pertinents selon le contexte courant

4Adapter:Utiliser les souvenirs récupérés pour guider les prédictions courantes

5Mettre à jour:Ajouter de nouvelles expériences et gérer la capacité mémoire

Example: experience_bank + query → similarity_search → relevant_memories → adapted_response

À faire et à éviter

✅Utiliser une recherche de similarité efficace (FAISS, plus proches voisins approchés)

✅Implémenter des mécanismes de consolidation et d'oubli de la mémoire

✅Stocker des exemples positifs et négatifs pour mieux apprendre

✅Utiliser des mémoires hiérarchiques pour différentes échelles de temps

✅Appliquer la relecture mémoire pour éviter l'oubli catastrophique

✅Ajuster la capacité mémoire selon l'importance des éléments

❌Stocker des souvenirs sans se soucier de l'efficacité de récupération

❌Utiliser une mémoire illimitée sans stratégie d'élagage

❌Ignorer les problèmes de qualité et de redondance de la mémoire

❌Appliquer sans métriques de similarité adaptées au domaine

❌Négliger la confidentialité et la sécurité des données stockées

Quand l’utiliser

À utiliser quand

• Scénarios few-shot avec peu de données d'entraînement
• Environnements non stationnaires nécessitant la relecture d'expériences
• Tâches tirant parti du raisonnement analogique et du raisonnement à partir de cas
• Besoin de conserver des connaissances à long terme et d'éviter l'oubli
• La personnalisation exige de stocker des expériences propres à l'utilisateur

À éviter quand

• Les coûts de stockage et de récupération sont prohibitifs
• La tâche dispose de données abondantes et de motifs stables
• Les contraintes temps réel interdisent la consultation mémoire
• La réglementation sur la vie privée limite le stockage des données
• Reconnaissance de motifs simple, sans besoin d'exemples

Indicateurs clés

Précision de récupération

Précision/rappel de la récupération des souvenirs pertinents

Utilisation de la mémoire

Exploitation effective des expériences stockées

Vitesse d'adaptation

Gain de vitesse d'apprentissage grâce à la mémoire

Efficacité mémoire

Coût de stockage vs gain de performance

Résistance à l'oubli

Rétention des connaissances dans le temps

Latence de récupération

Temps pour trouver et exploiter les souvenirs pertinents

Principaux cas d’usage

Apprentissage few-shot : apprendre de nouvelles tâches à partir de très peu d'exemples grâce à la mémoire de cas similaires

Recommandations personnalisées : stocker les préférences et comportements des utilisateurs pour la personnalisation

Apprentissage tout au long de la vie : conserver les connaissances sur plusieurs tâches sans oubli catastrophique

Raisonnement à partir de cas : résoudre de nouveaux problèmes en récupérant et adaptant des solutions passées similaires

Recherche d'architecture neuronale : mémoriser les architectures prometteuses et les motifs de conception

Apprentissage continu : rejouer les expériences importantes pour maintenir les performances sur les anciennes tâches

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Fondamentaux de l'apprentissage fondé sur la mémoire

Memory-Based Learning: Using Similarity for Smoothing (Aha et al., 1991)

Case-Based Reasoning: A Research Paradigm (Kolodner, 1993)

Memory-Based Learning in Neural Networks (Thrun & Pratt, 1998)

Instance-Based Learning Algorithms (Aha et al., 1991)

Réseaux de mémoire neuronaux

Memory Networks (Weston et al., 2014)

End-To-End Memory Networks (Sukhbaatar et al., 2015)

Neural Turing Machines (Graves et al., 2014)

Differentiable Neural Computers (Graves et al., 2016)

Méta-apprentissage avec mémoire

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

One-shot Learning with Memory-Augmented Neural Networks

Learning to Remember Rare Events (Kaiser et al., 2017)

Relecture d'expériences et apprentissage continu

Experience Replay for Continual Learning (Rolnick et al., 2019)

Gradient Episodic Memory for Continual Learning (Lopez-Paz & Ranzato, 2017)

Efficient Lifelong Learning with A-GEM (Chaudhry et al., 2018)

Apprentissage augmenté par récupération

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

REALM: Retrieval-Augmented Language Model Pre-Training (Guu et al., 2020)

Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al., 2020)

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

Avancées récentes (2023-2024)

Extending Context Window of Large Language Models via Positional Interpolation

Architectures de mémoire

Compressive Transformers for Long-Range Sequence Modelling (Rae et al., 2019)

Longformer: The Long-Document Transformer (Beltagy et al., 2020)

BigBird: Transformers for Longer Sequences (Zaheer et al., 2020)

Systèmes de mémoire épisodique

Neural Episodic Control (Pritzel et al., 2017)

Model-Free Episodic Control (Blundell et al., 2016)

Episodic Memory in Lifelong Language Learning (d'Autume et al., 2019)

Been There, Done That: Meta-Learning with Episodic Recall

Frameworks d'implémentation

FAISS : bibliothèque de recherche de similarité efficace

Weaviate : base de données vectorielle pour le ML

Pinecone : service de base de données vectorielle

Milvus : système de gestion de base de données vectorielle

Outils de gestion de la mémoire

Annoy : bibliothèque de plus proches voisins approchés

ScaNN : plus proches voisins passant à l'échelle, par Google

Hnswlib : recherche rapide de plus proches voisins approchés

LanceDB : base de données vectorielle pour applications d'IA

Applications en production

OpenAI : GPT avec systèmes de récupération et de mémoire

Google : LaMDA avec mémoire et récupération

Facebook AI : systèmes de recommandation augmentés par la mémoire

DeepMind : systèmes de mémoire pour l'apprentissage par renforcement

Évaluation et benchmarks

MemN2N : réseaux de mémoire pour la réponse aux questions

Tâches bAbI : benchmark de mémoire et de raisonnement

Benchmark d'apprentissage continu (CLB)

Suite d'évaluation du méta-apprentissage

Loading technique guide…