Loading...

🔄

Apprentissage continu(CL)

Apprentissage à partir d'une séquence de tâches ou de distributions de données tout en mesurant et en atténuant la perte des capacités antérieures

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne le modèle successivement sur de nouvelles tâches tout en mesurant et en prévenant la perte de performance sur les tâches antérieures, par répétition, régularisation ou adaptateurs spécifiques à chaque tâche.
When to use: Les systèmes doivent apprendre de plusieurs tâches ou distributions de données au fil du temps, sans oublier leurs capacités antérieures ni exiger l'accès à l'ensemble des données historiques.
Watch out: Mesurer réellement l'oubli catastrophique impose de maintenir une matrice d'évaluation complète sur toutes les tâches à chaque étape, ce qui devient coûteux à mesure que le nombre de tâches augmente.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

🔄

Apprentissage continu(CL)

Apprentissage à partir d'une séquence de tâches ou de distributions de données tout en mesurant et en atténuant la perte des capacités antérieures

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne le modèle successivement sur de nouvelles tâches tout en mesurant et en prévenant la perte de performance sur les tâches antérieures, par répétition, régularisation ou adaptateurs spécifiques à chaque tâche.
When to use: Les systèmes doivent apprendre de plusieurs tâches ou distributions de données au fil du temps, sans oublier leurs capacités antérieures ni exiger l'accès à l'ensemble des données historiques.
Watch out: Mesurer réellement l'oubli catastrophique impose de maintenir une matrice d'évaluation complète sur toutes les tâches à chaque étape, ce qui devient coûteux à mesure que le nombre de tâches augmente.

Aperçu en 30 secondes

Modèle : Apprendre de nouvelles tâches en séquence tout en conservant les connaissances des tâches précédentes, sans oubli catastrophique

Pourquoi : Permet l'apprentissage tout au long de la vie, s'adapte aux environnements changeants et préserve les connaissances accumulées dans la durée

Idée clé : Équilibrer la plasticité pour l'apprentissage nouveau et la stabilité pour les connaissances anciennes grâce à des mécanismes de rétention dédiés

Mise en œuvre rapide

1Référence:Entraîner un modèle initial sur la première tâche ou le premier domaine

2Stratégie:Choisir une approche d'atténuation de l'oubli catastrophique

3Séquentiel:Apprendre de nouvelles tâches en préservant les connaissances anciennes

4Évaluer:Tester la performance sur toutes les tâches vues jusqu'ici

5Adapter:Ajuster la stratégie d'après les métriques d'oubli

Example: task_sequence → continual_strategy → updated_model → performance_retention

À faire et à éviter

✅Utiliser des techniques de régularisation pour contraindre les changements de poids

✅Mettre en place un rejeu d'expérience avec une sélection d'échantillons variée

✅Surveiller les métriques de transfert rétrograde et prospectif

✅Appliquer des architectures dynamiques pour étendre la capacité

✅Recourir au méta-apprentissage pour une adaptation rapide aux tâches

✅Mettre en œuvre des stratégies de stockage économes en mémoire

❌Ignorer la mesure de l'oubli catastrophique

❌Faire du fine-tuning naïf sans mécanisme de protection

❌Stocker toutes les données antérieures (problèmes de confidentialité et de stockage)

❌Sauter la comparaison de référence avec l'apprentissage multi-tâches

❌Évaluer l'apprentissage continu avec une seule métrique

Quand l’utiliser

À utiliser quand

• Arrivée séquentielle des tâches avec une mémoire limitée
• Des contraintes de confidentialité empêchent de conserver les anciennes données
• Environnements non stationnaires exigeant une adaptation
• Déploiement de systèmes d'apprentissage tout au long de la vie
• Scénarios d'edge computing à ressources contraintes

À éviter quand

• Toutes les tâches sont disponibles simultanément
• Mémoire et ressources de calcul illimitées
• Les tâches sont totalement sans rapport entre elles
• Environnement statique avec des exigences figées
• Un simple apprentissage multi-tâches suffit

Indicateurs clés

Précision moyenne

Performance moyenne sur toutes les tâches

Transfert rétrograde

Variation de performance sur les anciennes tâches

Transfert prospectif

Performance initiale sur les nouvelles tâches

Oubli catastrophique

Taux de dégradation de la performance

Efficacité de l'apprentissage

Nombre d'échantillons requis par tâche

Empreinte mémoire

Rythme de croissance des besoins de stockage

Principaux cas d’usage

IA conversationnelle : apprendre en continu de nouveaux schémas de dialogue et de nouveaux domaines

Systèmes de recommandation : s'adapter à l'évolution des préférences des utilisateurs

Véhicules autonomes : apprendre de nouveaux scénarios de conduite sans oublier les compétences acquises

Diagnostic médical : apprendre progressivement de nouvelles maladies et pathologies

Cybersécurité : s'adapter en continu aux nouveaux schémas d'attaque et aux nouvelles menaces

Appareils d'IA en périphérie : mettre à jour les capacités tout en préservant les fonctions existantes

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Catastrophic Forgetting in Connectionist Networks (French, 1999)

Overcoming Catastrophic Forgetting in Neural Networks (Kirkpatrick et al., 2017)

Continual Learning with Deep Generative Replay (Shin et al., 2017)

Gradient Episodic Memory for Continual Learning (Lopez-Paz & Ranzato, 2017)

Approches fondées sur la régularisation

Overcoming catastrophic forgetting in neural networks

Synaptic Intelligence (Zenke et al., 2017)

Memory Aware Synapses (Aljundi et al., 2018)

Learning without Forgetting (Li & Hoiem, 2016)

Méthodes fondées sur la mémoire

Experience Replay for Continual Learning (Rolnick et al., 2019)

Efficient Lifelong Learning with A-GEM (Chaudhry et al., 2019)

Episodic Memory in Lifelong Language Learning (de Masson d'Autume et al., 2019)

Meta-Experience Replay for Continual Learning (Riemer et al., 2019)

Méthodes à architecture dynamique

Progressive Neural Networks (Rusu et al., 2016)

PackNet: Adding Multiple Tasks to a Single Network (Mallya & Lazebnik, 2018)

Compacting, Picking and Growing (CPG) for Unforgetting Continual Learning (Hung et al., 2019)

Supermasks in Superposition (Wortsman et al., 2020)

Avancées récentes (2022-2024)

Online Continual Learning for Interactive Instruction Following Agents (Zheng et al., 2024)

Benchmarks et évaluation

CORe50: a New Dataset and Benchmark for Continuous Object Recognition (Lomonaco & Maltoni, 2017)

AVALANCHE: an End-to-End Library for Continual Learning (Lomonaco et al., 2021)

Analyse théorique

A continual learning survey: Defying forgetting in classification tasks

Rethinking Experience Replay: a Bag of Tricks for Continual Learning

Ressources d'implémentation

AVALANCHE : bibliothèque d'apprentissage continu de bout en bout

Références d'apprentissage continu (Facebook Research)

Framework d'apprentissage continu pour PyTorch

Sequoia : un framework logiciel pour la recherche en apprentissage continu

Outils et bibliothèques

ContinualAI/avalanche : bibliothèque CL complète

pytorch/ignite : utilitaires d'apprentissage continu

Continuum : bibliothèque PyTorch pour l'apprentissage continu

River : apprentissage automatique en ligne en Python

Revues et synthèses

Continual Lifelong Learning with Neural Networks: A Review (Parisi et al., 2019)

Three scenarios for continual learning (van de Ven & Tolias, 2019)

A Comprehensive Survey of Continual Learning (Wang et al., 2023)

Communauté et groupes de recherche

ContinualAI : communauté de recherche internationale

Atelier CLVISION (CVPR/ICCV)

Atelier ICML sur l'apprentissage tout au long de la vie

Loading technique guide…