Loading...

🔄

Непрерывное обучение(CL)

Обучение на последовательности задач или распределений данных с измерением и снижением потери ранее приобретённых способностей

Сложность: highОбучение и адаптация

In 30 seconds

What: Последовательно обучает модель новым задачам, одновременно измеряя и предотвращая падение качества на прежних задачах с помощью повторения, регуляризации или адаптеров под конкретные задачи.
When to use: Системам нужно со временем учиться на нескольких задачах или распределениях данных, не забывая прежние навыки и не требуя доступа ко всем историческим данным.
Watch out: Чтобы по-настоящему измерить катастрофическое забывание, нужно на каждом этапе поддерживать полную матрицу оценок по всем задачам, а это дорожает по мере роста числа задач.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

🔄

Непрерывное обучение(CL)

Сложность: highОбучение и адаптация

In 30 seconds

What: Последовательно обучает модель новым задачам, одновременно измеряя и предотвращая падение качества на прежних задачах с помощью повторения, регуляризации или адаптеров под конкретные задачи.
When to use: Системам нужно со временем учиться на нескольких задачах или распределениях данных, не забывая прежние навыки и не требуя доступа ко всем историческим данным.
Watch out: Чтобы по-настоящему измерить катастрофическое забывание, нужно на каждом этапе поддерживать полную матрицу оценок по всем задачам, а это дорожает по мере роста числа задач.

Обзор за 30 секунд

Паттерн: Последовательное освоение новых задач с сохранением знаний о прежних без катастрофического забывания

Почему: Обеспечивает пожизненное обучение, адаптацию к меняющимся условиям и сохранение накопленных знаний со временем

Ключевая идея: Балансировать пластичность для нового обучения и стабильность для прежних знаний через специализированные механизмы удержания

Быстрая реализация

1Базовая модель:Обучите начальную модель на первой задаче или домене

2Стратегия:Выберите подход к смягчению катастрофического забывания

3Последовательно:Осваивайте новые задачи, сохраняя прежние знания

4Оценка:Проверьте качество на всех пройденных задачах

5Адаптация:Скорректируйте стратегию по метрикам забывания

Example: task_sequence → continual_strategy → updated_model → performance_retention

Что делать и чего избегать

✅Используйте регуляризацию для ограничения изменений весов

✅Внедрите воспроизведение опыта с разнообразным отбором примеров

✅Отслеживайте метрики обратного и прямого переноса

✅Применяйте динамические архитектуры для расширения ёмкости

✅Используйте мета-обучение для быстрой адаптации к задачам

✅Реализуйте экономные по памяти стратегии хранения

❌Игнорировать измерение катастрофического забывания

❌Наивно дообучать без защитных механизмов

❌Хранить все прежние данные (проблемы приватности и объёма)

❌Пропускать сравнение с многозадачным обучением

❌Оценивать непрерывное обучение по одной метрике

Когда использовать

Используйте, когда

• Задачи поступают последовательно при ограниченной памяти
• Требования приватности не позволяют хранить старые данные
• Нестационарные среды, требующие адаптации
• Развёртывание систем пожизненного обучения
• Сценарии периферийных вычислений с ограниченными ресурсами

Избегайте, когда

• Все задачи доступны одновременно
• Неограниченные память и вычислительные ресурсы
• Задачи полностью не связаны между собой
• Статичная среда с фиксированными требованиями
• Достаточно простого многозадачного обучения

Ключевые метрики

Средняя точность

Среднее качество по всем задачам

Обратный перенос

Изменение качества на прежних задачах

Прямой перенос

Начальное качество на новых задачах

Катастрофическое забывание

Скорость деградации качества

Эффективность обучения

Число примеров, нужных на задачу

Объём занимаемой памяти

Темп роста требований к хранилищу

Основные сценарии использования

Диалоговый ИИ: непрерывное освоение новых диалоговых паттернов и доменов

Рекомендательные системы: адаптация к меняющимся предпочтениям пользователей

Автономный транспорт: освоение новых сценариев вождения без утраты имеющихся навыков

Медицинская диагностика: постепенное освоение новых заболеваний и состояний

Кибербезопасность: непрерывная адаптация к новым паттернам атак и угрозам

Периферийные ИИ-устройства: обновление возможностей с сохранением текущей функциональности

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие статьи

Catastrophic Forgetting in Connectionist Networks (French, 1999)

Overcoming Catastrophic Forgetting in Neural Networks (Kirkpatrick et al., 2017)

Continual Learning with Deep Generative Replay (Shin et al., 2017)

Gradient Episodic Memory for Continual Learning (Lopez-Paz & Ranzato, 2017)

Подходы на основе регуляризации

Overcoming catastrophic forgetting in neural networks

Synaptic Intelligence (Zenke et al., 2017)

Memory Aware Synapses (Aljundi et al., 2018)

Learning without Forgetting (Li & Hoiem, 2016)

Методы на основе памяти

Experience Replay for Continual Learning (Rolnick et al., 2019)

Efficient Lifelong Learning with A-GEM (Chaudhry et al., 2019)

Episodic Memory in Lifelong Language Learning (de Masson d'Autume et al., 2019)

Meta-Experience Replay for Continual Learning (Riemer et al., 2019)

Методы динамической архитектуры

Progressive Neural Networks (Rusu et al., 2016)

PackNet: Adding Multiple Tasks to a Single Network (Mallya & Lazebnik, 2018)

Compacting, Picking and Growing (CPG) for Unforgetting Continual Learning (Hung et al., 2019)

Supermasks in Superposition (Wortsman et al., 2020)

Недавние достижения (2022-2024)

Online Continual Learning for Interactive Instruction Following Agents (Zheng et al., 2024)

Бенчмарки и оценка

CORe50: a New Dataset and Benchmark for Continuous Object Recognition (Lomonaco & Maltoni, 2017)

AVALANCHE: an End-to-End Library for Continual Learning (Lomonaco et al., 2021)

Теоретический анализ

A continual learning survey: Defying forgetting in classification tasks

Rethinking Experience Replay: a Bag of Tricks for Continual Learning

Ресурсы по реализации

AVALANCHE: сквозная библиотека непрерывного обучения

Базовые решения непрерывного обучения (Facebook Research)

Фреймворк непрерывного обучения для PyTorch

Sequoia: программный фреймворк для исследований непрерывного обучения

Инструменты и библиотеки

ContinualAI/avalanche: комплексная CL-библиотека

pytorch/ignite: утилиты непрерывного обучения

Continuum: библиотека PyTorch для непрерывного обучения

River: онлайн-машинное обучение на Python

Обзоры и рецензии

Continual Lifelong Learning with Neural Networks: A Review (Parisi et al., 2019)

Three scenarios for continual learning (van de Ven & Tolias, 2019)

A Comprehensive Survey of Continual Learning (Wang et al., 2023)

Сообщество и исследовательские группы

ContinualAI: международное исследовательское сообщество

Воркшоп CLVISION (CVPR/ICCV)

Воркшоп ICML по пожизненному обучению

Loading technique guide…