Loading...

🧳

Обучение на основе памяти(MBL)

Улучшает поведение агента за счёт извлечения и повторного использования сохранённого опыта в момент принятия решения, а не обновления весов модели. Прошлые взаимодействия, результаты и обратная связь пользователей индексируются как воспоминания и извлекаются по сходству, формируя новые решения, что обеспечивает непрерывную персонализацию без переобучения.

Сложность: mediumОбучение и адаптация

In 30 seconds

What: Сохраняет прошлые взаимодействия вместе с их исходами и обратной связью, а в момент принятия решения извлекает похожие случаи, чтобы направлять новый выбор без переобучения модели.
When to use: Персонализация важна на протяжении повторяющихся взаимодействий, и вы можете собирать надёжные сигналы обратной связи, чтобы взвешивать, какой прошлый опыт переиспользовать.
Watch out: Качество извлечения резко падает, если у воспоминаний нет чётких меток исхода или если поиск по сходству затягивает в текущие решения нерелевантные прошлые случаи.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

🧳

Обучение на основе памяти(MBL)

Сложность: mediumОбучение и адаптация

In 30 seconds

What: Сохраняет прошлые взаимодействия вместе с их исходами и обратной связью, а в момент принятия решения извлекает похожие случаи, чтобы направлять новый выбор без переобучения модели.
When to use: Персонализация важна на протяжении повторяющихся взаимодействий, и вы можете собирать надёжные сигналы обратной связи, чтобы взвешивать, какой прошлый опыт переиспользовать.
Watch out: Качество извлечения резко падает, если у воспоминаний нет чётких меток исхода или если поиск по сходству затягивает в текущие решения нерелевантные прошлые случаи.

Обзор за 30 секунд

Паттерн: Обучение за счёт хранения, извлечения и адаптации банка прошлого опыта и примеров

Почему: Обеспечивает few-shot обучение, предотвращает катастрофическое забывание и поддерживает персонализацию за счёт накопленного опыта

Ключевая идея: Эффективные системы памяти сочетают экономное хранение, умное извлечение и адаптивную интеграцию прошлого опыта

Быстрая реализация

1Сохранение:Создать банк памяти из опыта, примеров или паттернов

2Индексация:Создать эффективный механизм извлечения (эмбеддинги, ключи)

3Извлечение:Найти релевантные записи памяти по текущему контексту

4Адаптация:Использовать извлечённые записи для текущих прогнозов

5Обновление:Добавлять новый опыт и управлять объёмом памяти

Example: experience_bank + query → similarity_search → relevant_memories → adapted_response

Что делать и чего избегать

✅Использовать эффективный поиск по сходству (FAISS, приближённые ближайшие соседи)

✅Реализовать механизмы консолидации и забывания памяти

✅Хранить и положительные, и отрицательные примеры для лучшего обучения

✅Использовать иерархические структуры памяти для разных временных масштабов

✅Применять воспроизведение памяти против катастрофического забывания

✅Адаптировать объём памяти по важности записей

❌Хранить записи без учёта эффективности извлечения

❌Использовать неограниченную память без стратегий отсечения

❌Игнорировать качество и избыточность памяти

❌Применять без подходящих для домена метрик сходства

❌Пренебрегать приватностью и безопасностью хранимых данных

Когда использовать

Используйте, когда

• Few-shot сценарии с малым объёмом обучающих данных
• Нестационарные среды, требующие воспроизведения опыта
• Задачи, выигрывающие от аналогий и обучения на прецедентах
• Нужно сохранять долгосрочные знания и предотвращать забывание
• Персонализация требует хранения пользовательского опыта

Избегайте, когда

• Затраты на хранение и извлечение неприемлемы
• У задачи много обучающих данных и стабильные паттерны
• Требования реального времени не позволяют обращаться к памяти
• Требования приватности ограничивают хранение данных
• Простое распознавание паттернов без необходимости в примерах

Ключевые метрики

Точность извлечения

Точность/полнота извлечения релевантных записей

Использование памяти

Эффективность использования сохранённого опыта

Скорость адаптации

Ускорение обучения благодаря памяти

Эффективность памяти

Затраты на хранение vs прирост качества

Устойчивость к забыванию

Сохранение знаний со временем

Задержка извлечения

Время на поиск и применение релевантных записей

Основные сценарии использования

Few-shot обучение: освоение новых задач по минимуму примеров с опорой на память похожих случаев

Персонализированные рекомендации: хранение предпочтений и поведения пользователей

Пожизненное обучение: сохранение знаний по множеству задач без катастрофического забывания

Рассуждение на прецедентах: решение новых задач извлечением и адаптацией похожих прошлых решений

Поиск нейронных архитектур: запоминание перспективных архитектур и паттернов проектирования

Непрерывное обучение: повтор важного опыта для сохранения качества на старых задачах

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основы обучения на основе памяти

Memory-Based Learning: Using Similarity for Smoothing (Aha et al., 1991)

Case-Based Reasoning: A Research Paradigm (Kolodner, 1993)

Memory-Based Learning in Neural Networks (Thrun & Pratt, 1998)

Instance-Based Learning Algorithms (Aha et al., 1991)

Нейронные сети с памятью

Memory Networks (Weston et al., 2014)

End-To-End Memory Networks (Sukhbaatar et al., 2015)

Neural Turing Machines (Graves et al., 2014)

Differentiable Neural Computers (Graves et al., 2016)

Метаобучение с памятью

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

One-shot Learning with Memory-Augmented Neural Networks

Learning to Remember Rare Events (Kaiser et al., 2017)

Воспроизведение опыта и непрерывное обучение

Experience Replay for Continual Learning (Rolnick et al., 2019)

Gradient Episodic Memory for Continual Learning (Lopez-Paz & Ranzato, 2017)

Efficient Lifelong Learning with A-GEM (Chaudhry et al., 2018)

Обучение с дополнением поиском

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al., 2020)

REALM: Retrieval-Augmented Language Model Pre-Training (Guu et al., 2020)

Dense Passage Retrieval for Open-Domain Question Answering (Karpukhin et al., 2020)

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering

Недавние достижения (2023-2024)

Extending Context Window of Large Language Models via Positional Interpolation

Архитектуры памяти

Compressive Transformers for Long-Range Sequence Modelling (Rae et al., 2019)

Longformer: The Long-Document Transformer (Beltagy et al., 2020)

BigBird: Transformers for Longer Sequences (Zaheer et al., 2020)

Системы эпизодической памяти

Neural Episodic Control (Pritzel et al., 2017)

Model-Free Episodic Control (Blundell et al., 2016)

Episodic Memory in Lifelong Language Learning (d'Autume et al., 2019)

Been There, Done That: Meta-Learning with Episodic Recall

Фреймворки для реализации

FAISS: библиотека эффективного поиска по сходству

Weaviate: векторная база данных для ML

Pinecone: сервис векторной базы данных

Milvus: система управления векторными базами данных

Инструменты управления памятью

Annoy: библиотека приближённых ближайших соседей

ScaNN: масштабируемый поиск ближайших соседей от Google

Hnswlib: быстрый приближённый поиск ближайших соседей

LanceDB: векторная база данных для ИИ-приложений

Промышленные применения

OpenAI: GPT с системами поиска и памяти

Google: LaMDA с памятью и поиском

Facebook AI: рекомендательные системы с расширенной памятью

DeepMind: системы памяти для обучения с подкреплением

Оценка и бенчмарки

MemN2N: сети с памятью для ответов на вопросы

Задачи bAbI: бенчмарк памяти и рассуждений

Бенчмарк непрерывного обучения (CLB)

Набор для оценки метаобучения

Loading technique guide…