Загружаем паттерны…

🧠

Системы метаобучения(MLS)

Оптимизация по распределению задач, чтобы модель могла адаптироваться к новой смежной задаче на основе ограниченных данных

Сложность: highОбучение и адаптация

За 30 секунд

Что это: Обучает модель на множестве связанных задач, чтобы она быстро адаптировалась к новым задачам всего за несколько примеров и шагов градиента.
Когда применять: Обучение по нескольким примерам, когда похожих задач много, но размеченных данных на каждую новую задачу при развёртывании крайне мало.
Осторожно: Требует тщательно подобранных распределений задач; неудачная выборка задач или расхождение между мета-обучающими и мета-тестовыми задачами убивает качество.

Спросите ИИ-эксперта об этом паттерне

Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.

Получить этот каталог как MCP-сервер Настроить промпт для этого паттерна

Task-distribution modeling
Support and query episodes
Gradient-based meta-learning
Model-agnostic optimization
Cross-task transfer evaluation
Few-shot adaptation

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Источники

Статьи, спецификации и репозитории, на которых основан этот паттерн.

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (2017)arXiv:1703.03400

От инженера, создавшего этот каталог

Проведите ревью архитектуры ваших агентов

На этой странице описан один паттерн. Ваша система использует десятки, и большинство сбоев возникает на стыках. Мы разберём весь дизайн по 288 паттернам каталога: архитектура, надёжность, оценка и стоимость, каждая находка связана с паттерном, который её устраняет.

€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября

Смотреть ревью

Паттерны

Загружаем паттерны…

Паттерны и методы проектирования

Загружаем паттерны…

🧠

Системы метаобучения(MLS)

Сложность: highОбучение и адаптация

За 30 секунд

Что это: Обучает модель на множестве связанных задач, чтобы она быстро адаптировалась к новым задачам всего за несколько примеров и шагов градиента.
Когда применять: Обучение по нескольким примерам, когда похожих задач много, но размеченных данных на каждую новую задачу при развёртывании крайне мало.
Осторожно: Требует тщательно подобранных распределений задач; неудачная выборка задач или расхождение между мета-обучающими и мета-тестовыми задачами убивает качество.

Спросите ИИ-эксперта об этом паттерне

Откроет ассистента с готовым вопросом. Вы проверите его перед отправкой.

Получить этот каталог как MCP-сервер Настроить промпт для этого паттерна

Обзор за 30 секунд

Паттерн: Учиться учиться: приобретать мета-знания, позволяющие быстро адаптироваться к новым задачам при минимуме данных

Почему: Обеспечивает few-shot обучение, быструю доменную адаптацию и эффективный перенос знаний между связанными задачами

Ключевая идея: Модели усваивают процедуры оптимизации и индуктивные смещения, обобщающиеся на распределения задач

Быстрая реализация

1Задачи:Определите распределение связанных обучающих задач

2Мета-обучение:Научитесь быстро адаптироваться по всему распределению задач

3Опорный набор:Дайте несколько примеров новой целевой задачи

4Адаптация:Быстро специализируйтесь под новую задачу с помощью мета-знаний

5Запрос:Выполните целевую задачу с минимумом примеров

Example: task_distribution → meta_model → support_examples → adapted_model → predictions

Что делать и чего избегать

✅Проектируйте разнообразные распределения задач для мета-обучения

✅Балансируйте сложность и схожесть задач при мета-обучении

✅Используйте корректное разбиение задач на train/validation/test

✅Следите за переобучением на задачах мета-обучения

✅Реализуйте градиентные и безградиентные подходы

✅Отслеживайте скорость адаптации и итоговые метрики качества

❌Использовать одни и те же задачи в мета-обучении и мета-тестировании

❌Игнорировать вычислительные издержки мета-оптимизации

❌Применять к областям с недостаточным разнообразием задач

❌Пропускать ablation-исследования компонентов мета-обучения

❌Использовать недостаточные размеры опорного набора при оценке

Когда использовать

Используйте, когда

• Много связанных задач, у каждой мало данных
• Нужна быстрая адаптация к новым доменам
• Задачи имеют общую структуру или закономерности
• Требования few-shot обучения критичны
• В домене есть естественное распределение задач

Избегайте, когда

• Одна задача с обилием обучающих данных
• Задачи полностью не связаны между собой
• Жёсткие требования к инференсу в реальном времени
• Ограниченные вычислительные ресурсы для мета-обучения
• Распределение задач определено плохо

Ключевые метрики

Точность few-shot

Качество при K примерах на класс

Скорость адаптации

Число шагов градиента до сходимости

Эффективность переноса

Качество против базовой модели на новых задачах

Мета-обобщение

Качество на невиданных типах задач

Эффективность по числу примеров

Число примеров для достижения целевого качества

Вычислительная стоимость

FLOPs на мета-обучение и адаптацию

Основные сценарии использования

Few-shot классификация: распознавание изображений при малом числе размеченных примеров на класс

Доменная адаптация: быстрая настройка моделей на новые домены при минимуме данных

Поиск нейроархитектур: обучение проектированию архитектур под новые задачи

Оптимизация гиперпараметров: обучение оптимальным гиперпараметрам для семейств задач

Обучение с подкреплением: быстрая адаптация к новым средам и структурам вознаграждения

Обработка естественного языка: few-shot классификация текста и распознавание именованных сущностей

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие статьи

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (Finn et al., 2017)

Learning to Learn by Gradient Descent by Gradient Descent (Andrychowicz et al., 2016)

Matching Networks for One Shot Learning (Vinyals et al., 2016)

Prototypical Networks for Few-shot Learning (Snell et al., 2017)

Варианты и расширения MAML

On First-Order Meta-Learning Algorithms (Nichol et al., 2018)

How to train your MAML (Antoniou et al., 2018)

Gradient-Based Meta-Learning with Learned Layerwise Metric and Subspace (Li et al., 2018)

Мета-обучение на основе оптимизации

Meta-SGD: Learning to Learn Quickly for Few-Shot Learning (Li et al., 2017)

Learning to learn without gradient descent by gradient descent (Chen et al., 2016)

Optimization as a Model for Few-Shot Learning (Ravi & Larochelle, 2016)

Meta-Learning with Differentiable Convex Optimization (Lee et al., 2019)

Мета-обучение на основе памяти

Meta-Learning with Memory-Augmented Neural Networks (Santoro et al., 2016)

Neural Turing Machines (Graves et al., 2014)

Learning to Remember Rare Events (Kaiser et al., 2017)

Теория мета-обучения

A Theoretical Analysis of the Number of Shots in Few-Shot Learning (Cao et al., 2019)

Reconciling meta-learning and continual learning with online mixtures of tasks (Jerfel et al., 2019)

Meta-Learning: A Survey (Hospedales et al., 2020)

Недавние достижения (2022-2024)

MetaICL: Learning to Learn In Context (Min et al., 2022)

Language Models are Few-Shot Learners (Brown et al., 2020)

Meta-Learning via Language Model In-context Tuning (Chen et al., 2022)

Поиск нейроархитектур и AutoML

DARTS: Differentiable Architecture Search (Liu et al., 2018)

Neural Architecture Search with Reinforcement Learning (Zoph & Le, 2016)

Auto-Meta: Automated Gradient Based Meta Learner Search (Kim et al., 2018)

MetaNAS: Meta Neural Architecture Search (Elsken et al., 2020)

Приложения и области

Learning to Reinforcement Learn (Wang et al., 2016)

Learning to Few-Shot Learn Across Diverse Natural Language Classification Tasks

Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector (Fan et al., 2019)

Ресурсы по реализации

learn2learn: библиотека мета-обучения для PyTorch

Реализация MAML на TensorFlow

Torchmeta: библиотека мета-обучения для PyTorch

Higher: библиотека PyTorch для оптимизации высшего порядка

Датасеты и бенчмарки

Датасет Omniglot для few-shot обучения

miniImageNet: датасет для few-shot обучения

Meta-Dataset: датасет из датасетов для few-shot обучения

VTAB: Visual Task Adaptation Benchmark

Инструменты и фреймворки

Реализация MAML на базе JAX

Мета-обучение в TensorFlow (TF-Agents)

Мета-обучение с PyTorch Lightning

Avalanche: библиотека непрерывного обучения

Сообщество и исследовательские группы

Воркшоп по мета-обучению (NeurIPS)

Исследовательское сообщество few-shot обучения

Исследования OpenAI по мета-обучению

Task-distribution modeling
Support and query episodes
Gradient-based meta-learning
Model-agnostic optimization
Cross-task transfer evaluation
Few-shot adaptation

The Agent Architect

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.

Источники

Статьи, спецификации и репозитории, на которых основан этот паттерн.

Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (2017)arXiv:1703.03400

От инженера, создавшего этот каталог

Проведите ревью архитектуры ваших агентов

€750 вместо €1 500, одна неделя, письменный отчёт и разбор в звонке, до 30 сентября

Смотреть ревью

Загружаем паттерны…

Системы метаобучения(MLS)

За 30 секунд

Спросите ИИ-эксперта об этом паттерне

Системы метаобучения: Обзор

The Agent Architect

Источники

Проведите ревью архитектуры ваших агентов

Паттерны

Загружаем паттерны…

Паттерны и методы проектирования

Загружаем паттерны…

Системы метаобучения(MLS)

За 30 секунд

Спросите ИИ-эксперта об этом паттерне

Обзор за 30 секунд

Быстрая реализация

Что делать и чего избегать

Когда использовать

Используйте, когда

Избегайте, когда

Ключевые метрики

Основные сценарии использования

Источники и дополнительные материалы

Основополагающие статьи

Варианты и расширения MAML

Мета-обучение на основе оптимизации

Мета-обучение на основе памяти

Теория мета-обучения

Недавние достижения (2022-2024)

Поиск нейроархитектур и AutoML

Приложения и области

Ресурсы по реализации

Датасеты и бенчмарки

Инструменты и фреймворки

Сообщество и исследовательские группы

Системы метаобучения: Обзор

The Agent Architect

Источники

Проведите ревью архитектуры ваших агентов

Паттерны

Паттерны и методы проектирования

Загружаем паттерны…

Паттерны и методы проектирования

Обзор за 30 секунд

Быстрая реализация

Что делать и чего избегать

Когда использовать

Используйте, когда

Избегайте, когда

Ключевые метрики

Основные сценарии использования

Источники и дополнительные материалы

Основополагающие статьи

Варианты и расширения MAML

Мета-обучение на основе оптимизации

Мета-обучение на основе памяти

Теория мета-обучения

Недавние достижения (2022-2024)

Поиск нейроархитектур и AutoML

Приложения и области

Ресурсы по реализации

Датасеты и бенчмарки

Инструменты и фреймворки

Сообщество и исследовательские группы

Паттерны и методы проектирования