Loading...

👨‍🏫

Обучение с учителем для агентов(SLA)

Адаптация компонента агента на размеченных примерах «вход-выход» с явной валидацией и запасным поведением

Сложность: mediumОбучение и адаптация

In 30 seconds

What: Обучает компонент агента на размеченных примерах с защитой от утечки данных, а неуверенные случаи направляет на проверку человеку.
When to use: У вас достаточно чистых размеченных данных и нужна надёжная классификация с человеческим контролем для пограничных случаев.
Watch out: Утечка между обучающей и тестовой выборками из-за похожих примеров портит оценки качества; делите данные по клиентам или по времени, а не случайно.

Loading technique guide…

Patterns

Loading...

Паттерны и методы проектирования

Loading...

👨‍🏫

Обучение с учителем для агентов(SLA)

Адаптация компонента агента на размеченных примерах «вход-выход» с явной валидацией и запасным поведением

Сложность: mediumОбучение и адаптация

In 30 seconds

What: Обучает компонент агента на размеченных примерах с защитой от утечки данных, а неуверенные случаи направляет на проверку человеку.
When to use: У вас достаточно чистых размеченных данных и нужна надёжная классификация с человеческим контролем для пограничных случаев.
Watch out: Утечка между обучающей и тестовой выборками из-за похожих примеров портит оценки качества; делите данные по клиентам или по времени, а не случайно.

Обзор за 30 секунд

Паттерн: Адаптация предобученных моделей к конкретным задачам через обучение с учителем на размеченных данных целевой области

Почему: Использует уже имеющиеся знания модели, специализируя её под целевые задачи, и даёт высокое качество при разумных затратах на обучение

Ключевая идея: Перенос обучения с предобученных моделей вместе с задачно-специфичным контролем даёт оптимальный баланс обобщения и специализации

Быстрая реализация

1Сбор:Собрать размеченные обучающие примеры под конкретную задачу

2Предобработка:Привести данные к формату целевой области и требований задачи

3Дообучение:Адаптировать предобученную модель с помощью целей обучения с учителем

4Валидация:Проверить качество на отложенной валидационной выборке

5Развёртывание:Применить адаптированную модель в среде целевой задачи

Example: pretrained_model + labeled_data → supervised_fine_tuning → task_adapted_model

Что делать и чего избегать

✅Использовать качественные репрезентативные размеченные наборы для целевой области

✅Правильно разделять данные на обучение, валидацию и тест, чтобы избежать переобучения

✅Применять подходящие методы регуляризации (dropout, weight decay)

✅Отслеживать сдвиг распределения между обучением и эксплуатацией

✅Использовать перенос обучения с подходящих предобученных моделей

✅Реализовать раннюю остановку по качеству на валидации

❌Обучать на недостаточных или смещённых размеченных данных

❌Игнорировать проблемы качества данных и шум в метках

❌Переобучаться на обучающих данных без должной валидации

❌Применять без учёта вычислительных ограничений

❌Пренебрегать настройкой гиперпараметров и выбором модели

Когда использовать

Используйте, когда

• Для целевой задачи есть качественные размеченные данные
• У задачи чёткие связи вход-выход
• Требования к качеству оправдывают затраты на обучение с учителем
• Нужна доменная адаптация общих моделей
• Метрики оценки можно чётко определить

Избегайте, когда

• Размеченных данных мало, они дороги или низкого качества
• Задача требует обучения в реальном времени по минимуму примеров
• Достаточно методов без учителя или самообучения
• Требования приватности не позволяют собирать данные
• Среда эксплуатации часто меняется

Ключевые метрики

Точность на задаче

Качество на целевой задаче vs базовые модели

Эффективность обучения

Скорость сходимости и вычислительные затраты

Обобщающая способность

Качество на ранее не виденных тестовых данных

Качество переноса

Сохранение знаний, полученных при предобучении

Эффективность использования данных

Качество в расчёте на один размеченный пример

Устойчивость

Качество при сдвиге распределения

Основные сценарии использования

Доменная классификация: адаптация общих классификаторов к специализированным областям (медицина, право, наука)

Своё распознавание сущностей: обучение NER-моделей на доменные сущности и связи

Генерация под задачу: дообучение языковых моделей под конкретные стили или форматы текста

Адаптация анализа тональности: настройка моделей тональности под отрасли или контексты

Специализация генерации кода: адаптация моделей кода под конкретные языки или фреймворки

Системы вопросов и ответов: обучение QA-моделей на доменных базах знаний

Источники и дополнительные материалы

Углубите понимание с помощью этих подобранных материалов

Основополагающие статьи

Fine-Tuning Pre-trained Language Models: Weight Initializations, Data Orders, and Early Stopping (Dodge et al., 2020)

How to Fine-Tune BERT for Text Classification? (Sun et al., 2019)

Universal Language Model Fine-tuning for Text Classification (Howard & Ruder, 2018)

Attention Is All You Need (Vaswani et al., 2017)

Перенос обучения и предобучение

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al., 2018)

Language Models are Few-Shot Learners (Brown et al., 2020)

T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al., 2019)

RoBERTa: A Robustly Optimized BERT Pretraining Approach (Liu et al., 2019)

Методики дообучения

LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)

Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)

The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al., 2021)

AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (Zhang et al., 2023)

Методы доменной адаптации

Domain-Adversarial Training of Neural Networks (Ganin et al., 2016)

Deep Domain Confusion: Maximizing for Domain Invariance (Tzeng et al., 2014)

Unsupervised Domain Adaptation by Backpropagation (Ganin & Lempitsky, 2015)

AdaBound: Adaptive Gradient Methods with Bound for Domain Adaptation (Luo et al., 2019)

Недавние достижения (2023-2024)

QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)

LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention (Zhang et al., 2023)

Instruction Tuning for Large Language Models: A Survey (Zhang et al., 2023)

DoRA: Weight-Decomposed Low-Rank Adaptation (Liu et al., 2024)

Эффективность данных и few-shot обучение

Few-Shot Learning with Language Models (Brown et al., 2020)

Making Pre-trained Language Models Better Few-shot Learners (Gao et al., 2021)

What Makes Good In-Context Examples for GPT-3? (Liu et al., 2021)

SetFit: Efficient Few-Shot Learning Without Prompts (Tunstall et al., 2022)

Оценка и бенчмаркинг

GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding (Wang et al., 2018)

SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems (Wang et al., 2019)

Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models (Srivastava et al., 2022)

HELM: Holistic Evaluation of Language Models (Liang et al., 2022)

Ресурсы для реализации

Hugging Face Transformers - руководство по дообучению

PEFT: библиотека параметрически эффективного дообучения

Реализация LoRA и лучшие практики

Adapter Hub: репозиторий предобученных адаптеров

Фреймворки и инструменты обучения

PyTorch Lightning: упрощённый фреймворк обучения

Accelerate: библиотека распределённого обучения

DeepSpeed: библиотека оптимизации для больших моделей

FairScale: расширения PyTorch для исследований

Отраслевые применения

BioBERT: A Pre-trained Biomedical Language Representation Model for Biomedical Text Mining (Lee et al., 2020)

FinBERT: Financial Sentiment Analysis (Araci, 2019)

LEGAL-BERT: The Muppets Straight out of Law School (Chalkidis et al., 2020)

CodeBERT: A Pre-Trained Model for Programming Languages (Feng et al., 2020)

Развёртывание в продакшене

Оптимизация моделей для продакшена: ONNX и TensorRT

TorchServe: фреймворк для обслуживания моделей PyTorch

MLflow: управление жизненным циклом машинного обучения

Weights & Biases: отслеживание экспериментов и управление моделями

Лучшие практики и рекомендации

Лучшие практики дообучения (Google AI)

Эффективное обучение больших языковых моделей (OpenAI)

Delta Tuning: A Comprehensive Study of Parameter Efficient Methods for Pre-trained Language Models (Ding et al., 2022)

Loading technique guide…