Сначала промпт
Используйте промптинг или few-shot примеры, когда поведение можно выразить ясно, а добавленный контекст всё ещё укладывается в ограничения по задержке и стоимости.
Руководство по дообучению
Шпаргалка по дообучению
Независимый от фреймворка чек-лист для контролируемых экспериментов. Гиперпараметры и потребность в памяти зависят от конкретной модели, данных, цели обучения и оборудования; берите значения только из поддерживаемого рецепта для этой комбинации и проверяйте их на пилоте.
Поиск или вызов инструмента
Используйте поиск для изменяющихся, приватных знаний и знаний со ссылкой на источник, а инструменты для вычислений, действий и авторитетного состояния системы.
Дообучайте осознанно
Дообучайте повторяющееся поведение только при наличии репрезентативных примеров, запечатанного тестового набора и измеренного базового уровня, который нужно превзойти.
Договорённости о данных
До обучения
- • Определите допустимые источники, лицензии, согласие, сроки хранения и удаление
- • Совпадите с реальным распределением входов, языком, форматом и краевыми случаями
- • Уберите секреты, лишние персональные данные, дубликаты и повреждённые примеры
- • Разбирайте политику разметки и разногласия, а не скрывайте их
- • Удаляйте дубликаты между обучающей, валидационной и тестовой выборками
Держите тестовый набор запечатанным
- • Успешные, ошибочные, граничные, связанные с безопасностью и внераспределённые случаи
- • Метки срезов для важных групп пользователей, языков и типов контента
- • Письменные критерии оценки и процедура разрешения споров
- • Никаких примеров, порождённых из тестовых ответов или подогнанных под них
- • Версионированные ревизии, чтобы сравнения оставались осмысленными
Что настраивать и за чем следить
| Параметр | Почему это важно | Какой сигнал смотреть |
|---|---|---|
| Скорость обучения | Задаёт величину обновлений | Нестабильность, медленное обучение, качество на валидации |
| Длительность обучения | Определяет, сколько раз модель видит примеры | Выход на плато на отложенной выборке и рост регрессий |
| Эффективный batch | Меняет шум градиента и пропускную способность | Шагов в секунду, память, сходимость |
| Длина последовательности | Сильно влияет на память и распределение при обучении | Обрезание, потери на паддинге, качество на длинных входах |
| Ранг и целевые модули LoRA | Задают ёмкость и размещение адаптеров | Число обучаемых параметров, качество на задаче, переобучение |
| Точность и квантизация | Компромисс между памятью, совместимостью и численным поведением | NaN, скорость, память, качество экспортированной модели |
Карточка эксперимента
- Базовый чекпоинт
- Репозиторий, точная ревизия, токенизатор, чат-шаблон и проверка лицензии
- Данные
- Неизменяемый манифест, происхождение, фильтрация, дедупликация, разбиения и права
- Цель обучения
- SFT, оптимизация предпочтений или обучение с подкреплением, а также маскирование лосса
- Метод обновления
- Полное дообучение, LoRA или QLoRA с целевыми модулями и настройками адаптера
- Оптимизация
- Скорость обучения, расписание, эффективный batch, число шагов, точность и seed
- Окружение
- Ревизия кода, лок-файл зависимостей, контейнер, драйвер, ускоритель и топология
- Оценка
- Ревизия отложенной выборки, критерии оценки, метрики по срезам, набор тестов безопасности и набор регрессионных тестов базовых способностей
- Артефакты
- Хеши чекпоинтов, способ работы с адаптером или слияния, шаблон для инференса и цель отката
Критерии выпуска
- Дообученный кандидат превосходит каждый обязательный базовый уровень на запечатанной отложенной выборке.
- Результаты по срезам достигают письменных порогов и содержат число примеров.
- Тесты базовых способностей, безопасности, приватности и злоупотреблений укладываются в бюджет регрессий.
- В инференсе используются тот же токенизатор и тот же шаблон, что проверялись офлайн.
- Задержка, пропускная способность, память и полная стоимость измерены на инфраструктуре, близкой к продакшену.
- Готовы canary, ответственный за мониторинг, порог оповещения и артефакт для отката.
Остановите запуск, если
Значение лосса перестало быть конечным или градиенты остаются нестабильными.
Качество на валидации падает, пока лосс на обучении улучшается.
Проверка данных или лицензий вскрыла нерешённый вопрос.
Чекпоинт нельзя воспроизводимо загрузить, оценить или продолжить с него.
Проверки безопасности или приватности переходят согласованный порог.
Пилот явно не выходит на целевую стоимость или задержку в продакшене.