Регрессия способностей
Улучшение целевого поведения может ухудшить несвязанные навыки, калибровку или поведение по безопасности.
Мера контроля: Держите замороженный набор регрессионных тестов базовой модели и сравнивайте с ним каждого кандидата.
Руководство по дообучению
Риски и открытые вопросы дообучения
Дообучение является экспериментом, а не гарантированным улучшением. Важен вопрос, улучшает ли кандидат определённую нагрузку без неприемлемых регрессий, утечек, затрат и операционных рисков.
Риски, которые нужно снять до выпуска
Запоминание и утечка персональных данных
Чувствительные, продублированные или однозначно идентифицирующие записи могут быть выучены и воспроизведены.
Мера контроля: Минимизируйте и дедуплицируйте данные, документируйте происхождение, ищите секреты и персональные данные, проводите тесты на извлечение.
Отравление данных и скрытые триггеры
Недоверенные или слабо проверенные примеры могут научить нежелательному поведению или бэкдорам.
Мера контроля: Ограничьте доступ на запись, сохраняйте происхождение, разбирайте аномалии и проверяйте входы, похожие на триггеры, до выкатки.
Утечка в оценке
Модель может выглядеть лучше, когда обучающие примеры пересекаются с тестовыми случаями или когда одна метрика подменяет цель продукта.
Мера контроля: Дедуплицируйте между разбиениями, держите запечатанную отложенную выборку и сочетайте метрики задачи с человеческой проверкой и проверкой безопасности.
Сдвиг распределения
Офлайн-выигрыш может не сохраниться на реальных входах, при изменении правил или с другим шаблоном инференса.
Мера контроля: Тестируйте на трафике, близком к продакшену, следите за срезами и отказами отвечать, задайте пороги для отката.
Операционная привязка к поставщику
Провайдер или фреймворк может не отдавать адаптеры, состояние оптимизатора или пригодный к развёртыванию чекпоинт.
Мера контроля: До обучения выясните принадлежность артефактов, форматы экспорта, сроки хранения, удаление, регион и поддержку отката.
Критерий качества
- • Отложенные случаи под конкретную задачу
- • Регрессии базовых способностей
- • Проверка человеком по письменным критериям
- • Доверительные интервалы или повторные запуски, где это выполнимо
Критерий безопасности
- • Случаи злоупотреблений и инъекций в промпт
- • Попытки извлечь чувствительные данные
- • Срезы по смещениям и вредным ответам
- • Регрессии политик и отказов
Критерий эксплуатации
- • Версионированные данные, код, веса и настройки
- • Развёртывание canary и откат
- • Ограничения по задержке, пропускной способности и стоимости
- • Ответственный, оповещения, порядок реагирования и план вывода из эксплуатации
Вопросы, на которые должен ответить бенчмарк
- 1. Какую видимую пользователю ошибку должен уменьшить этот запуск обучения?
- 2. Какой базовый уровень с одним промптом, поиском или инструментами он должен превзойти?
- 3. Какие сегменты пользователей и редкие случаи представлены в отложенной выборке?
- 4. Какой бюджет регрессий приемлем за пределами целевой задачи?
- 5. Какая метрика или чьё решение при проверке блокирует развёртывание?
- 6. Можно ли воспроизвести результат из версионированных входов и чистого окружения?
Основные источники
Эти материалы дают методы и доказательства; ни один из них не устанавливает универсальный результат в продакшене.