Примите два отдельных решения: какая цель обучения подходит вашим данным и какую часть модели обновлять. Ни один метод не выигрывает на всех моделях, задачах и конфигурациях оборудования.
Данные: Примеры входа и желаемого выхода
Обучить устойчивой задаче, структуре ответа, стилю или схеме вызова инструментов.
На что смотреть: Модель может перенять ошибки и смещения демонстраций; несвязанное поведение может ухудшиться.
Данные: Предпочтительные и непредпочтительные ответы или равнозначная обратная связь
Сместить выбор там, где качество проще сравнить, чем описать одним идеальным ответом.
На что смотреть: Политика разметки, согласие разметчиков и оценка на отложенной выборке важны не меньше алгоритма.
Данные: Промпты и надёжный оценщик или сигнал вознаграждения
Оптимизировать результаты, которые можно последовательно оценивать на сгенерированных траекториях.
На что смотреть: Взлом вознаграждения, смещение оценщика, нестабильность и более сложная эксплуатация требуют дополнительного контроля.
Обновляет базовые веса и даёт максимум гибкости при наибольшей нагрузке на память, хранилище и откат.
Стоит рассматривать, только если методы с адаптерами не достигают измеренной цели, а инфраструктура и данные это оправдывают.
Замораживает базовую модель и обучает небольшие модули обновления. Артефакты компактны, и несколько адаптеров могут использовать одну базу.
Разумный первый эксперимент для многих трансформерных нагрузок; ранг и целевые модули всё равно подбираются эмпирически.
Обратное распространение идёт через квантизованную замороженную базу в адаптеры LoRA, что снижает память под базовые веса, возможно ценой совместимости и пропускной способности.
Полезно, когда память является главным ограничением; проверьте поддержку квантизации и итоговое качество в инференсе.
DoRA, AdaLoRA, LoRA+ и другие варианты меняют параметризацию, распределение ёмкости или оптимизацию. Пробуйте вариант, только если его реализация поддерживает вашу модель и он устраняет измеренное ограничение более простого базового решения.
QAT нацелен на качество после развёртывания в низкой точности. Это отличает его от QLoRA, где квантизованная замороженная база нужна прежде всего для экономии памяти при обучении. Проверьте экспортированный формат на целевой среде выполнения.