NVIDIA / CUDA
Перед установкой пакетов сверьтесь с требованиями фреймворка к CUDA, драйверу, compute capability, точности и опциональным ядрам.
Подбор установки PyTorchРуководство по дообучению
Настройка локального дообучения
Проверьте именно вашу модель и рецепт обучения на своём оборудовании. Общие таблицы соответствия числа параметров и объёма VRAM ненадёжны, потому что длина последовательности, точность, состояние оптимизатора, активации, адаптеры, ядра внимания и батчинг меняют результат.
Выберите поддерживаемый стек
AMD / ROCm
Проверьте операционную систему, GPU, выпуск ROCm и матрицу поддержки фреймворка; не считайте, что у квантизаторов и ядер только для CUDA есть равноценный путь.
Документация по установке ROCmApple silicon
Процессы на базе MLX используют объединённую память и другую цепочку инструментов. Подтвердите точную архитектуру модели и путь экспорта, прежде чем на это опираться.
Репозиторий MLX LMПроверки перед длительным запуском
- 1.Убедитесь, что драйвер, среда выполнения, компилятор, фреймворк и ускоритель совместимы между собой.
- 2.Скачайте только нужную ревизию чекпоинта и проверьте свободное место.
- 3.Проверьте токенизацию и маскирование лосса на нескольких отформатированных примерах.
- 4.Выполните один прямой и обратный проход и запишите пиковую память на устройстве и на хосте.
- 5.Переобучите крошечную выборку, чтобы найти сломанные метки, шаблоны и настройки оптимизатора.
- 6.Сохраните, возобновите, загрузите чекпоинт и сгенерируйте из него ответ, прежде чем увеличивать датасет.
- 7.Измеряйте тепловой режим и устойчивую пропускную способность, а не только первые шаги.
- 8.Оставьте запас по диску и времени на чекпоинты, логи, оценку и повторные попытки.
Рычаги памяти и пропускной способности
Сократить память
- • Взять меньший чекпоинт или метод с адаптерами
- • Уменьшить длину последовательности или размер микробатча
- • Включить поддерживаемую смешанную точность и checkpointing
- • Рассмотреть выгрузку оптимизатора или состояния, измерив потерю в скорости
Повысить утилизацию
- • Профилировать загрузку данных и распределение длин примеров
- • Использовать packing только с корректными масками и поддерживаемым вниманием
- • Увеличивать батч или накопление градиента только после проверок корректности
- • Замерять опциональные ядра на реальной GPU
Сохранять воспроизводимость
- • Фиксировать ревизии пакетов и модели
- • Сохранять полную конфигурацию и случайные seed
- • Версионировать манифесты данных вместо копирования папок вручную
- • Записывать оборудование, драйвер и детали окружения
Локально не значит автоматически конфиденциально
- Перед использованием изучите условия загрузки модели и права на датасет.
- Ограничьте доступ к сырым данным, кэшам, логам, чекпоинтам и экспортированным адаптерам.
- Проверяйте обучающие данные и артефакты на секреты и персональные данные.
- Шифруйте резервные копии и определите порядок удаления и хранения.