NVIDIA / CUDA
Vérifiez les exigences du framework en matière de CUDA, de pilote, de capacité de calcul, de précision et de noyaux optionnels avant d’installer des paquets.
Sélecteur d’installation PyTorchGuide du fine-tuning
Installation du fine-tuning local
Validez le modèle et la recette d’entraînement exacts sur votre matériel. Les tables génériques qui relient le nombre de paramètres à la VRAM ne sont pas fiables, car la longueur de séquence, la précision, l’état de l’optimiseur, les activations, les adaptateurs, les noyaux d’attention et le batching changent tous le résultat.
Choisissez une pile prise en charge
AMD / ROCm
Vérifiez le système d’exploitation, le GPU, la version de ROCm et la matrice de prise en charge du framework ; ne supposez pas qu’un quantificateur ou un noyau réservé à CUDA a un équivalent.
Documentation d’installation ROCmApple silicon
Les workflows fondés sur MLX utilisent la mémoire unifiée et une chaîne d’outils différente. Confirmez l’architecture de modèle et le chemin d’export exacts avant de vous y engager.
Dépôt MLX LMVérifications avant un long entraînement
- 1.Confirmez que pilote, runtime, compilateur, framework et accélérateur sont mutuellement pris en charge.
- 2.Téléchargez uniquement la révision de checkpoint voulue et vérifiez l’espace de stockage disponible.
- 3.Inspectez la tokenisation et le masquage de la perte sur quelques exemples formatés.
- 4.Exécutez une passe avant/arrière et relevez la mémoire de pointe côté accélérateur et côté hôte.
- 5.Surapprenez un échantillon minuscule pour détecter étiquettes, templates et configuration d’optimiseur défectueux.
- 6.Sauvegardez, reprenez, rechargez et générez depuis un checkpoint avant d’élargir le jeu de données.
- 7.Mesurez la thermique et le débit soutenu, pas seulement les premiers pas.
- 8.Gardez assez de marge en disque et en temps pour les checkpoints, les journaux, l’évaluation et les reprises.
Leviers de mémoire et de débit
Réduire la mémoire
- • Utilisez un checkpoint plus petit ou une méthode à adaptateurs
- • Réduisez la longueur de séquence ou la taille du micro-batch
- • Activez la précision mixte et le checkpointing pris en charge
- • Envisagez le déchargement de l’optimiseur ou de l’état après avoir mesuré la pénalité
Améliorer l’utilisation
- • Profilez le chargement des données et la distribution des longueurs d’exemple
- • N’utilisez le packing qu’avec des masques corrects et une attention compatible
- • N’augmentez le batch ou l’accumulation qu’après les contrôles de correction
- • Mesurez les noyaux optionnels sur le GPU réel
Rester reproductible
- • Figez les versions des paquets et du modèle
- • Consignez la configuration complète et les graines aléatoires
- • Versionnez les manifestes de données plutôt que de copier des dossiers au cas par cas
- • Notez le matériel, le pilote et les détails d’environnement
Local ne veut pas dire automatiquement confidentiel
- Examinez les conditions de téléchargement du modèle et les droits sur le jeu de données avant usage.
- Restreignez l’accès aux données brutes, caches, journaux, checkpoints et adaptateurs exportés.
- Analysez les données d’entraînement et les artefacts à la recherche de secrets et de données personnelles.
- Chiffrez les sauvegardes et définissez des procédures de suppression et de conservation.