Faites deux choix distincts : quel objectif d’apprentissage correspond à vos données, et quelle part du modèle mettre à jour. Aucune méthode ne l’emporte sur tous les modèles, toutes les tâches et tous les matériels.
Données : Exemples d’entrée et de sortie attendue
Enseigner une tâche stable, une structure de réponse, un style ou un schéma d’appel d’outils.
À surveiller : Le modèle peut imiter les erreurs et les biais des démonstrations ; des comportements sans rapport peuvent régresser.
Données : Réponses préférées et non préférées, ou retour équivalent
Déplacer les choix lorsque la qualité est plus facile à comparer qu’à décrire comme une réponse idéale unique.
À surveiller : La politique d’annotation, l’accord entre annotateurs et l’évaluation sur jeu réservé comptent autant que l’algorithme.
Données : Des prompts et un correcteur ou signal de récompense fiable
Optimiser des résultats que l’on peut noter de façon cohérente sur les trajectoires générées.
À surveiller : Détournement de la récompense, biais du correcteur, instabilité et complexité opérationnelle accrue imposent des contrôles supplémentaires.
Met à jour les poids de base et offre le plus de souplesse, au prix de la charge la plus lourde en mémoire, en stockage et en retour arrière.
À envisager seulement lorsque les méthodes à adaptateurs manquent une cible mesurée et que l’infrastructure et les données le justifient.
Gèle le modèle de base et entraîne de petits modules de mise à jour. Les artefacts sont compacts et plusieurs adaptateurs peuvent partager une même base.
Une première expérience raisonnable pour beaucoup de charges transformer ; le rang et les modules cibles restent à régler empiriquement.
Rétropropage à travers une base gelée quantifiée vers des adaptateurs LoRA, ce qui réduit la mémoire des poids de base au prix possible de la compatibilité et du débit.
Utile lorsque la mémoire est la contrainte principale ; validez la prise en charge de la quantification et la qualité finale en service.
DoRA, AdaLoRA, LoRA+ et d’autres variantes modifient la paramétrisation, l’allocation ou l’optimisation. N’en essayez une que si son implémentation prend en charge votre modèle et qu’elle répond à une limite mesurée de la référence plus simple.
Le QAT vise la qualité après un déploiement en basse précision. Il diffère de QLoRA, qui utilise avant tout une base gelée quantifiée pour réduire la mémoire d’entraînement. Validez le format exporté sur le runtime visé.