Loading...

⚡

Optimisation directe des préférences(DPO)

Optimisation hors ligne des préférences avec une fonction de perte de classification sur les réponses retenues et rejetées, sans entraîner de modèle de récompense explicite

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne une politique directement sur des paires de préférences en minimisant une perte de classification qui compare les réponses choisies et rejetées par rapport à une politique de référence figée, en évitant toute modélisation explicite de la récompense.
When to use: Vous disposez de données de préférence appariées (sorties choisies et rejetées) et voulez aligner le comportement sans le surcoût d'entraîner d'abord un modèle de récompense distinct.
Watch out: La politique peut s'éloigner fortement de la référence, dégradant les performances sur les tâches hors du jeu de préférences ou provoquant un effondrement de modes si les paires sont trop étroites.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

⚡

Optimisation directe des préférences(DPO)

Optimisation hors ligne des préférences avec une fonction de perte de classification sur les réponses retenues et rejetées, sans entraîner de modèle de récompense explicite

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne une politique directement sur des paires de préférences en minimisant une perte de classification qui compare les réponses choisies et rejetées par rapport à une politique de référence figée, en évitant toute modélisation explicite de la récompense.
When to use: Vous disposez de données de préférence appariées (sorties choisies et rejetées) et voulez aligner le comportement sans le surcoût d'entraîner d'abord un modèle de récompense distinct.
Watch out: La politique peut s'éloigner fortement de la référence, dégradant les performances sur les tâches hors du jeu de préférences ou provoquant un effondrement de modes si les paires sont trop étroites.

Aperçu en 30 secondes

Modèle : Entraînement en deux phases : SFT → optimisation directe des préférences sans modélisation explicite de la récompense

Pourquoi : Simplifie le pipeline RLHF, améliore la stabilité de l'entraînement et réduit le coût de calcul tout en préservant la qualité de l'alignement

Idée clé : Traite le modèle de langage comme un modèle de récompense implicite et optimise les préférences directement via une perte de classification

Mise en œuvre rapide

1SFT:Fine-tuning supervisé sur des démonstrations

2Collecter:Données de comparaison de préférences humaines

3Entraînement DPO:Optimisation directe sans modèle de récompense

4Valider:Précision des préférences sur un jeu réservé

5Déployer:Surveiller l'alignement des préférences en production

Example: base_model → sft_model → preference_data → dpo_optimized_model

À faire et à éviter

✅Utiliser des jeux de préférences équilibrés et de haute qualité

✅Régler le paramètre beta pour la force de régularisation KL

✅Valider la précision des préférences sur des données humaines réservées

✅Surveiller le biais de longueur dans les jugements de préférence

✅Utiliser des taux d'apprentissage stables (1e-6 à 5e-7)

✅Appliquer un clipping des gradients pour la stabilité de l'entraînement

❌Sauter la validation de la qualité des données de préférence

❌Utiliser des préférences incohérentes ou contradictoires

❌Ignorer le décalage de distribution entre SFT et préférences

❌Fixer beta trop haut (provoque un effondrement des modes)

❌Utiliser les mêmes données pour le SFT et l'optimisation des préférences

Quand l’utiliser

À utiliser quand

• Une alternative plus simple au RLHF est nécessaire
• Ressources de calcul limitées
• Des cycles d'entraînement plus rapides sont requis
• Un apprentissage supervisé stable est préféré
• Des préférences par paires claires sont disponibles

À éviter quand

• Une optimisation multi-objectifs complexe est nécessaire
• L'interprétabilité du modèle de récompense est requise
• Jeux de préférences à très grande échelle
• Un façonnage fin de la récompense est nécessaire
• Besoin de modéliser explicitement le signal de récompense

Indicateurs clés

Précision des préférences

% de prédictions par paires correctes

Taux de victoire selon les préférences humaines

% préféré face à la référence

Divergence KL

Dérive de la politique par rapport au modèle de référence

Stabilité de l'entraînement

Régularité de la convergence de la perte

Biais de longueur

Corrélation entre préférence et longueur

Efficacité de l'entraînement

Heures GPU face à la référence RLHF

Principaux cas d’usage

Alignement de LLM : alternative efficace au RLHF pour l'alignement sur les préférences

Entraînement de chatbots : aligner l'IA conversationnelle sur les préférences humaines

Génération de code : optimiser selon les préférences de qualité et de correction du code

Création de contenu : aligner les productions créatives sur les jugements esthétiques humains

Résumé : améliorer la qualité des résumés d'après les préférences humaines

Traduction : optimiser selon les préférences de fluidité et d'exactitude

Direct Preference Optimization (DPO)

Simplified alignment without explicit reward modeling

DPO Pipeline

Sample Pairs

Compare

Optimize

Epoch: 0 • Step: 0

Preference Pair

Waiting for preference pairs...

Policy Metrics

Preference Accuracy65.0%

KL Divergence0.0100

Margin Satisfaction70.0%

Policy Improvement0.0000

Chosen R: 0.600

Rejected R: 0.300

Optimization Signals

kl penalty

-0.0100

preference

+0.7000

gradient

+0.0200

Training Progress

No training history yet

DPO Algorithm Overview

Direct Optimization: Skip reward modeling and directly optimize the policy using preference data with a closed-form solution.

Bradley-Terry Model: Model human preferences probabilistically based on the difference in rewards between chosen and rejected responses.

KL Constraint: Maintain proximity to reference policy through KL divergence penalty (β parameter) to prevent overfitting.

Advantages: Simpler than RLHF, more stable training, no reward model needed, computationally efficient.

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Learning to summarize from human feedback (Stiennon et al., 2020)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Variantes et extensions de DPO (2023-2024)

A General Theoretical Paradigm to Understand Learning from Human Preferences

KTO: Model Alignment as Prospect Theoretic Optimization

Simple Preference Optimization (SimPO): Reference-Free Training (Meng et al., 2024)

ORPO: Monolithic Preference Optimization without Reference Model

Analyse théorique

Understanding the performance gap between online and offline alignment algorithms (Xiong et al., 2024)

A General Theoretical Paradigm to Understand Learning from Human Preferences (Xu et al., 2024)

The Alignment Problem from a Deep Learning Perspective (Christiano et al., 2023)

Ressources d'implémentation

Scripts d'entraînement DPO Stanford Alpaca

Guide de fine-tuning DPO pour LLaMA 2

Déploiements en production

Llama 2: Open Foundation and Fine-Tuned Chat Models

Zephyr: Direct Distillation of LM Alignment (HuggingFace, 2023)

Mistral 7B Instruct : fine-tuning DPO (Mistral AI, 2023)

OpenChat: Advancing Open-source Language Models with DPO (2023)

Jeux de données et benchmarks

Jeu de données Anthropic HH-RLHF pour DPO

UltraFeedback : jeu de données de préférences à grande échelle

Stanford Human Preferences Dataset (SHP)

Jeu de données OpenAI WebGPT Comparisons

Évaluation et analyse

AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

Chatbot Arena : plateforme d'évaluation des préférences humaines

Outils et frameworks

Transformers Reinforcement Learning (TRL) - DPO Trainer

Alignment Handbook : bonnes pratiques DPO

axolotl : configuration d'entraînement DPO

LLaMA-Factory : implémentation de DPO

Communautés de recherche

Communauté HuggingFace sur l'alignement

Projet Open Assistant - recherche DPO

Recherche Anthropic - Constitutional AI

Loading technique guide…