Loading...

🎲

Optimisation des préférences par rapport de cotes(ORPO)

Alignement de préférences sans modèle de référence qui ajoute, à l'objectif de modélisation du langage sur la réponse choisie, une pénalité de rapport de cotes pour les réponses rejetées

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle sur les réponses retenues tout en pénalisant les réponses rejetées via une perte de rapport de cotes, en se passant totalement du modèle de référence.
When to use: Vous disposez de données de préférence appariées et souhaitez un alignement plus rapide et moins coûteux, sans maintenir de modèle de référence distinct.
Watch out: La pénalité de rapport de cotes peut déstabiliser l'entraînement si lambda est mal réglé ; une recherche d'hyperparamètres soignée est nécessaire pour éviter une perte de capacités.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

🎲

Optimisation des préférences par rapport de cotes(ORPO)

Alignement de préférences sans modèle de référence qui ajoute, à l'objectif de modélisation du langage sur la réponse choisie, une pénalité de rapport de cotes pour les réponses rejetées

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle sur les réponses retenues tout en pénalisant les réponses rejetées via une perte de rapport de cotes, en se passant totalement du modèle de référence.
When to use: Vous disposez de données de préférence appariées et souhaitez un alignement plus rapide et moins coûteux, sans maintenir de modèle de référence distinct.
Watch out: La pénalité de rapport de cotes peut déstabiliser l'entraînement si lambda est mal réglé ; une recherche d'hyperparamètres soignée est nécessaire pour éviter une perte de capacités.

Aperçu en 30 secondes

Modèle : Entraînement en une phase combinant réglage fin supervisé et optimisation des préférences fondée sur le rapport de cotes

Pourquoi : Simplifie le pipeline d'alignement, réduit la complexité d'entraînement et atteint un alignement compétitif sans modélisation de récompense séparée

Idée clé : La pénalité de rapport de cotes optimise directement les rapports de vraisemblance des préférences pendant l'entraînement supervisé, pour un alignement efficace

Mise en œuvre rapide

1SFT:Réglage fin supervisé sur des données de démonstration

2Données de préférence:Collecter des comparaisons de préférence par paires

3Perte ORPO:Combiner la perte SFT avec une pénalité de rapport de cotes

4Phase unique:Entraîner simultanément sans modèle de récompense séparé

5Valider:Évaluer l'alignement des préférences et l'utilité

Example: sft_data + preference_pairs → orpo_training → aligned_model (single_phase)

À faire et à éviter

✅Utiliser des jeux de préférences équilibrés avec des paires gagnant/perdant nettes

✅Régler le paramètre lambda pour un équilibre SFT/préférence optimal

✅Surveiller l'instabilité d'entraînement avec l'écrêtage du gradient

✅Valider par évaluation humaine et tâches de référence

✅Utiliser des taux d'apprentissage adaptés (généralement plus bas que le SFT standard)

✅Mettre en place un arrêt anticipé basé sur la précision des préférences

❌Utiliser des données de préférence déséquilibrées ou de faible qualité

❌Fixer lambda trop haut (provoque une instabilité d'entraînement)

❌Ignorer les log-probabilités relatives dans la fonction de perte

❌Sauter la comparaison avec DPO et les autres méthodes de préférence

❌Appliquer sans comprendre la formulation du rapport de cotes

Quand l’utiliser

À utiliser quand

• Vous voulez un entraînement en une phase sans modèle de récompense séparé
• Vous disposez de données de préférence par paires de haute qualité
• Vous cherchez une alternative plus simple au pipeline RLHF multi-étapes
• L'efficacité de calcul est importante
• Vous préférez un entraînement monolithique aux approches modulaires

À éviter quand

• Un modèle de récompense explicite est requis pour l'interprétabilité
• La qualité des données de préférence est douteuse
• Un contrôle fin du façonnage de la récompense est nécessaire
• La stabilité d'entraînement est une préoccupation majeure
• Une optimisation multi-objectif est nécessaire

Indicateurs clés

Taux de victoire en préférence

% de réponses préférées vs référence

Stabilité d'entraînement

Convergence de la perte et normes de gradient

Performance SFT

Conservation de la qualité de l'apprentissage supervisé

Score d'alignement

Évaluation humaine de la qualité des réponses

Efficacité d'entraînement

Temps de calcul vs méthodes multi-étapes

Pénalité de rapport de cotes

Amplitude du signal d'alignement des préférences

Principaux cas d’usage

Suivi d'instructions : aligner les modèles sur les instructions avec un entraînement en une phase

IA conversationnelle : améliorer la qualité du dialogue sans modélisation de récompense séparée

Génération de contenu : optimiser les productions créatives à partir des retours de préférence

Génération de code : aligner efficacement la génération de code sur les préférences des développeurs

IA éducative : entraîner des systèmes de tutorat avec un alignement sur des préférences pédagogiques

Service client : optimiser la qualité des réponses pour la satisfaction client

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Article fondateur

ORPO: Monolithic Preference Optimization without Reference Model (Hong et al., 2024)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Learning to summarize from human feedback (Stiennon et al., 2020)

Méthodes d'optimisation des préférences apparentées

SimPO: Simple Preference Optimization with a Reference-Free Reward

A General Theoretical Paradigm to Understand Learning from Human Preferences

KTO: Model Alignment as Prospect Theoretic Optimization

Statistical Rejection Sampling Improves Preference Optimization (Liu et al., 2024)

Analyse théorique

Understanding the performance gap between online and offline alignment algorithms (Xiong et al., 2024)

A General Theoretical Paradigm to Understand Learning from Human Preferences (Xu et al., 2024)

The Alignment Problem from a Deep Learning Perspective (Christiano et al., 2023)

Reward Model Ensembles Help Mitigate Overoptimization (Coste et al., 2023)

Ressources d'implémentation

Hugging Face TRL - ORPO Trainer

Scripts et exemples d'entraînement ORPO

Implémentation de référence d'ORPO

Frameworks et outils d'entraînement

Transformers Reinforcement Learning (TRL) - ORPO Trainer

Axolotl : intégration de l'entraînement ORPO

Unsloth : implémentation rapide de l'entraînement ORPO

DeepSpeed Chat : intégration ORPO

Jeux de données pour l'entraînement ORPO

Jeu de données Anthropic HH-RLHF

UltraFeedback : jeu de données de préférence complet

Stanford Human Preferences Dataset (SHP)

PKU-SafeRLHF : données de préférence axées sur la sécurité

Frameworks d'évaluation

AlpacaEval 2.0 : évaluation automatisée des préférences

MT-Bench : benchmark de conversation multi-tours

Open LLM Leaderboard : évaluation standardisée

Chatbot Arena : collecte de préférences humaines

Déploiements en production

Modèles Zephyr : modèles de langage affinés par ORPO (HuggingFace)

OpenChat : modèles conversationnels entraînés avec ORPO

Starling : ORPO pour l'entraînement de modèles de récompense

Tulu 2 : suivi d'instructions avec ORPO

Communautés de recherche

Communauté HuggingFace Alignment

AI Alignment Forum - apprentissage des préférences

Approche d'OpenAI en matière de sûreté et d'alignement

Blogs et tutoriels techniques

Comparaison des méthodes d'optimisation des préférences (Weights & Biases)

Tutoriel d'entraînement d'alignement en une phase

Loading technique guide…