Loading...

⚙️

Optimisation simple des préférences(SimPO)

Optimisation des préférences sans modèle de référence utilisant la log-probabilité de séquence normalisée par la longueur comme récompense implicite, avec une marge de récompense cible

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle à préférer les réponses retenues aux réponses rejetées en comparant des log-probabilités normalisées par la longueur, sans nécessiter de modèle de référence distinct.
When to use: Vous disposez de données de préférence appariées (réponses retenues et rejetées) et souhaitez optimiser le comportement du modèle sans le coût de calcul lié au maintien d'un modèle de référence.
Watch out: La normalisation par la longueur peut masquer les différences de qualité lorsque les réponses retenues et rejetées diffèrent nettement en longueur, ce qui dégrade le signal de préférence.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

⚙️

Optimisation simple des préférences(SimPO)

Optimisation des préférences sans modèle de référence utilisant la log-probabilité de séquence normalisée par la longueur comme récompense implicite, avec une marge de récompense cible

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle à préférer les réponses retenues aux réponses rejetées en comparant des log-probabilités normalisées par la longueur, sans nécessiter de modèle de référence distinct.
When to use: Vous disposez de données de préférence appariées (réponses retenues et rejetées) et souhaitez optimiser le comportement du modèle sans le coût de calcul lié au maintien d'un modèle de référence.
Watch out: La normalisation par la longueur peut masquer les différences de qualité lorsque les réponses retenues et rejetées diffèrent nettement en longueur, ce qui dégrade le signal de préférence.

Aperçu en 30 secondes

Modèle : Optimisation des préférences sans modèle de référence, avec des marges de récompense normalisées par la longueur pour l'entraînement d'alignement

Pourquoi : Supprime la dépendance à un modèle de référence, réduit le surcoût de calcul et atténue le biais de longueur dans l'apprentissage des préférences

Idée clé : Les écarts moyens de log-probabilité créent des récompenses implicites sans nécessiter de référence issue d'un modèle de référence

Mise en œuvre rapide

1SFT:Réglage fin supervisé sur des données de démonstration

2Données de préférence:Collecter des comparaisons de préférence par paires

3Perte SimPO:Appliquer une optimisation des préférences sans modèle de référence

4Contrôle de longueur:Normaliser selon les écarts de longueur des réponses

5Valider:Évaluer l'alignement sans dépendre d'un modèle de référence

Example: sft_data + preference_pairs → simpo_training → aligned_model (reference_free)

À faire et à éviter

✅Utiliser des données de préférence de haute qualité aux distinctions nettes

✅Mettre en place une normalisation de longueur pour gérer le biais de longueur des réponses

✅Régler le paramètre gamma pour une mise à l'échelle optimale de la marge de récompense

✅Surveiller la stabilité d'entraînement avec des taux d'apprentissage adaptés

✅Valider par rapport aux références du modèle de référence lorsqu'elles existent

✅Utiliser des jeux de préférences variés couvrant plusieurs domaines

❌Ignorer le biais de longueur lors de la collecte des données de préférence

❌Fixer gamma trop haut (provoque une instabilité d'entraînement)

❌L'utiliser sans réglage correct des hyperparamètres

❌L'appliquer à des domaines où les modèles de référence sont critiques

❌Sauter la comparaison avec DPO et les autres méthodes fondées sur une référence

Quand l’utiliser

À utiliser quand

• Le modèle de référence est indisponible ou peu fiable
• Vous voulez éviter la dépendance et le surcoût d'un modèle de référence
• Le biais de longueur pèse fortement sur les préférences
• L'efficacité de calcul est prioritaire
• Un pipeline d'entraînement simple est préférable

À éviter quand

• Le modèle de référence apporte une stabilité essentielle
• Une régularisation KL explicite est nécessaire pour la sûreté
• Le domaine exige un contrôle rigoureux de la distribution
• La qualité des données d'entraînement est douteuse
• La référence du modèle de référence est bien établie

Indicateurs clés

Précision des préférences

% de prédictions par paires correctes sans référence

Atténuation du biais de longueur

Réduction de la corrélation entre longueur et préférence

Efficacité d'entraînement

Vitesse de convergence sans modèle de référence

Qualité des réponses

Scores d'évaluation humaine vs références

Score de stabilité

Fiabilité de la convergence à l'entraînement

Économies de calcul

Réduction des ressources vs méthodes fondées sur une référence

Principaux cas d’usage

Entraînement sous contrainte de ressources : optimisation des préférences sans le surcoût d'un modèle de référence

Domaines sensibles à la longueur : applications où la longueur des réponses influe fortement sur les préférences

Prototypage rapide : alignement des préférences sans configuration complexe d'un modèle de référence

Adaptation de domaine : apprentissage des préférences dans de nouveaux domaines sans références établies

Systèmes éducatifs : optimisation simple des préférences pour les applications d'apprentissage

Génération de contenu : écriture créative et contenus où le biais de longueur pose problème

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Article fondateur

SimPO: Simple Preference Optimization with a Reference-Free Reward

Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Learning to summarize from human feedback (Stiennon et al., 2020)

Méthodes de préférence apparentées

ORPO: Monolithic Preference Optimization without Reference Model (Hong et al., 2024)

A General Theoretical Paradigm to Understand Learning from Human Preferences

KTO: Model Alignment as Prospect Theoretic Optimization

Statistical Rejection Sampling Improves Preference Optimization (Liu et al., 2024)

Ressources d'implémentation

Implémentation de référence de SimPO

Scripts d'entraînement sans modèle de référence

Frameworks d'entraînement

Transformers Reinforcement Learning (TRL) - SimPO Trainer

Unsloth : implémentation rapide de SimPO

OpenRLHF : prise en charge de SimPO

Jeux de données et benchmarks

UltraFeedback : jeu de données de préférence à grande échelle

HelpSteer : données de préférence à longueur contrôlée

Jeu de données Anthropic HH-RLHF

Stanford Human Preferences Dataset (SHP)

Outils d'évaluation

AlpacaEval 2.0 : évaluation tenant compte du biais de longueur

MT-Bench : évaluation de conversation multi-tours

RewardBench : évaluation des modèles de préférence

Open LLM Leaderboard : évaluation standardisée

Modèles en production

Zephyr-7B-Beta : modèle d'instruction entraîné avec SimPO

Starling-LM : SimPO pour la conversation

OpenChat-3.5 : modèle de chat affiné avec SimPO

Nous-Hermes : modèle d'assistant fondé sur SimPO

Analyse technique

SimPO: Simple Preference Optimization with a Reference-Free Reward

Ressources communautaires

AI Alignment Forum - discussions sur SimPO

Fils SimPO sur Reddit r/MachineLearning

Papers with Code - Simple Preference Optimization

Loading technique guide…