Loading...

🎯

Apprentissage par renforcement à partir de retours humains(RLHF)

Ajustement fin d'une politique par apprentissage par renforcement contre un modèle de récompense appris à partir de jugements de préférence humains

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle de récompense à partir de comparaisons de préférences humaines, puis optimise le comportement de l'agent selon ce modèle tout en limitant la dérive par rapport au comportement de départ.
When to use: Aligner les sorties d'un agent sur des valeurs humaines nuancées là où les métriques simples échouent, quand vous pouvez consacrer beaucoup d'annotation humaine et de calcul.
Watch out: Le modèle de récompense absorbe les biais des annotateurs et gère mal les cas limites ; l'agent exploite ses failles au lieu de s'améliorer réellement, ce qui impose une surveillance coûteuse.

Loading technique guide…

Patterns

Loading...

Modèles et techniques de conception

Loading...

🎯

Apprentissage par renforcement à partir de retours humains(RLHF)

Ajustement fin d'une politique par apprentissage par renforcement contre un modèle de récompense appris à partir de jugements de préférence humains

Complexité: highApprentissage et adaptation

In 30 seconds

What: Entraîne un modèle de récompense à partir de comparaisons de préférences humaines, puis optimise le comportement de l'agent selon ce modèle tout en limitant la dérive par rapport au comportement de départ.
When to use: Aligner les sorties d'un agent sur des valeurs humaines nuancées là où les métriques simples échouent, quand vous pouvez consacrer beaucoup d'annotation humaine et de calcul.
Watch out: Le modèle de récompense absorbe les biais des annotateurs et gère mal les cas limites ; l'agent exploite ses failles au lieu de s'améliorer réellement, ce qui impose une surveillance coûteuse.

Aperçu en 30 secondes

Modèle : Entraînement en trois phases : SFT → modèle de récompense → optimisation PPO alignée sur les préférences humaines

Pourquoi : Aligne le comportement de l'IA sur les valeurs humaines, améliore la sécurité et l'utilité, et réduit les sorties nuisibles

Idée clé : Préférences humaines > modèle de récompense > optimisation de la politique forme un mécanisme d'alignement scalable

Mise en œuvre rapide

1SFT:Fine-tuning supervisé sur des démonstrations

2Collecter:Comparaisons de préférences humaines

3Entraîner le RM:Modèle de récompense sur les préférences

4PPO:Optimisation de la politique avec les récompenses du RM

5Évaluer:Taux de préférence humaine

Example: base_model → sft_model → preference_data → reward_model → aligned_model

À faire et à éviter

✅Utiliser des données de préférences humaines variées et de haute qualité

✅Appliquer une régularisation KL pour éviter la dérive de la politique

✅Surveiller le reward hacking et les effets de la loi de Goodhart

✅Utiliser plusieurs métriques d'évaluation au-delà des scores de récompense

✅Régler soigneusement les hyperparamètres de PPO

✅Valider la corrélation du modèle de récompense avec les jugements humains

❌Sauter la validation du modèle de récompense sur des données réservées

❌Utiliser des annotations de préférence biaisées ou de faible qualité

❌Ignorer le décalage de distribution en production

❌Optimiser uniquement pour les scores du modèle de récompense

❌Lancer un entraînement RL instable sans mesures de sécurité

Quand l’utiliser

À utiliser quand

• Alignement sur les préférences humaines crucial
• Exigences de sécurité et d'utilité
• Jugements de qualité subjectifs et complexes
• Déploiement à grande échelle avec interaction utilisateur
• Besoin d'un comportement d'IA contrôlable

À éviter quand

• Tâches objectives simples avec métriques claires
• Budget d'annotation humaine limité
• Exigences d'inférence en temps réel
• Tâches avec une vérité terrain bien définie
• Applications à petite échelle ou purement de recherche

Indicateurs clés

Taux de victoire selon les préférences humaines

% de préférence face à la référence

Exactitude du modèle de récompense

Accord avec les annotations humaines

Divergence KL

Dérive de la politique par rapport au modèle de référence

Score d'utilité

Qualité d'achèvement des tâches

Taux d'innocuité

% de réponses sûres

Stabilité de l'entraînement PPO

Convergence de la courbe de récompense

Principaux cas d’usage

IA conversationnelle : aligner les chatbots pour des réponses utiles, inoffensives et honnêtes

Génération de contenu : optimiser l'écriture créative selon les préférences humaines

Assistants de code : améliorer la qualité du code et les recommandations de sécurité

Résumé automatique : produire des résumés conformes aux jugements de qualité humains

Questions-réponses : fournir des réponses exactes et bien formatées

Outils créatifs : aligner la génération d'art et de musique par IA sur les préférences esthétiques

Reinforcement Learning from Human Feedback

Interactive RLHF training pipeline with human preferences

RLHF Pipeline

Generation

Feedback

Training

Evaluation

Model Version: v1 • Training Steps: 0

Current Example

Waiting for generation...

Policy Metrics

Average Reward0.250

KL Divergence0.0150

Human Alignment45.0%

Response Quality52.0%

Reward Signals

ppo

-0.200

reward_model

+0.700

human

+0.300

Human Reward Model PPO

Training History

No training examples yet

RLHF Algorithm Overview

Core Process: Generate multiple responses → Collect human preferences → Train reward model → Optimize policy with PPO while maintaining KL constraint.

Key Components: Supervised fine-tuning (SFT), reward modeling from preferences, proximal policy optimization (PPO) with KL penalty.

Human Feedback: Pairwise comparisons, rankings, or direct ratings that teach the model human values and preferences.

Benefits: Aligns model behavior with human values, improves helpfulness and safety, reduces harmful outputs.

Références et lectures complémentaires

Approfondissez le sujet avec ces ressources sélectionnées

Articles fondateurs

Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Learning to summarize from human feedback (Stiennon et al., 2020)

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

Proximal Policy Optimization Algorithms (Schulman et al., 2017)

Avancées récentes (2023-2024)

RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (Bai et al., 2023)

Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)

Statistical Rejection Sampling Improves Preference Optimization (Liu et al., 2024)

Secrets of RLHF in Large Language Models (Zheng et al., 2024)

Ressources d'implémentation

Bibliothèque TRL de Hugging Face - implémentation RLHF

Guide d'entraînement RLHF d'OpenAI

Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)

DeepSpeed Chat - framework d'entraînement RLHF

Applications industrielles

ChatGPT Technical Report (OpenAI, 2023)

LLaMA 2: Open Foundation and Fine-Tuned Chat Models (Touvron et al., 2023)

Annonce de Claude 2 (Anthropic, 2023)

Improving alignment of dialogue agents via targeted human judgements (DeepMind, 2022)

Évaluation et sécurité

Red Teaming Language Models to Reduce Harms (Ganguli et al., 2022)

Measuring Progress on Scalable Oversight for Large Language Models (Bowman et al., 2022)

AI Alignment Forum - discussion sur le RLHF

Jeux de données et benchmarks

Jeu de données HH-RLHF d'Anthropic

Jeu de données de préférences humaines d'OpenAI

Stanford Human Preferences Dataset (SHP)

UltraFeedback : jeu de données de préférences à grande échelle

Outils et frameworks

Transformers Reinforcement Learning (TRL)

OpenRL : framework d'apprentissage par renforcement distribué

Implémentation du RLHF en JAX

Entraînement RLHF avec DeepSpeed

Communauté et discussions

Discord de la communauté RLHF

Alignment Research Center

ML Safety Newsletter - actualités RLHF

Loading technique guide…