Chargement des modèles…
Optimisation des préférences par rapport de cotes(ORPO)
Alignement de préférences sans modèle de référence qui ajoute, à l'objectif de modélisation du langage sur la réponse choisie, une pénalité de rapport de cotes pour les réponses rejetées
Aperçu en 30 secondes
- Quoi
- Entraîne un modèle sur les réponses retenues tout en pénalisant les réponses rejetées via une perte de rapport de cotes, en se passant totalement du modèle de référence.
- Quand l'utiliser
- Vous disposez de données de préférence appariées et souhaitez un alignement plus rapide et moins coûteux, sans maintenir de modèle de référence distinct.
- Vigilance
- La pénalité de rapport de cotes peut déstabiliser l'entraînement si lambda est mal réglé ; une recherche d'hyperparamètres soignée est nécessaire pour éviter une perte de capacités.
Interrogez l'expert IA sur ce pattern
Ouvre l'assistant avec votre question préremplie. Vous la relisez avant l'envoi.
Optimisation des préférences par rapport de cotes: Vue d’ensemble
Alignement de préférences sans modèle de référence qui ajoute, à l'objectif de modélisation du langage sur la réponse choisie, une pénalité de rapport de cotes pour les réponses rejetées
- Reference-model-free training
- Chosen-response SFT objective
- Odds-ratio preference penalty
- Single training phase
- Paired preference data
- Preference and capability evaluation
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.
Références
Les articles, spécifications et dépôts sur lesquels repose ce modèle.
Par l’ingénieur derrière ce catalogue
Faites auditer l’architecture de vos agents
Cette page documente un pattern. Votre système en fait tourner des dizaines, et l’essentiel des pannes se loge dans la façon dont ils s’articulent. Faites relire toute la conception à l’aune des 288 patterns de ce catalogue : architecture, fiabilité, évaluation et coûts, chaque constat relié au pattern qui le corrige.
750 € au lieu de 1 500 €, une semaine, rapport écrit et appel de restitution, jusqu’au 30 septembre