Chargement des modèles…
Optimisation simple des préférences(SimPO)
Optimisation des préférences sans modèle de référence utilisant la log-probabilité de séquence normalisée par la longueur comme récompense implicite, avec une marge de récompense cible
Aperçu en 30 secondes
- Quoi
- Entraîne un modèle à préférer les réponses retenues aux réponses rejetées en comparant des log-probabilités normalisées par la longueur, sans nécessiter de modèle de référence distinct.
- Quand l'utiliser
- Vous disposez de données de préférence appariées (réponses retenues et rejetées) et souhaitez optimiser le comportement du modèle sans le coût de calcul lié au maintien d'un modèle de référence.
- Vigilance
- La normalisation par la longueur peut masquer les différences de qualité lorsque les réponses retenues et rejetées diffèrent nettement en longueur, ce qui dégrade le signal de préférence.
Interrogez l'expert IA sur ce pattern
Ouvre l'assistant avec votre question préremplie. Vous la relisez avant l'envoi.
Optimisation simple des préférences: Vue d’ensemble
Optimisation des préférences sans modèle de référence utilisant la log-probabilité de séquence normalisée par la longueur comme récompense implicite, avec une marge de récompense cible
- Reference-model-free training
- Length-normalized implicit reward
- Target reward margin
- Pairwise preference objective
- Sequence-level likelihood comparison
- Length and quality monitoring
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.
Références
Les articles, spécifications et dépôts sur lesquels repose ce modèle.
Par l’ingénieur derrière ce catalogue
Faites auditer l’architecture de vos agents
Cette page documente un pattern. Votre système en fait tourner des dizaines, et l’essentiel des pannes se loge dans la façon dont ils s’articulent. Faites relire toute la conception à l’aune des 288 patterns de ce catalogue : architecture, fiabilité, évaluation et coûts, chaque constat relié au pattern qui le corrige.
750 € au lieu de 1 500 €, une semaine, rapport écrit et appel de restitution, jusqu’au 30 septembre