Muster werden geladen…
Einfache Präferenzoptimierung(SimPO)
Referenzfreie Präferenzoptimierung, die die längennormierte Sequenz-Log-Wahrscheinlichkeit als implizite Belohnung mit einer Ziel-Belohnungsmarge verwendet
In 30 Sekunden
- Was
- Trainiert ein Modell darauf, ausgewählte Antworten gegenüber abgelehnten zu bevorzugen, indem längennormalisierte Log-Wahrscheinlichkeiten verglichen werden, ohne dass ein separates Referenzmodell nötig ist.
- Wann einsetzen
- Sie haben gepaarte Präferenzdaten (ausgewählte und abgelehnte Antworten) und wollen das Modellverhalten optimieren, ohne die Rechenkosten für ein zusätzliches Referenzmodell zu tragen.
- Achtung
- Die Längennormalisierung kann Qualitätsunterschiede verdecken, wenn ausgewählte und abgelehnte Antworten deutlich unterschiedlich lang sind, was das Präferenzsignal schwächt.
Fragen Sie den KI-Experten zu diesem Pattern
Öffnet den Assistenten mit vorbereiteter Frage. Sie prüfen sie vor dem Senden.
Einfache Präferenzoptimierung: Überblick
Referenzfreie Präferenzoptimierung, die die längennormierte Sequenz-Log-Wahrscheinlichkeit als implizite Belohnung mit einer Ziel-Belohnungsmarge verwendet
- Reference-model-free training
- Length-normalized implicit reward
- Target reward margin
- Pairwise preference objective
- Sequence-level likelihood comparison
- Length and quality monitoring
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.
Quellen
Die Veröffentlichungen, Spezifikationen und Repositories, auf denen dieses Muster beruht.
Vom Ingenieur hinter diesem Katalog
Lassen Sie Ihre Agenten-Architektur prüfen
Diese Seite dokumentiert ein Pattern. Ihr System betreibt Dutzende, und die meisten Ausfälle entstehen im Zusammenspiel. Lassen Sie den gesamten Entwurf an den 288 Patterns dieses Katalogs messen: Architektur, Zuverlässigkeit, Evaluation und Kosten, jeder Befund verknüpft mit dem Pattern, das ihn behebt.
750 € statt 1.500 €, eine Woche, schriftlicher Bericht und Walkthrough-Call, bis 30. September