Muster werden geladen…
Präferenzoptimierung mit Odds Ratio(ORPO)
Referenzfreie Präferenzausrichtung, die dem Sprachmodellierungsziel für die gewählte Antwort eine Odds-Ratio-Strafe für abgelehnte Antworten hinzufügt
In 30 Sekunden
- Was
- Trainiert ein Modell auf den ausgewählten Antworten und bestraft zugleich die abgelehnten Antworten über einen Odds-Ratio-Verlust, ganz ohne Referenzmodell.
- Wann einsetzen
- Sie haben gepaarte Präferenzdaten und wollen ein schnelleres, günstigeres Alignment, ohne ein separates Referenzmodell zu pflegen.
- Achtung
- Die Odds-Ratio-Strafe kann das Training destabilisieren, wenn Lambda falsch eingestellt ist; eine sorgfältige Hyperparametersuche ist nötig, um Fähigkeitsverluste zu vermeiden.
Fragen Sie den KI-Experten zu diesem Pattern
Öffnet den Assistenten mit vorbereiteter Frage. Sie prüfen sie vor dem Senden.
Präferenzoptimierung mit Odds Ratio: Überblick
Referenzfreie Präferenzausrichtung, die dem Sprachmodellierungsziel für die gewählte Antwort eine Odds-Ratio-Strafe für abgelehnte Antworten hinzufügt
- Reference-model-free training
- Chosen-response SFT objective
- Odds-ratio preference penalty
- Single training phase
- Paired preference data
- Preference and capability evaluation
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.
Quellen
Die Veröffentlichungen, Spezifikationen und Repositories, auf denen dieses Muster beruht.
Vom Ingenieur hinter diesem Katalog
Lassen Sie Ihre Agenten-Architektur prüfen
Diese Seite dokumentiert ein Pattern. Ihr System betreibt Dutzende, und die meisten Ausfälle entstehen im Zusammenspiel. Lassen Sie den gesamten Entwurf an den 288 Patterns dieses Katalogs messen: Architektur, Zuverlässigkeit, Evaluation und Kosten, jeder Befund verknüpft mit dem Pattern, das ihn behebt.
750 € statt 1.500 €, eine Woche, schriftlicher Bericht und Walkthrough-Call, bis 30. September