選ばれた応答の言語モデリング目的関数に、拒否された応答へのオッズ比ペナルティを加える、参照モデル不要の選好アライメント手法
Loading technique guide…
パターン: 教師ありファインチューニングとオッズ比ベースの選好最適化を組み合わせた単一フェーズ学習
理由: アラインメントのパイプラインを簡素化し、学習の複雑さを減らし、別個の報酬モデリングなしで競争力のある選好整合を実現
重要なポイント: オッズ比ペナルティが教師あり学習中に選好の尤度比を直接最適化し、効率的なアラインメントを実現する
厳選された資料で理解を深めましょう
ORPO: Monolithic Preference Optimization without Reference Model (Hong et al., 2024)
Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., 2023)
Training language models to follow instructions with human feedback (Ouyang et al., 2022)
Learning to summarize from human feedback (Stiennon et al., 2020)
Understanding the performance gap between online and offline alignment algorithms (Xiong et al., 2024)
A General Theoretical Paradigm to Understand Learning from Human Preferences (Xu et al., 2024)
The Alignment Problem from a Deep Learning Perspective (Christiano et al., 2023)
Reward Model Ensembles Help Mitigate Overoptimization (Coste et al., 2023)