学習と適応

人間の選好判断から学習した報酬モデルに対して、強化学習でポリシーをファインチューニングする手法

採用された応答と却下された応答に対する分類損失を用いたオフラインの選好最適化で、明示的な報酬モデルを学習させずに行う手法

現在のコンテキスト内の指示や実例に基づいてモデルを条件付けする手法で、モデルのパラメータは更新しない

タスクの分布全体にわたって最適化することで、モデルが限られたデータから関連する新しいタスクに適応できるようにする手法

一連のタスクやデータ分布から学習しつつ、以前に獲得した能力の喪失を測定・抑制する手法

プロンプト、ツール、ポリシーへの変更を提案し、独立した評価と承認を経た場合にのみそれを採用する、制御されたシステム

明示的な原則の集合を用いて、学習中の自己批判、修正、AIが生成する選好フィードバックを導く手法

人間が定義した基準と監督のもとで、AI評価者が生成した選好判断からポリシーを訓練する手法

候補生成、探索、検証、または改良のために、推論時の計算リソースを追加で割り当てる手法

選ばれた応答の言語モデリング目的関数に、拒否された応答へのオッズ比ペナルティを加える、参照モデル不要の選好アライメント手法

系列の長さで正規化した対数確率を暗黙的な報酬として用い、目標とする報酬マージンを設定する、参照モデル不要の選好最適化手法

ラベル付きの入出力例からエージェントのコンポーネントを適応させ、明示的な検証とフォールバック動作を備える手法

タスクラベルのないデータから表現、クラスタ、または異常スコアを学習し、その後ドメインでの検証を行う手法

ドリフト、フィードバックループ、ロールバックのリスクを制御しながら、データストリームからモデルを逐次的に更新する手法

モデルの重みを更新するのではなく、意思決定の時点で蓄積された経験を検索して再利用することで、エージェントの振る舞いを改善する。過去のやり取り、結果、ユーザーフィードバックは記憶としてインデックス化され、類似度によって呼び出されて新たな意思決定を形づくり、再訓練なしに継続的なパーソナライズを可能にする。

エージェントパイプライン内のプロンプトや指示を手作業で調整するのではなく、学習可能なパラメータとして扱い、指標とラベル付きデータセットに対してプログラム的に最適化する。オプティマイザは few-shot の実例を自動生成して指示の言い回しを探索し、リフレクティブな手法は過去の失敗の実行トレースを読み取ってプロンプトを変異させる。

学習された選好モデルではなく、数学の答えが正解と一致するかやコードがテストを通過するかといった、自動的に検証できる報酬に対して強化学習で推論モデルを訓練する。報酬が最終的な正しさのみを評価するため、教師ありの根拠なしに、バックトラッキングや自己検証を伴う長い思考の連鎖が創発する。これは人間やAIの選好を最適化するRLHF、RLAIF、DPOとは異なる。

最終的な答えのみ（結果に基づく監督）ではなく、推論の各中間ステップを評価する報酬モデル（プロセスに基づく監督）を用いる。ステップごとのスコアは、best-of-N サンプリングや木探索の際に候補解をランク付けして枝刈りし、推論時の計算を最も有望な分岐やより難しい問題に集中させる。

エージェントは、自ら発見した振る舞いに対して再利用可能で実行可能なスキル（プログラム）を記述し、その説明の埋め込みでインデックス化されたライブラリに保存し、後にそれらを検索してより複雑なスキルへと組み合わせる。ライブラリは手続き的記憶の一形態として成長するため、勾配更新や破滅的忘却を伴わずに、能力が時間とともに積み上がっていく。

エージェントのコンテキストを、具体的な戦略からなる進化するプレイブックとして扱い、3つの役割によって改善する。実タスク上で推論トレースを生成する Generator、成功や失敗から教訓を抽出する Reflector、そしてそれらの教訓をコンパクトで構造化されたデルタ更新としてプレイブックに統合する Curator である。更新は全面的な書き換えではなく増分的な追記と編集であるため、プレイブックは、反復的な書き換えが苦労して得た詳細を損なうコンテキストの崩壊や簡潔さバイアスに陥ることなく、ドメインの詳細を蓄積していく。ラベル付きの監督を必要とせず、改善されたシステムプロンプトとしてオフラインでも、エージェントのメモリとしてオンラインでも適用でき、ICLR 2026 の ACE 論文はエージェントタスクで約 +10.6%、金融で +8.6% の向上を報告している。`prompt-optimization` とは異なり、DSPy や GEPA が指標に対してプロンプトという成果物を最適化するのに対し、ACE はプロンプトとメモリにまたがる明示的な崩壊防止メカニズムを備え、デルタキュレーションを通じて自然言語のプレイブックを成長させる。また、`skill-library`（実行可能なスキル）や `self-improving-systems`（承認ゲートを介した統制されたプロンプトおよびツールの編集）とは異なり、改善される成果物はキュレーションされた自然言語のプレイブックである。