推論技法

複雑な問題を段階的な中間推論ステップに分解する

分岐とバックトラッキングにより複数の推論経路を探索する

思考をノード、依存関係をエッジとして扱う非線形な推論

推論と、外部ツールの活用による行動を組み合わせる

多様性と頑健性を高めるために複数の推論木を生成する

推論の質と確信度に対する自己認識とモニタリング

問題の複雑さに応じて計算リソースを動的に割り当てる

対照的な内省によって探索を強化した拡張版MCTS

単純な要素から複雑な要素へと段階的に問題を分解する

既知の領域から類似したパターンを見つけて適用することで問題を解決する

明示的な因果関係を確立し、それに沿って推論する

不完全な観測から最も可能性の高い説明を推論する

具体的な問題に取り組む前に、より高次の原則へと抽象化する

類推推論のために再利用可能な思考パターンの動的なバッファを保持する

骨組みとなるアウトラインを生成し、各項目を並列に展開することで、構造を保ちながらレイテンシを削減する

明示的なトークン生成を伴わず、連続的な潜在空間内で反復的に推論する手法

非ゼロの温度で複数の多様な思考連鎖の経路をサンプリングし、それらの最終回答を多数決または信頼度で重み付けした投票によって集約する。正しい答えは多くの異なる推論経路によって到達されやすい一方、個々の誤りはばらつくため、コンセンサスによる回答は単一の貪欲デコードよりもはるかに信頼性が高い。

まずベースとなる回答を下書きし、それに関する一連の検証用の質問を計画し、下書きに影響されないよう各質問に独立して回答したうえで、検証済みの事実のみを用いて最終回答を修正することで、ハルシネーションを低減する。検証を別々のコンテキストで実行するファクター化された検証は、モデルに自身の下書きを再チェックさせる方法よりも優れている。後者は自らの誤りを繰り返しがちだからである。

仕様が不十分な要求を計画・実行する前に、エージェントはまずそもそも質問すべきか(曖昧性の検出)を判断し、次に最も情報量の多い確認質問(妥当な解釈全体に対する期待情報利得として定式化される)を生成し、そのうえで初めて計画に踏み切る。既製の LLM は明示的に問われれば曖昧さを認識するものの、圧倒的に、黙って単一の推測に基づいて答えることをデフォルトとするため、質問することは明示的に学習またはプロンプトで誘導された振る舞いである。UI の制御の切り替えを扱う混合主導型インターフェースのパターンとは異なり、また、意図の曖昧性を解消するのではなく、すでに選ばれたアクションを承認する human-in-the-loop とも異なる。