AI推論ガイド
エージェント型AIの推論パターン
エージェント的な推論の難しさ
エージェント型のAIシステムは、従来のAIアプリケーションとは根本的に異なる推論パターンを示します。多段の推論、ツールのオーケストレーション、動的なリソース配分が必要になり、単純な問い合わせと応答を基準にするとコストが何倍にも膨らみます。
固有の推論パターン
多段の推論サイクル
複数回の推論呼び出しを必要とする「計画 → 振り返り → 実行」のループ
測定項目： ユーザーのリクエストあたりのモデル呼び出し回数と、成功したタスクの完了数
ツール呼び出しの連鎖
ツールの結果が、解釈や計画のための次の推論ステップにつながることが多い
測定項目： 成功タスクあたりのツール呼び出し回数、ツールの失敗、リトライ、外部サービスの料金
コンテキストの蓄積
やり取りが連なるにつれて増えていくメモリ要件
測定項目： 各ステップにおける入力、出力、キャッシュ済み、取得済み、破棄されたトークン
決定木の探索
複数の候補経路を逐次または並列に評価する設計もある
測定項目： 生成、枝刈り、検証、選択された分岐の数と、それぞれがもたらす追加の価値
成功タスクあたりのコストを測る
「チャットボット」や「エージェント」に共通の金額はありません。実際に使うモデルとツールの現在の価格を用い、分母には失敗した試行とインフラも含めてください。
利用状況を記録する
- • 入力、出力、キャッシュ済み、推論用のトークン
- • 検索、ツール、埋め込み、ストレージ、下り転送の呼び出し
- • リトライ、タイムアウト、放棄されたタスク
- • エンドツーエンドのレイテンシとタスクの成功
現在の単価を当てはめる
- • モデルとツールのバージョン、価格の適用日を固定する
- • 按分したサービング、可観測性、サポートのコストを加える
- • 総支出を、独立に検証された成功数で割る
- • より単純な単一呼び出しの基準と比較する
最適化の戦略
動的なリソース配分
単純なタスクはエッジへ、複雑な推論はクラウドへ振り分ける
コンテキストの圧縮
トークンのオーバーヘッドを減らすための賢いメモリ管理
投機的実行
現在のステップを実行しながら、次に来そうなステップを先に計算する
予算を意識した推論
推論の予算に基づく、品質とコストの動的なトレードオフ