AI推論ガイド

AIモデルのデプロイ

検証済みのモデルを本番へ移すときは、推論エンドポイントが動くことだけでなく、キャパシティ、セキュリティ、可観測性、ロールバックについても明示的に判断してください。

インフラの運用負担は軽くなりますが、制御項目、上限、価格、データの取り扱い条件はプロバイダー固有になります。

モデルとハードウェアをより細かく制御できますが、スケーリング、パッチ適用、障害復旧は自チームの責任になります。

ローカル実行は、デバイスのメモリと計算能力の範囲内で、プライバシーとオフライン時の挙動を改善できます。

サービングの形を選ぶ

インフラの運用負担は軽くなりますが、制御項目、上限、価格、データの取り扱い条件はプロバイダー固有になります。

モデルとハードウェアをより細かく制御できますが、スケーリング、パッチ適用、障害復旧は自チームの責任になります。

ローカル実行は、デバイスのメモリと計算能力の範囲内で、プライバシーとオフライン時の挙動を改善できます。

本番リリースの手順

1. 契約モデル、トークナイザー、プロンプト、ツールスキーマ、レスポンスの契約をまとめてバージョン管理します。

2. キャパシティ代表的な入力で負荷試験を行い、同時実行数、キュー、タイムアウト、トークンの上限を設定します。

3. 安全性認証、最小権限、入力の制限、出力の取り扱い、不正利用への対策を適用します。

4. 評価本番トラフィックを流す前に、オフラインの品質スイートと安全性スイートを実行します。

5. 段階的なロールアウト社内トラフィックやカナリアから始め、現行のリリースと比較します。

6. 復旧モデル成果物と周辺のアプリケーション変更の両方について、試験済みのロールバック経路を用意しておきます。