AI推論ガイド
推論プロバイダー
AI推論のサービスプロバイダー
主要なAI推論プロバイダーを、コスト、性能、機能で比較します。レイテンシ、コスト、利用できるモデルに関する自分たちの要件に基づいて、適切なプロバイダーを選んでください。
ローカル／オンデバイスのプロバイダー
自分で管理するハードウェア上で対応モデルを動かせば、第三者へのデータ転送を減らし、一部のオフラインの運用にも対応できます。機微なデータでローカル実行を使う前に、テレメトリ、保存、モデルのライセンス、ハードウェア要件、セキュリティを監査してください。
主な特徴
ローカルへの配置
CLIでの操作
モデルライブラリ
HTTP API
価格：ソフトウェアとモデルのライセンスを要確認、ハードウェアは自前
主な特徴
GUIのインターフェース
モデルの管理
チャット画面
APIサーバー
価格：最新のライセンスを要確認、ハードウェアは自前
主な特徴
ローカルモデルの選択肢
クロスプラットフォーム
互換APIの選択肢
オープンソース
価格：オープンソースのクライアント、モデル・プロバイダー・ハードウェアの費用は場合による
主な特徴
CPUで動くモデル
データをローカルに置く選択肢
デスクトップでの導入
複数のモデル
価格：最新のライセンスと各モデルの条件を要確認
クラウドの推論プロバイダー
マネージドな推論サービスは、APIアクセス、キャパシティの管理、運用のツールを提供します。提供状況、リージョン、データの取り扱い、レート制限、モデルのバージョン、価格は頻繁に変わるため、各カードは日付の古い価格のスナップショットを固定するのではなく、プロバイダーの最新情報にリンクしています。
主な特徴
モデルカタログ
構造化出力
ツール呼び出し
マルチモーダルAPI
価格：デプロイ前に、最新のモデルカタログ、上限、価格を確認
主な特徴
モデルカタログ
ツール利用
画像入力
プロンプトキャッシュの選択肢
価格：デプロイ前に、最新のモデルカタログ、上限、価格を確認
主な特徴
モデルカタログ
マルチモーダルAPI
関数呼び出し
開発者向けのツール
価格：最新のモデルカタログ、上限、リージョン、価格を確認
主な特徴
モデルカタログ
サーバーレス推論
専用エンドポイント
互換APIの選択肢
価格：最新のモデルの提供状況、利用条件、価格を確認
主な特徴
変化するモデルカタログ
プロバイダーのルーティング
フォールバックの制御
統一されたAPI
価格：モデルと上流プロバイダーによって異なる、最新のカタログを確認
主な特徴
モデルカタログ
サーバーレス推論
専用のデプロイ
ファインチューニングの選択肢
価格：最新のモデル、コンプライアンスの適用範囲、リージョン、価格を確認
主な特徴
モデルカタログ
ストリーミング
ツール利用の選択肢
ハードウェア固有のランタイム
価格：最新のモデル、レート制限、価格を確認
主な特徴
変化するモデルカタログ
ホスト型のAPI
カスタムのデプロイ
コミュニティのモデル
価格：モデルとハードウェアによって異なる、各モデルのページを確認
主な特徴
検索に根拠づけたAPI
引用のメタデータ
モデルの選択肢
互換性のあるAPIの形
価格：最新のAPIモデル、検索の料金、上限、価格を確認
デプロイ形態の比較
オンデバイスの利点
プライバシー
テレメトリとリモートへのフォールバックを無効にすれば、第三者への送信を減らせる
コスト
トークン単位のAPI課金はないが、ハードウェア、電力、サポート、ライセンスの費用は残る
オフライン
必要なアセットをキャッシュし、リモートへのフォールバックを無効にすればオフラインでも動作しうる
クラウドの利点
性能
マネージドなキャパシティと、プロバイダーが維持するモデルカタログ
スケーラビリティ
クォータ、リージョンのキャパシティ、アカウントの上限の範囲でスケールできる
保守
サービング用のハードウェアはプロバイダーが管理するが、統合、評価、インシデントへの備えは自分たちの責任
自分のワークロードでプロバイダーをベンチマークする
ベンダー間の数値は、モデルのバージョン、リージョン、プロンプトと出力の長さ、同時実行数、ウォームアップ、リトライ、計測ウィンドウを揃えたときにだけ比較できます。少なくともこれらの条件を、日時を記録した評価として残してください。
| 観点 | 測定するもの | 重要な理由 |
|---|---|---|
| 応答性 | TTFTのp50/p95とエンドツーエンドのレイテンシ | 平均値は遅い裾のユーザー体験を隠す |
| スループット | 同時実行数を固定したときの出力トークン数／秒 | 想定される負荷の下で性能がどう変わるかが分かる |
| 品質 | バージョン管理された評価セットでのタスクの成功率 | 速く出力できても、タスクに失敗すれば役に立たない |
| 総コスト | 入力、出力、検索とツール、キャッシュ、リトライの費用 | 目玉のトークン単価は、実務で効いてくるコストを含んでいない |
| リスクと運用 | 保持期間、データ所在地、SLA、クォータ、フォールバック | そのデプロイが実際の義務を満たせるかを左右する |