Loading...

⚡

リソースを考慮したスケジューリング(RAS)

利用可能な計算リソースと制約に基づいて AI タスクを動的にスケジューリングする

複雑さ: highワークフローのオーケストレーション

In 30 seconds

What: AIタスクをキューに入れ、CPU、GPU、メモリ、温度、消費電力のリアルタイム計測に基づいて優先度と実行タイミングを調整する。
When to use: 厳しい期限、限られた計算資源、あるいは稼働中に変化する熱的制約のもとで、複数のAIワークロードを動かすシステム。
Watch out: 常時モニタリングのオーバーヘッドが節約分を上回ることがある。資源競合下での優先度のばたつきは、取り戻す以上の時間を浪費する。

Loading technique guide…

Patterns

Loading...

Loading Agentic Design…

Agentic Design本番環境のAIエージェント向けパターンとツール

専門家に相談料金

設計パターンと手法

Loading...

⚡

リソースを考慮したスケジューリング(RAS)

利用可能な計算リソースと制約に基づいて AI タスクを動的にスケジューリングする

複雑さ: highワークフローのオーケストレーション

In 30 seconds

What: AIタスクをキューに入れ、CPU、GPU、メモリ、温度、消費電力のリアルタイム計測に基づいて優先度と実行タイミングを調整する。
When to use: 厳しい期限、限られた計算資源、あるいは稼働中に変化する熱的制約のもとで、複数のAIワークロードを動かすシステム。
Watch out: 常時モニタリングのオーバーヘッドが節約分を上回ることがある。資源競合下での優先度のばたつきは、取り戻す以上の時間を浪費する。

コアメカニズム

リソース認識スケジューリングは、ライブテレメトリと SLO/コスト制約を用いて、AI タスクを計算リソース(CPU/GPU/TPU、メモリ、帯域)に動的に割り当てる。動的バッチング、キューイング、優先度とプリエンプション、モデル配置、オートスケーリングを組み合わせ、電力・熱・予算の制約を守りながら利用率を最大化しつつ、レイテンシとスループットの目標を満たす。

ワークフロー / ステップ

タスクとモデルをプロファイルする: レイテンシ SLO、バッチ適性、メモリ使用量(KV キャッシュ/重み)、スループット目標。
リソースを計測する: CPU/GPU 使用率、メモリ、キュー長、温度、電力、コストのシグナルを収集する。
受付制御とルーティング: リクエストの優先度/ティアを分類し、適切なモデル/インスタンス/リージョンへ振り分ける。
スケジューリングとバッチング: SLO 内で動的バッチを形成し、必要に応じて優先度、プリエンプション、分離を適用する。
オートスケーリングと配置: キューとレイテンシに応じてレプリカを増減し、メモリと親和性の制約を満たすようモデルを配置する。
フィードバック制御: SLO の達成状況を監視し、バッチサイズと並行度を調整し、優先度と予算を見直す。

ベストプラクティス

ティアごとのレイテンシ予算を持つ動的バッチングを使い、低レイテンシ用とベストエフォート用のキューを分離する。

メモリ(重み + KV キャッシュ)と計算量に合わせてモデル配置を適正化し、ページスラッシングと OOM を避ける。

緊急リクエスト向けに優先度とプリエンプションを実装し、バックグラウンドジョブはクォータで保護する。

使用率と余裕度に基づいてインスタンスごとの並行度を調整し、ヘッドオブラインブロッキングを避ける。

キュー長と p95 レイテンシでオートスケールし、バースト対策にウォームプールを使い、コスト面ではビンパッキングを優先する。

エンドツーエンドで計測する: リクエスト、キュー、バッチ、推論、後処理の各段階をトレースとメトリクスで可視化する。

耐障害性のためにリージョン/ゾーン単位のルーティングとモデルレプリカを用い、ロールアウト時はグレースフルにドレインする。

トークン/コンテキストの予算に上限を設け、圧縮とストリーミングで SLO を満たしつつ支出を抑える。

使うべきでない場合

静的なラウンドロビンで安価に SLO を満たせる、極めて単純で均質なワークロード。
バッチングやキューイングのオーバーヘッドが締切超過につながるハードリアルタイム制御ループ。
競合がほぼなく負荷も安定した、オーバープロビジョニングされたシングルテナント環境。

よくある落とし穴

過度なバッチングによる p95/p99 レイテンシの悪化、ティアごとの SLO 予算の無視。
KV キャッシュとトークン増加に対する GPU メモリ見積もりの不足 → OOM と再起動。
ホットスポット化したキューとヘッドオブラインブロッキング、ティア/テナント間の分離の欠如。
コールドスタートの代償を伴う受動的なオートスケーリングのみで、バースト用のウォーム容量がない。
可観測性の不足: キュー待ち時間と推論時間の内訳が取れず、手探りのチューニングになる。

主な特徴

リアルタイムのリソーステレメトリと SLO を考慮したルーティング

動的バッチングとトークンを考慮したスケジューリング

優先度キュー、プリエンプション、ティア/テナント単位の分離

メモリ/親和性と NUMA/GPU トポロジーを考慮した配置

ウォームプールとビンパッキングによるコスト重視のオートスケーリング

エンドツーエンドのトレースとメトリクス、ポリシー駆動の予算

KPI / 成功指標

レイテンシ: エンドツーエンドの p50/p95 とキュー待ち時間の割合、ティアごとの SLO 達成率。
スループット: インスタンスおよびフリート単位の requests/s と tokens/s、バッチの有効性。
使用率: GPU の SM/メモリ使用率、CPU 使用率、飽和指標。
コストと効率: リクエストあたりのコスト、1 ドルあたりのトークン数、トークンあたりのエネルギー。
安定性: エラー率、OOM/再起動率、オートスケールの収束時間。

トークン / リソース使用量

ティアごとに入出力トークンの予算を設け、最大コンテキストを強制し、圧縮や要約を適用する。
バッチサイズとシーケンス長に対する KV キャッシュの増加を追跡し、OOM を防ぐ余裕を確保する。
継続的/動的バッチングでリクエストごとの締切を守りつつ tokens/s を高める。
厳しい SLO ではストリーミングを優先し、予算が逼迫したら長い生成を打ち切るかモデルを下位に切り替える。

最適なユースケース

階層化されたレイテンシ/コスト SLO とバースト需要を持つマルチテナントの LLM API。
TTFT と p95 レイテンシが重要なリアルタイムアシスタントやチャット。
オートスケーリングを備えたクラウドおよび Kubernetes 上のバッチ/ストリーム推論サービス。
バッテリー、熱制約、オフラインモードのバランスを取るエッジ/モバイル展開。
締切を意識した知覚/計画パイプラインが必要な自律システム。

参考文献と関連資料

学術論文

実装ガイド

ツールとライブラリ

NVIDIA Triton Inference Server, vLLM, Ray Serve, TorchServe
Prometheus / Grafana, NVIDIA DCGM テレメトリ用
Kubernetes, Istio トラフィック制御用

コミュニティと議論

Loading technique guide…

Patterns

設計パターンと手法

Loading...

コアメカニズム

ワークフロー / ステップ

タスクとモデルをプロファイルする: レイテンシ SLO、バッチ適性、メモリ使用量(KV キャッシュ/重み)、スループット目標。
リソースを計測する: CPU/GPU 使用率、メモリ、キュー長、温度、電力、コストのシグナルを収集する。
受付制御とルーティング: リクエストの優先度/ティアを分類し、適切なモデル/インスタンス/リージョンへ振り分ける。
スケジューリングとバッチング: SLO 内で動的バッチを形成し、必要に応じて優先度、プリエンプション、分離を適用する。
オートスケーリングと配置: キューとレイテンシに応じてレプリカを増減し、メモリと親和性の制約を満たすようモデルを配置する。
フィードバック制御: SLO の達成状況を監視し、バッチサイズと並行度を調整し、優先度と予算を見直す。

ベストプラクティス

ティアごとのレイテンシ予算を持つ動的バッチングを使い、低レイテンシ用とベストエフォート用のキューを分離する。

メモリ(重み + KV キャッシュ)と計算量に合わせてモデル配置を適正化し、ページスラッシングと OOM を避ける。

緊急リクエスト向けに優先度とプリエンプションを実装し、バックグラウンドジョブはクォータで保護する。

使用率と余裕度に基づいてインスタンスごとの並行度を調整し、ヘッドオブラインブロッキングを避ける。

キュー長と p95 レイテンシでオートスケールし、バースト対策にウォームプールを使い、コスト面ではビンパッキングを優先する。

エンドツーエンドで計測する: リクエスト、キュー、バッチ、推論、後処理の各段階をトレースとメトリクスで可視化する。

耐障害性のためにリージョン/ゾーン単位のルーティングとモデルレプリカを用い、ロールアウト時はグレースフルにドレインする。

トークン/コンテキストの予算に上限を設け、圧縮とストリーミングで SLO を満たしつつ支出を抑える。

使うべきでない場合

静的なラウンドロビンで安価に SLO を満たせる、極めて単純で均質なワークロード。
バッチングやキューイングのオーバーヘッドが締切超過につながるハードリアルタイム制御ループ。
競合がほぼなく負荷も安定した、オーバープロビジョニングされたシングルテナント環境。

よくある落とし穴

過度なバッチングによる p95/p99 レイテンシの悪化、ティアごとの SLO 予算の無視。
KV キャッシュとトークン増加に対する GPU メモリ見積もりの不足 → OOM と再起動。
ホットスポット化したキューとヘッドオブラインブロッキング、ティア/テナント間の分離の欠如。
コールドスタートの代償を伴う受動的なオートスケーリングのみで、バースト用のウォーム容量がない。
可観測性の不足: キュー待ち時間と推論時間の内訳が取れず、手探りのチューニングになる。

主な特徴

リアルタイムのリソーステレメトリと SLO を考慮したルーティング

動的バッチングとトークンを考慮したスケジューリング

優先度キュー、プリエンプション、ティア/テナント単位の分離

メモリ/親和性と NUMA/GPU トポロジーを考慮した配置

ウォームプールとビンパッキングによるコスト重視のオートスケーリング

エンドツーエンドのトレースとメトリクス、ポリシー駆動の予算

KPI / 成功指標

レイテンシ: エンドツーエンドの p50/p95 とキュー待ち時間の割合、ティアごとの SLO 達成率。
スループット: インスタンスおよびフリート単位の requests/s と tokens/s、バッチの有効性。
使用率: GPU の SM/メモリ使用率、CPU 使用率、飽和指標。
コストと効率: リクエストあたりのコスト、1 ドルあたりのトークン数、トークンあたりのエネルギー。
安定性: エラー率、OOM/再起動率、オートスケールの収束時間。

トークン / リソース使用量

ティアごとに入出力トークンの予算を設け、最大コンテキストを強制し、圧縮や要約を適用する。
バッチサイズとシーケンス長に対する KV キャッシュの増加を追跡し、OOM を防ぐ余裕を確保する。
継続的/動的バッチングでリクエストごとの締切を守りつつ tokens/s を高める。
厳しい SLO ではストリーミングを優先し、予算が逼迫したら長い生成を打ち切るかモデルを下位に切り替える。

最適なユースケース

階層化されたレイテンシ/コスト SLO とバースト需要を持つマルチテナントの LLM API。
TTFT と p95 レイテンシが重要なリアルタイムアシスタントやチャット。
オートスケーリングを備えたクラウドおよび Kubernetes 上のバッチ/ストリーム推論サービス。
バッテリー、熱制約、オフラインモードのバランスを取るエッジ/モバイル展開。
締切を意識した知覚/計画パイプラインが必要な自律システム。