パターンを読み込んでいます…
⚡
リソースを考慮したスケジューリング(RAS)
利用可能な計算リソースと制約に基づいて AI タスクを動的にスケジューリングする
複雑さ: highワークフローのオーケストレーション
30秒でわかる概要
- 概要
- AIタスクをキューに入れ、CPU、GPU、メモリ、温度、消費電力のリアルタイム計測に基づいて優先度と実行タイミングを調整する。
- 使いどころ
- 厳しい期限、限られた計算資源、あるいは稼働中に変化する熱的制約のもとで、複数のAIワークロードを動かすシステム。
- 注意点
- 常時モニタリングのオーバーヘッドが節約分を上回ることがある。資源競合下での優先度のばたつきは、取り戻す以上の時間を浪費する。
このパターンについてAIエキスパートに質問
質問が入力済みの状態でアシスタントが開きます。送信前に内容を確認できます。
リソースを考慮したスケジューリング: 概要
利用可能な計算リソースと制約に基づいて AI タスクを動的にスケジューリングする
- Real-time resource monitoring
- Dynamic priority adjustment
- Multi-resource optimization
- Deadline-aware scheduling
- Energy consumption balancing
- Thermal management integration
The Agent Architect
1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。
週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。
参考文献
このパターンの根拠となる論文、仕様、リポジトリです。
- Clockwork: Predictable Low-Latency Inference (OSDI 2020)
- Nexus: Multi-tenant Inference Serving (SOSP 2019)
- INFaaS: Automated Model-less Inference Serving (ATC 2021)
- Salus: Fine-Grained GPU Sharing
- Gandiva: Introspective GPU Scheduler (OSDI 2018)
このカタログを作ったエンジニアが担当
エージェント構成をレビューします
このページが扱うのは1つのパターンです。実際のシステムは数十を組み合わせて動き、障害の多くはその繋ぎ目で起きます。カタログの288パターンに照らして設計全体をレビューします。アーキテクチャ、信頼性、評価、コストまで、指摘ごとに対応するパターンを示します。
€750（通常€1,500）・1週間・文書レポートとウォークスルーコール・9月30日まで