何が起きたか: Control How Your GPU Shares Work with Green Contexts

CUDA 13.1 adds green contexts, letting applications partition GPU resources like SMs and workqueues within a single process for explicit control.

なぜ重要か: Control How Your GPU Shares Work with Green Contexts

Matters for engineers running multiple concurrent workloads on one GPU who need predictable latency or better resource isolation than stream priorities alone provide.

ニュース

Control How Your GPU Shares Work with Green Contexts

NVIDIA Developer · 公開日 2026年10月6日 · 読了3分

30秒で要点

何が起きたか: CUDA 13.1 adds green contexts, letting applications partition GPU resources like SMs and workqueues within a single process for explicit control.
なぜ重要か: Matters for engineers running multiple concurrent workloads on one GPU who need predictable latency or better resource isolation than stream priorities alone provide.
注意点: Green contexts require explicit API calls and resource planning; they trade total throughput for latency guarantees by dedicating SMs to specific workloads.

記事の全文を読む

kernel
inference
throughput
latency

この話題の背景にあるパターン

各ページで、技術の仕組み、コストに見合う場面、そして破綻する条件を解説しています。

The Agent Architect

1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。

週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。