Что произошло: Control How Your GPU Shares Work with Green Contexts

CUDA 13.1 adds green contexts, letting applications partition GPU resources like SMs and workqueues within a single process for explicit control.

Почему это важно: Control How Your GPU Shares Work with Green Contexts

Matters for engineers running multiple concurrent workloads on one GPU who need predictable latency or better resource isolation than stream priorities alone provide.

На что обратить внимание: Control How Your GPU Shares Work with Green Contexts

Green contexts require explicit API calls and resource planning; they trade total throughput for latency guarantees by dedicating SMs to specific workloads.

Новости

Control How Your GPU Shares Work with Green Contexts

NVIDIA Developer · Опубликовано 6 октября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: CUDA 13.1 adds green contexts, letting applications partition GPU resources like SMs and workqueues within a single process for explicit control.
Почему это важно: Matters for engineers running multiple concurrent workloads on one GPU who need predictable latency or better resource isolation than stream priorities alone provide.
На что обратить внимание: Green contexts require explicit API calls and resource planning; they trade total throughput for latency guarantees by dedicating SMs to specific workloads.

Читать статью целиком

kernel
inference
throughput
latency

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.