Что произошло: PD Serving of Qwen3.8-2.4T

vLLM achieved 5000 tokens per GPU throughput and 180 generated tokens per user latency serving Qwen3.8-2.4T on GB300 clusters.

Почему это важно: PD Serving of Qwen3.8-2.4T

Engineers optimizing large language model serving performance need reproducible tuning methodologies for disaggregated serving configurations.

Results are specific to Qwen3.8-2.4T on GB300 hardware; CUDA graph memory estimation often overallocates, reducing actual KV cache availability.

Новости

vLLM · vLLM Team · Опубликовано 21 сентября 2026 г. · 3 мин чтения

Что произошло: vLLM achieved 5000 tokens per GPU throughput and 180 generated tokens per user latency serving Qwen3.8-2.4T on GB300 clusters.
Почему это важно: Engineers optimizing large language model serving performance need reproducible tuning methodologies for disaggregated serving configurations.
На что обратить внимание: Results are specific to Qwen3.8-2.4T on GB300 hardware; CUDA graph memory estimation often overallocates, reducing actual KV cache availability.

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.