Что произошло: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

vLLM achieved 25,000 tokens per second per GPU serving Qwen3.5 on GB200 NVL72 systems using disaggregated prefill-decode architecture.

Почему это важно: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

Matters for engineers deploying large language models at scale who need to maximize inference throughput on multi-GPU clusters with hybrid attention architectures.

На что обратить внимание: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

Results use fixed 8K input and 1K output sequence lengths on random data; real-world performance varies with actual workload patterns and sequence length distributions.

Новости

vLLM Reaches 25K Total TPS/GPU on Qwen3.5

vLLM · vLLM Team · Опубликовано 6 августа 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: vLLM achieved 25,000 tokens per second per GPU serving Qwen3.5 on GB200 NVL72 systems using disaggregated prefill-decode architecture.
Почему это важно: Matters for engineers deploying large language models at scale who need to maximize inference throughput on multi-GPU clusters with hybrid attention architectures.
На что обратить внимание: Results use fixed 8K input and 1K output sequence lengths on random data; real-world performance varies with actual workload patterns and sequence length distributions.

Послушать это резюме

Читать статью целиком

llm
kernel
serving
vllm
qwen

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.