Ce qui s'est passé: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

vLLM achieved 25,000 tokens per second per GPU serving Qwen3.5 on GB200 NVL72 systems using disaggregated prefill-decode architecture.

Pourquoi ça compte: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

Matters for engineers deploying large language models at scale who need to maximize inference throughput on multi-GPU clusters with hybrid attention architectures.

Vigilance: vLLM Reaches 25K Total TPS/GPU on Qwen3.5

Results use fixed 8K input and 1K output sequence lengths on random data; real-world performance varies with actual workload patterns and sequence length distributions.

Dans l'actualité

vLLM Reaches 25K Total TPS/GPU on Qwen3.5

vLLM · vLLM Team · Publié le 6 août 2026 · 3 min de lecture

En 30 secondes

Ce qui s'est passé: vLLM achieved 25,000 tokens per second per GPU serving Qwen3.5 on GB200 NVL72 systems using disaggregated prefill-decode architecture.
Pourquoi ça compte: Matters for engineers deploying large language models at scale who need to maximize inference throughput on multi-GPU clusters with hybrid attention architectures.
Vigilance: Results use fixed 8K input and 1K output sequence lengths on random data; real-world performance varies with actual workload patterns and sequence length distributions.

Écouter ce résumé

Lire l'article complet

llm
kernel
serving
vllm
qwen

Les patterns derrière cette actualité

Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.

The Agent Architect

Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.

Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.