Dans l'actualité
DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM · Inferact and the vLLM Team · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- vLLM atteint 58x plus de débit en servant DeepSeek-V4.1-Flash sur NVIDIA Vera Rubin NVL72 comparé à GB300, atteignant 1,7M tokens par seconde par GPU.
- Pourquoi ça compte
- Pertinent pour les ingénieurs déployant des modèles de langage qui ont besoin du débit d'inférence maximal sur le matériel NVIDIA récent avec tensor cores spécialisés.
- Vigilance
- Les résultats sont spécifiques au modèle DeepSeek-V4.1-Flash et au benchmark SemiAnalysis AgentX; les gains dépendent des domaines mémoire séparés de Rubin et des tensor cores FP4.
- agent
- llm
- throughput
- token
- vllm
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.