In den Nachrichten
DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
vLLM · Inferact and the vLLM Team · Veröffentlicht am · 3 Min. Lesezeit
In 30 Sekunden
- Was passiert ist
- vLLM achieved 58x higher throughput serving DeepSeek-V4.1-Flash on NVIDIA Vera Rubin NVL72 compared to GB300, reaching 1.7M tokens per second per GPU.
- Warum es zählt
- Matters for engineers deploying large language models who need maximum inference throughput and latency on latest NVIDIA hardware with specialized tensor cores.
- Achtung
- Results are specific to DeepSeek-V4.1-Flash model and SemiAnalysis AgentX benchmark; gains depend on Rubin's split memory domains and FP4 tensor cores, may not generalize to other models.
Den vollständigen Artikel lesen
- agent
- llm
- throughput
- token
- vllm
Die Patterns dahinter
Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.