Dans l'actualité
Setting a World Record for MoE Pre-Training on NVIDIA GB300 NVL72
NVIDIA Developer · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- NVIDIA GB300 NVL72 achieved 1,648 TFLOPs per GPU pre-training DeepSeek-V3 671B, a world record for mixture-of-experts model training.
- Pourquoi ça compte
- Matters for engineers scaling large language models who need to understand communication bottlenecks and co-designed hardware-software performance gains.
- Vigilance
- Results use optimized software stacks; real-world performance depends on framework choice, model architecture, and whether your workload matches DeepSeek-V3 characteristics.
Écouter ce résumé
- token
- mixture of experts
- deepseek
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.