Dans l'actualité
Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory
NVIDIA Developer · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- NVIDIA décrit cinq techniques de co-design pour maximiser l'utilité de la HBM en inférence, atteignant 30x de débit par mégawatt sur Vera Rubin versus GB300.
- Pourquoi ça compte
- Pertinent pour les ingénieurs optimisant le serving de grands modèles de langage à l'échelle, notamment ceux exécutant des workloads agentic avec appels d'outils et contextes longs.
- Vigilance
- Le gain 30x suppose des patterns de workload agentic spécifiques avec gaps d'outils et réutilisation de contexte; résultats peuvent différer significativement pour d'autres scénarios d'inférence.
- kv cache
- token
Les patterns derrière cette actualité
- Agentic Context Engineering (Evolving Playbook)
- Context Editing & Tool-Result Clearing
- KV Cache Optimization
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.