Dans l'actualité
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
NVIDIA Developer · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- NVIDIA et Princeton proposent ReplaySSM, qui met en cache les entrées SSM au lieu de l'état complet, accélérant le décodage hybride de 1,46x à 1,80x.
- Pourquoi ça compte
- Ingénieurs optimisant l'inférence pour modèles hybrides avec couches state-space comme Mamba-2, GDN ou KDA à des batch sizes de production.
- Vigilance
- L'accélération se concentre aux batch sizes élevés; batch size 1 n'améliore rien. Le comportement d'erreur de quantification demande validation par modèle.
- rag
- attention
- qwen
- kimi
- nemotron
Qui d’autre l’a publié
- ReplaySSM: Cache SSM Inputs, Not StatearXiv cs.AI
Le même évènement, traité par d’autres éditeurs que nous suivons.
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.