Ce qui s'est passé: ReplaySSM: Cache SSM Inputs, Not State

ReplaySSM met en cache les entrées SSM au lieu de l'état, réduisant le trafic mémoire et accélérant le décodage de 1,2x à 1,47x dans les modèles hybrides.

Pourquoi ça compte: ReplaySSM: Cache SSM Inputs, Not State

Pertinent pour les ingénieurs optimisant le serving de modèles state-space, notamment ceux utilisant vLLM avec Mamba-2 ou architectures hybrides similaires à grande échelle.

Vigilance: ReplaySSM: Cache SSM Inputs, Not State

Résultats affichés à batch size 256; l'efficacité à d'autres tailles de batch reste inconnue. Nécessite l'intégration vLLM et une implémentation spécifique au modèle.

Dans l'actualité

ReplaySSM: Cache SSM Inputs, Not State

arXiv cs.AI · Publié le 9 octobre 2026 · 3 min de lecture

En 30 secondes

Ce qui s'est passé: ReplaySSM met en cache les entrées SSM au lieu de l'état, réduisant le trafic mémoire et accélérant le décodage de 1,2x à 1,47x dans les modèles hybrides.
Pourquoi ça compte: Pertinent pour les ingénieurs optimisant le serving de modèles state-space, notamment ceux utilisant vLLM avec Mamba-2 ou architectures hybrides similaires à grande échelle.
Vigilance: Résultats affichés à batch size 256; l'efficacité à d'autres tailles de batch reste inconnue. Nécessite l'intégration vLLM et une implémentation spécifique au modèle.

Lire l'article complet

quantiz
speculative

Les patterns derrière cette actualité

Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.

The Agent Architect

Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.

Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.