Dans l'actualité
Structured Memory for Edge Language Models: Persistent Context and Corpus Retrieval via O(1) SSM State Injection
arXiv cs.AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- PRECOG utilise les State-Space Models pour encoder les documents hors ligne en états cachés fixes, réduisant la latence de prefill de 27 secondes à moins de 6 millisecondes.
- Pourquoi ça compte
- Ingénieurs construisant des systèmes de retrieval sur matériel contraint ou edge, cherchant des temps de réponse interactifs sans overhead des KV-caches transformer.
- Vigilance
- Démonstration sur un seul modèle SSM 1.2B; la généralisation à d'autres architectures, modèles plus grands et la qualité réelle du retrieval à l'échelle restent non validées.
- language model
- rag
- retrieval
- token
- edge
Les patterns derrière cette actualité
- Structure-Aware Codebase Retrieval (Repo Map)
- Query Transformation Retrieval
- Contextual Structured Memory
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.