Dans l'actualité
HiCache Across Multi-Parallelism and Distributed Serving
LMSYS · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- HiCache étend la réutilisation du cache KV à la mémoire hôte et au stockage externe tout en maintenant la cohérence entre parallélisme de contexte, parallélisme de pipeline et décodage spéculatif.
- Pourquoi ça compte
- Ingénieurs déployant des modèles de langage avec des charges de travail agentiques long-contexte où les préfixes de requête répétés créent des opportunités de réutilisation de cache.
- Vigilance
- La collecte KV par couche ajoute une surcharge; l'optimisation du sharding CP est en cours. La cohérence entre étapes de pipeline nécessite une synchronisation soigneuse des transferts asynchrones.
- serving
Les patterns derrière cette actualité
- Speculative & Parallel Tool Execution
- Distributed Memory Architectures
- Agentic Context Engineering (Evolving Playbook)
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.