Ce qui s'est passé: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

SGLang and Miles added day-zero support for DeepSeek-V4.1, implementing optimizations for sliding-window attention, compressed KV caching, and Engram memory retrieval.

Pourquoi ça compte: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

Engineers deploying DeepSeek-V4.1 need this to serve the model efficiently with reduced memory overhead and faster inference throughput.

Vigilance: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

Bounded replay approximates attention by truncating local state; decoder-side tail-only computation ne supporte pas les logprobs d'entrée ni la capture complète des états cachés.

Dans l'actualité

SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

LMSYS · Publié le 10 septembre 2026 · 3 min de lecture

En 30 secondes

Ce qui s'est passé: SGLang and Miles added day-zero support for DeepSeek-V4.1, implementing optimizations for sliding-window attention, compressed KV caching, and Engram memory retrieval.
Pourquoi ça compte: Engineers deploying DeepSeek-V4.1 need this to serve the model efficiently with reduced memory overhead and faster inference throughput.
Vigilance: Bounded replay approximates attention by truncating local state; decoder-side tail-only computation ne supporte pas les logprobs d'entrée ni la capture complète des états cachés.

Lire l'article complet

deepseek

Les patterns derrière cette actualité

Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.

The Agent Architect

Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.

Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.