Что произошло: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

SGLang and Miles added day-zero support for DeepSeek-V4.1, implementing optimizations for sliding-window attention, compressed KV caching, and Engram memory retrieval.

Почему это важно: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

Engineers deploying DeepSeek-V4.1 need this to serve the model efficiently with reduced memory overhead and faster inference throughput.

На что обратить внимание: SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

Bounded replay is an approximation that truncates local attention; decoder-side tail-only computation does not support input logprobs or full prompt hidden-state capture.

Новости

SGLang and Miles Add Day-0 Support for DeepSeek-V4.1

LMSYS · Опубликовано 10 сентября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: SGLang and Miles added day-zero support for DeepSeek-V4.1, implementing optimizations for sliding-window attention, compressed KV caching, and Engram memory retrieval.
Почему это важно: Engineers deploying DeepSeek-V4.1 need this to serve the model efficiently with reduced memory overhead and faster inference throughput.
На что обратить внимание: Bounded replay is an approximation that truncates local attention; decoder-side tail-only computation does not support input logprobs or full prompt hidden-state capture.

Читать статью целиком

deepseek

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.