Что произошло: Inkling 2 Small on vLLM: Day-0 Support

vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.

Почему это важно: Inkling 2 Small on vLLM: Day-0 Support

Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.

На что обратить внимание: Inkling 2 Small on vLLM: Day-0 Support

Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

Новости

Inkling 2 Small on vLLM: Day-0 Support

vLLM · Inferact and Thinking Machines · Опубликовано 12 ноября 2026 г. · 3 мин чтения

За 30 секунд

Что произошло: vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.
Почему это важно: Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.
На что обратить внимание: Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

Читать статью целиком

llm
attention
speculative
kernel
vllm

Паттерны, стоящие за этой новостью

Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.

The Agent Architect

Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.

Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.