Was passiert ist: Inkling 2 Small on vLLM: Day-0 Support

vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.

Warum es zählt: Inkling 2 Small on vLLM: Day-0 Support

Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.

Achtung: Inkling 2 Small on vLLM: Day-0 Support

Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

In den Nachrichten

Inkling 2 Small on vLLM: Day-0 Support

vLLM · Inferact and Thinking Machines · Veröffentlicht am 12. November 2026 · 3 Min. Lesezeit

In 30 Sekunden

Was passiert ist: vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.
Warum es zählt: Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.
Achtung: Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

Den vollständigen Artikel lesen

llm
attention
speculative
kernel
vllm

Die Patterns dahinter

Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.

The Agent Architect

Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.

Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.