何が起きたか: Inkling 2 Small on vLLM: Day-0 Support

vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.

なぜ重要か: Inkling 2 Small on vLLM: Day-0 Support

Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.

注意点: Inkling 2 Small on vLLM: Day-0 Support

Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

ニュース

Inkling 2 Small on vLLM: Day-0 Support

vLLM · Inferact and Thinking Machines · 公開日 2026年11月12日 · 読了3分

30秒で要点

何が起きたか: vLLM added day-0 support for Inkling 2 Small, a 594B parameter multimodal MoE model with 1M token context and native speculative decoding.
なぜ重要か: Engineers deploying large multimodal models who need high throughput inference on multi-GPU clusters with long context windows.
注意点: Model requires tensor parallelism across multiple GPUs; performance scales significantly with context length, dropping from 1,070 to 450 tokens per second as context grows from 32K to 256K.

記事の全文を読む

llm
attention
speculative
kernel
vllm

この話題の背景にあるパターン

各ページで、技術の仕組み、コストに見合う場面、そして破綻する条件を解説しています。

The Agent Architect

1つのパターン、1つのトレードオフ、1つの本番障害事例。エージェントシステムを構築する人のための短い週刊ブリーフィング。

週1回のメール、ワンクリックで購読解除できます。アドレスはブリーフィングの送信のみに使用します。