Dans l'actualité
Inkling 2 Small on vLLM: Day-0 Support
vLLM · Inferact and Thinking Machines · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- vLLM ajoute le support jour-0 pour Inkling 2 Small, un modèle MoE multimodal de 594B paramètres avec contexte 1M et speculative decoding natif.
- Pourquoi ça compte
- Ingénieurs déployant des grands modèles multimodaux nécessitant une inférence haute débit sur clusters multi-GPU avec fenêtres de contexte longues.
- Vigilance
- Le modèle requiert tensor parallelism sur plusieurs GPUs; la performance chute significativement avec la longueur du contexte, de 1070 à 450 tokens par seconde.
- llm
- attention
- speculative
- kernel
- vllm
Les patterns derrière cette actualité
- Speculative & Parallel Tool Execution
- Agentic Context Engineering (Evolving Playbook)
- Context Window Management UI
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.