Dans l'actualité
Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI · Publié le · 3 min de lecture
En 30 secondes
- Ce qui s'est passé
- Together AI a obtenu 98% des performances des megakernels en utilisant CUDA Graphs et PDL sur Torch Inductor, sans écrire de kernel personnalisé.
- Pourquoi ça compte
- Quand les ingénieurs optimisent l'inférence de modèles IA sur GPU et doivent équilibrer gains de performance et complexité de maintenance.
- Vigilance
- Les résultats utilisent CUDA Graphs et PDL, pas des megakernels bruts. Ils sont spécifiques à Llama 1B sur H100; la généralisation à d'autres modèles reste incertaine.
- agent
- kernel
- token
- llama
Les patterns derrière cette actualité
Chacun explique le fonctionnement de la technique, quand elle vaut son coût et où elle casse.
The Agent Architect
Un pattern, un compromis, une panne de production racontée. Un brief hebdomadaire court pour ceux qui construisent des systèmes agentiques.
Un email par semaine, désinscription en un clic. Votre adresse ne sert qu'à envoyer le brief.