In den Nachrichten
Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI · Veröffentlicht am · 3 Min. Lesezeit
In 30 Sekunden
- Was passiert ist
- Together AI built megakernels for AI inference last year but found they were impractical. This year they achieved 98% of megakernel performance using standard tools instead.
- Warum es zählt
- Engineers optimizing AI model inference on GPUs should care when balancing performance gains against implementation complexity and production maintainability.
- Achtung
- The 98% recovery uses CUDA Graphs and PDL on Torch Inductor kernels, not raw megakernels. Results are specific to Llama 1B on H100; generalization to other models and hardware remains unclear.
Den vollständigen Artikel lesen
- agent
- kernel
- token
- llama
Die Patterns dahinter
Jedes zeigt, wie die Technik arbeitet, wann sie ihren Aufwand wert ist und wo sie scheitert.
The Agent Architect
Ein Pattern, ein Tradeoff, eine Produktionspanne. Ein kurzes wöchentliches Briefing für alle, die agentische Systeme bauen.
Wöchentliche E-Mail, Abmeldung mit einem Klick. Ihre Adresse wird nur für das Briefing verwendet.