Новости
Last year we built megakernels. This year we deleted them: The road to Together Compiler
Together AI · Опубликовано · 3 мин чтения
За 30 секунд
- Что произошло
- Together AI built megakernels for AI inference last year but found they were impractical. This year they achieved 98% of megakernel performance using standard tools instead.
- Почему это важно
- Engineers optimizing AI model inference on GPUs should care when balancing performance gains against implementation complexity and production maintainability.
- На что обратить внимание
- The 98% recovery uses CUDA Graphs and PDL on Torch Inductor kernels, not raw megakernels. Results are specific to Llama 1B on H100; generalization to other models and hardware remains unclear.
- agent
- kernel
- token
- llama
Паттерны, стоящие за этой новостью
Каждый разбирает, как работает техника, когда она оправдывает затраты и где ломается.
The Agent Architect
Один паттерн, один компромисс, одна история сбоя в продакшене. Короткий еженедельный брифинг для тех, кто строит агентные системы.
Одно письмо в неделю, отписка в один клик. Адрес используется только для рассылки брифинга.