Слой под стеком обслуживания. Любая операция модели в конечном счёте выполняется как ядро GPU, и качество ядер определяет, какая доля оплаченного оборудования действительно используется. Писать ядра самостоятельно приходится редко, но чтение этого слоя объясняет, почему системы над ним ведут себя именно так.
GPU выполняют тысячи потоков синхронными группами (варпами), собранными в блоки и назначенными на потоковые мультипроцессоры. Потоки одного варпа делят общий поток инструкций, поэтому расходящиеся ветвления сериализуются и тратят линии впустую. Задержку памяти скрывает именно достаточное число резидентных варпов на каждом SM (occupancy).
Сначала регистры, затем небольшая быстрая разделяемая память и кэши на кристалле, затем крупная HBM вне кристалла. Разрыв в пропускной способности между памятью на кристалле и вне его составляет порядки, поэтому производительность ядра это в основном вопрос того, насколько редко данные пересекают эту границу и насколько хорошо объединяются обращения.
Выделенные блоки матричного умножения с накоплением дают большую часть FLOPS современного GPU при пониженной точности (FP16/BF16, FP8, INT8). Ядра, которые не загружают тензорные ядра или используют отсутствующую в оборудовании точность, оставляют большую часть кристалла простаивать.
Каждое ядро упирается либо в арифметическую пропускную способность, либо в пропускную способность памяти, смотря что закончится раньше. Prefill у LLM нагружает вычисления; decode нагружает пропускную способность. Понимание того, по какую сторону этой черты находится операция, подсказывает, поможет ли больше FLOPS или меньше перемещений данных.
Работа над ядрами дополняет системный уровень: continuous batching или prefix caching меняют то, какая работа выполняется, а ядра меняют то, насколько быстро выполняется каждая её единица. О первом см. оптимизация обслуживания.
Стандартное внимание материализует матрицу оценок размера N x N в HBM, поэтому трафик памяти растёт квадратично с длиной последовательности, и операция становится ограниченной пропускной способностью. FlashAttention перестраивает вычисление: он прогоняет тайлы матриц запросов, ключей и значений через память на кристалле, наращивает нормализацию softmax по мере поступления тайлов и вовсе не записывает полную матрицу оценок. Математический результат тот же, а трафик памяти составляет малую долю прежнего, и именно это сделало обслуживание длинного контекста практичным.
Последующие версии перенастраивались под каждое поколение оборудования (лучшее разбиение работы, асинхронные конвейеры тензорных ядер, пути с пониженной точностью), и сегодня эта техника поставляется внутри PyTorch и всех крупных движков обслуживания. Урок обобщается: самые крупные выигрыши на ядрах дают перестройка вычислений вокруг иерархии памяти, а не микронастройка инструкций.
Упорядочено по нарастанию контроля и стоимости. Начинайте сверху; спускайтесь только тогда, когда профилирование доказало, что уровня выше недостаточно.
Что учесть при выборе: насколько стандартны ваши операторы, сколько стоит предельная производительность, какое оборудование нужно поддерживать и в чём сильна ваша команда, в компиляторах или в ядрах. Сначала профилируйте; узкое место часто оказывается не там, куда указывает интуиция.