Основы инференса

Обучение и инференс это разные задачи

Обучение настраивает веса модели на большом наборе данных, обычно один раз, на крупном кластере ускорителей. Инференс применяет замороженные веса к новым входам, непрерывно, для каждого запроса, который обслуживает ваш продукт. Стоимость обучения по большей части разовая инвестиция; стоимость инференса накапливается вместе с трафиком, и именно поэтому эффективность обслуживания определяет экономику ИИ-продукта.

Смежное различие: фреймворк инференса эффективно исполняет модель, а сервер инференса добавляет к ней батчинг, очереди, стриминг, проверки состояния, автомасштабирование и HTTP- или gRPC-API. Промышленным системам нужно и то, и другое.

Как модель превращает промпт в текст

1. 1. ТокенизацияПромпт разбивается на токены и сопоставляется с идентификаторами из фиксированного словаря. Стоимость и лимиты контекста определяет число токенов, а не число символов.
2. 2. ЭмбеддингиИдентификаторы токенов превращаются в векторы; позиционная информация (например, rotary embeddings) сообщает модели, где каждый токен стоит в последовательности.
3. 3. PrefillВесь промпт обрабатывается за один параллельный проход через слои трансформера. Self-attention сравнивает каждый токен со всеми предыдущими; каузальная маска не даёт токенам видеть то, что идёт после них. Эта фаза ограничена вычислениями и определяет время до первого токена.
4. 4. DecodeТокены генерируются по одному. На каждом шаге читаются веса модели и закэшированное состояние внимания, поэтому фаза ограничена пропускной способностью памяти и определяет задержку между токенами.
5. 5. KV-кэшКлючи и значения внимания, вычисленные для предыдущих токенов, кэшируются, так что каждый новый токен обращается к сохранённому состоянию вместо пересчёта всей последовательности. Кэш растёт линейно с длиной контекста и конкурирует с весами за память GPU.
6. 6. Сэмплирование и стримингСледующий токен выбирается из распределения вероятностей (greedy, temperature, top-k, top-p), дописывается в последовательность и обычно передаётся клиенту потоком до срабатывания условия остановки или лимита токенов.

Разделение на prefill и decode объясняет большую часть поведения при обслуживании: длинные промпты ухудшают время до первого токена, длинные ответы ухудшают общую задержку, и почти каждая оптимизация на странице оптимизация обслуживания нацелена на одну из этих фаз. Потокенная генерация это господствующая парадигма, но не единственная: языковые модели на диффузии вместо этого порождают целые фрагменты через итеративное уточнение, и это активное направление исследований с другим профилем задержек.

Где выполняется инференс

Критерии выбора: размер модели, объём запросов, целевые задержки, стоимость и та инфраструктура, которой вы уже управляете. Выполнение в браузере, на периферии и на мобильных устройствах разобрано в разделах веб-инференс и периферия и мобильные устройства.

Метрики, которые описывают сервис инференса

• Показывайте медиану и хвост (P95/P99); средние значения скрывают те медленные запросы, которые запоминают пользователи.
• Задержка и пропускная способность тянут в разные стороны, а главный рычаг между ними это размер батча.
• Рядом с любым числом всегда указывайте модель, оборудование, длины последовательностей и параллельность; без описания нагрузки метрики бессмысленны.