Почему инференс недетерминирован

1. Temperature

Масштабирует логиты токенов перед сэмплированием, меняя то, насколько сосредоточено распределение вероятностей.

2. Начальное значение (seed)

Компьютеры используют «seed» (стартовое число), чтобы порождать псевдослучайные последовательности.

3. Top-P (nucleus sampling)

Модель выбирает из наименьшего набора токенов, суммарная вероятность которых достигает порога (например, 0,9). Набор кандидатов пересчитывается на каждом шаге генерации.

4. Top-K

Модель выбирает из K наиболее вероятных токенов (например, из первых 50).

5. Другие стратегии сэмплирования

Такие сэмплеры, как Mirostat или typical sampling, отбирают токены-кандидаты по другим правилам.

6. Штрафы за повторы, частоту и присутствие

Эти настройки понижают оценки уже встречавшихся токенов и подавляют повторы. Изменение штрафа меняет распределение кандидатов даже при фиксированном seed.

7. Условия остановки (max tokens)

Жёсткий предел длины ответа. Запуск с max_tokens=50 отличается от запуска с max_tokens=500.

8. Условия остановки (стоп-последовательности)

Модель останавливается, если порождает заданную строку (например, "\nHuman:"). При стохастическом сэмплировании разные пути могут встретить стоп-последовательность в разных местах.

9. История диалога (окно контекста)

Самая частая причина кажущейся недетерминированности. Модель видит весь предшествующий диалог, а не только последний вопрос.

10. Предел окна контекста (точка «забывания»)

У моделей конечное окно контекста, и его размер зависит от модели. Длинные диалоги окружающее приложение может обрезать, свернуть в резюме или отклонить; содержимое за пределами переданного контекста модели недоступно.

11. Системный промпт

Инструкция более высокого приоритета, задаваемая приложением или API. Разработчику она может быть видна, а конечному пользователю нет, и её изменение меняет стиль и поведение ответов.

12. Поиск и внешние инструменты

Существенный источник различий во входных данных от запроса к запросу. В сценарии с опорой на поиск приложение может:

1. Приостановить генерацию
2. Вызвать внешний инструмент (например, Google Search API)
3. Получить новые динамические данные (результаты поиска)
4. Внедрить эти данные в контекст

Результаты инструментов меняются между запросами, а это меняет вход модели и может изменить ответ

13. Обновления и версии модели

Модель, которой вы пользуетесь сегодня, может быть новой, переобученной или обновлённой по сравнению со вчерашней. Модель v1.2 отвечает не так, как модель v1.3.

14. A/B-тесты и канареечные выкатки

Провайдер или ваш собственный шлюз может распределять трафик между версиями во время выкатки. Если версию нельзя зафиксировать, два запроса попадут в разные развёртывания и дадут разные ответы.

15. Спекулятивное декодирование

Черновая модель предлагает токены, которые проверяет целевая модель. Точные реализации стремятся сохранить целевое распределение, но различия в рантайме, батчинге, приближениях или конфигурации всё же влияют на воспроизводимость.

16. Архитектура Mixture of Experts (MoE)

Маршрутизатор выбирает подмножество экспертов для каждого токена. При фиксированном входе функция маршрутизации может быть детерминированной, тогда как пределы ёмкости, батчинг и детали реализации создают разброс на уровне развёртывания.

17. Параллельные ядра и порядок редукции чисел с плавающей запятой

Фиксированные операции в фиксированном порядке воспроизводимы. Разброс появляется, когда параллельные ядра или редукции выполняются в другом порядке и различия округления накапливаются:

• Параллелизм: GPU выполняют миллиарды вычислений одновременно
• Арифметика с плавающей запятой: машинные вычисления с дробями не вполне ассоциативны
• Следствие: небольшие изменения оценок меняют выбор токена, когда кандидаты очень близки

18. Конфигурация квантизации

Квантизованная модель использует представления меньшей точности, чем другая сборка, и поэтому может давать другие оценки или ответы. Фиксированная пара из квантизованной модели и рантайма сама по себе не является недетерминированной; записывайте точную квантизацию и рантайм как часть версии модели.

19. Батчинг

Ваш запрос обрабатывается в «батче» вместе с запросами других пользователей. То, как они группируются и дополняются, меняет точный порядок вычислений на GPU и запускает эффекты плавающей запятой.

20. Dropout во время инференса

При инференсе dropout обычно отключён. Исследовательские приёмы вроде dropout по Монте-Карло намеренно оставляют его включённым; такой промышленный рантайм будет стохастическим, пока не управлять его случайным состоянием.