Архитектуры моделей
Трансформеры только с декодером
Каузальная маска позволяет каждой позиции учитывать только предыдущие токены, что соответствует генерации слева направо в большинстве универсальных чат-моделей.
Ментальная модель
Сжимаем префикс во внутреннее состояние внимания, предсказываем один токен продолжения, добавляем его и повторяем.
Поток данных
- Токены префикса
- Причинное самовнимание
- Внутреннее состояние на каждой позиции
- Логиты словаря
- Следующий токен → повтор
Как проходит обучение
Кросс-энтропия для следующего токена предоставляет сигнал обучения на каждой позиции. После обучения можно добавить примеры инструкций, предпочтения, верифицируемые награды или траектории использования инструментов.
Как выполняется инференс
Предварительная обработка (prefill) обрабатывает запрос; декодирование затем выдает токены последовательно, в то время как кэш KV хранит прошлые ключи и значения внимания. Размер контекста, объем памяти кэша и длина вывода определяют поведение обслуживания.
Сильные стороны
- Один масштабируемый интерфейс для множества задач генерации
- Хорошая адаптация к контексту
- Может чередовать прозу, код, структурированные данные и токены вызова инструментов
Компромиссы
- Последовательная задержка декодирования
- Квадратичная предварительная обработка в стандартном полном внимании
- Чувствительность к подсказкам и вероятностный вывод требуют проверки
Использовать, когда
- Генерация с открытым концом или интерактивный чат являются центральными задачами
- Многие задачи могут использовать один конечный узел модели
- Вы можете ограничивать и оценивать результаты в производственном цикле
Избегать или пересмотреть, когда
- Небольшой кодировщик или детерминированный компонент удовлетворяют требованию
- Предполагается гарантированная точность вывода без проверки
- Длинные исходные корпуса следует искать, а не помещать целиком в контекст
Примеры опубликованных семейств
- • Причинные языковые модели в стиле GPT
- • Семейство исследований LLaMA
Часто сочетается с
Языковые модели для текста и чатовСмесь экспертов (MoE)Модели мультимодального слиянияRAGСистемы с инструментами и рассуждениями