Архитектуры моделей
Глоссарий архитектур
Краткие определения терминов из статей о моделях и документации продуктов.
- Внимание
- Обучаемый механизм взвешивания, позволяющий одной позиции объединять информацию из других позиций.
- Авторегрессия
- Разлагает выходные данные на упорядоченную последовательность и предсказывает каждый элемент на основе предыдущих.
- Каузальная маска
- Не позволяет токену обращать внимание на будущие токены при языковом моделировании слева направо.
- Обусловливание
- Информация (например, текст, изображение, метка или управляющий сигнал), которая направляет генерацию.
- Кросс-внимание
- Позволяет одной последовательности запрашивать скрытые состояния другой последовательности или модальности.
- Денойзинг
- Обучение или применение шага, оценивающего чистые данные или обратное обновление из зашумленного образца.
- Векторное представление (Embedding)
- Обученный числовой вектор, используемый для представления схожести или последующего прогнозирования.
- Эксперт / маршрутизатор
- В слоях MoE эксперт – это подсеть, а маршрутизатор определяет, какие эксперты обрабатывают каждый токен.
- Согласование потоков (flow matching)
- Обучается с учетом времени векторному полю, которое переносит образцы между распределениями вероятностей.
- Обоснование
- Соотнесение ответа модели с предоставленными проверяемыми доказательствами или внешним источником достоверной информации.
- Кэш KV
- Хранящиеся ключи и значения внимания от предыдущих токенов, используемые при авторегрессивном декодировании.
- Латентное представление
- Изученное внутреннее представление, обычно имеющее меньшую размерность, чем исходные данные.
- Проектор модальности
- Компонент, который отображает признаки одного кодировщика в представление, ожидаемое другой моделью.
- Переранжировщик
- Модель второго этапа, оценивающая небольшой набор кандидатов с использованием более насыщенного взаимодействия между запросом и кандидатом.
- Рекуррентное состояние
- Ограниченное скрытое представление, передаваемое от одного шага последовательности к следующему.
- Токен / код
- Дискретная единица, обрабатываемая моделью последовательностей; она может представлять текст, патч изображения или сжатый аудиосигнал.