Архитектуры генеративных моделей

Генерирует текст по одному токену, обычно с помощью каузального декодера, обученного предсказывать следующий токен и затем адаптированного для выполнения инструкций.

Преобразуют текст, изображения, аудио, пользователей или элементы в векторы, геометрия которых обучена для сохранения полезного понятия о сходстве.

Синтезирует или преобразует пиксели, чаще всего с помощью текстового либо визуального условия, латентного генератора и декодера изображений.

Создание пространственной и временной структуры одновременно с использованием представлений видео в виде кадров, патчей или латентных векторов с межкадровыми вычислениями.

Семейство специализированных конвейеров: распознавание речи, синтез речи, понимание аудио, преобразование голоса, генерация звука и генерация музыки – это не одна архитектура.

Позвольте каждому входному токену обращать внимание на токены с обеих сторон, создавая контекстные представления вместо цикла неограниченной генерации.

Каузальная маска позволяет каждой позиции учитывать только предыдущие токены, что соответствует генерации слева направо в большинстве универсальных чат-моделей.

Двунаправленно кодирует входные данные, затем каузально генерирует выходную последовательность, используя кросс-внимание к закодированному источнику.

Заменяет выбранные плотные подслои множеством экспертных сетей и обучаемым маршрутизатором, который активирует лишь небольшую их часть для каждого токена.

Обновляйте компактное состояние по мере поступления токенов вместо сохранения явной связи внимания между каждой парой позиций.

Обучите кодировщик, который сжимает данные, и декодировщик, восстанавливающий их; вариационные и квантованные варианты формируют латентное пространство для семплирования или последующей генерации.

Обучите генератор обманывать дискриминатор, в то время как дискриминатор учится отличать сгенерированные образцы от обучающих данных.

Преобразуйте простое распределение в сложное распределение данных посредством последовательности обратимых отображений с вычисляемыми Якобианами.

Обучитесь обращать постепенный процесс добавления шума, генерируя данные путем многократной трансформации шума в образцы.

Выполняйте диффузию в пространстве латентных представлений автокодировщика меньшей размерности, а затем декодируйте полученное представление обратно в пиксели или другой сигнал.

Трансформер обрабатывает зашумленные патчи изображений или видео и служит денойзером в диффузионном либо потоковом генеративном процессе.

Преобразует изображения, видео или аудио в дискретные коды и предсказывает их в заданном порядке, часто с помощью каузального трансформера.

Преобразует пиксели в карты признаков, токены-патчи или агрегированные векторы для последующей обработки классификаторами, поисковыми системами, декодерами либо мультимодальными моделями.

Независимо кодируют два входных сигнала (например, запрос и документ или изображение и подпись) и обучают парные примеры располагаться близко друг к другу.

Соединяйте кодировщики и генераторы, специфичные для каждой модальности, посредством проекций, кросс-внимания, общих токеновых пространств или комбинаций этих механизмов.

Извлекайте данные по запросу и предоставляйте их генератору, классификатору или агенту вместо того, чтобы полагаться только на параметры модели.

Поместите модель в контроллер, который может планировать, вызывать типизированные инструменты, просматривать результаты, пересматривать, проверять, останавливать и передавать управление человеку.