Авторегрессивные визуальные и аудио модели

Как проходит обучение

Обучается выученный кодек для восстановления; приоритет минимизирует кросс-энтропию следующего кода, опционально с учетом текста, предыдущих кадров, семантических токенов или кодов крупномасштабной структуры.

Как выполняется инференс

Коды генерируются последовательно или по иерархическому/блочному расписанию, а затем декодируются. Порядок определяет задержку и какие зависимости легче моделировать.

Сильные стороны

• •Унифицированное на основе токенов моделирование в различных модальностях
• •Совместимость с инфраструктурой причинно-следственных языковых моделей
• •Точная дискретная вероятность для выбранной токенизации

Компромиссы

• •Длинные последовательности кодов создают сериальную задержку
• •Артефакты токенизатора ограничивают качество вывода
• •Одномерный порядок может быть неудобен для пространственной или мультимасштабной структуры

Использовать, когда

• Существует надежный дискретный кодек
• Важно кросс-модальное токенное моделирование или продолжение
• Иерархическая генерация соответствует целям по задержке

Избегать или пересмотреть, когда

• Длинная последовательная декодировка превышает бюджет
• Кодек теряет критические перцептивные детали
• Непрерывная диффузионная репрезентация значительно проще