Архитектуры моделей
Автокодировщики, VAE и обученные токенизаторы
Обучите кодировщик, который сжимает данные, и декодировщик, восстанавливающий их; вариационные и квантованные варианты формируют латентное пространство для семплирования или последующей генерации.
Ментальная модель
Изученный кодек. Он определяет, какая информация сохраняется перед тем, как другая модель генерирует в сжатом пространстве.
Поток данных
- Изображение, аудио или другой сигнал
- Кодировщик
- Непрерывный латентный код или дискретные коды
- Опциональный генератор латентного пространства
- Декодирование реконструкции
Как проходит обучение
Цель восстановления сохраняет воспринимаемый контент. VAE добавляют регуляризатор распределения; модели с векторной квантизацией отображают представления в дискретный кодек и добавляют цели кодека/приверженности.
Как выполняется инференс
Кодирование для сжатия или редактирования; семплирование или генерация последовательности латентных/кодовых данных; декодирование в исходный формат. Качество реконструкции ограничивает наилучший возможный последующий вывод.
Сильные стороны
- Уменьшает размерность дорогостоящих медиафайлов
- Создает повторно используемые непрерывные латенты или дискретные токены
- Разделяет обучение представлений и генеративный приоритет
Компромиссы
- Сжатие отбрасывает детали
- Геометрия латентного пространства может не соответствовать последующей семантике
- Квантованные кодек-книги могут быть недоиспользованы или вызывать артефакты
Использовать, когда
- Исходные медиафайлы слишком дороги для прямого моделирования
- Потребится генеративная модель с компактным непрерывным или дискретным пространством
- Сбои реконструкции измеряются по фрагментам контента
Избегать или пересмотреть, когда
- Требуется безубыточное восстановление
- Область кодека существенно отличается от производственных данных
- Артефакты декодера будут приняты за сбои генератора
Примеры опубликованных семейств
- • Вариационный автокодировщик (VAE)
- • Дискретные визуальные/аудио токенизаторы VQ-VAE
- • Автокодировщики, используемые в латентной диффузии