Архитектуры моделей
Латентная диффузия
Выполняйте диффузию в пространстве латентных представлений автокодировщика меньшей размерности, а затем декодируйте полученное представление обратно в пиксели или другой сигнал.
Ментальная модель
Шумоподавляйте компактный изученный эскиз вместо каждого необработанного пикселя.
Поток данных
- Обучение данных
- Замороженный или совместно обученный латентный автокодировщик
- Условный шумоподавитель в латентном пространстве
- Полученное чистое латентное представление
- Декодер → данные
Как проходит обучение
Автокодировщик сначала изучает перцептионную компрессию. Затем модель диффузии изучает задачу шумоподавления над этими латентными представлениями, часто с использованием кросс-внимания.
Как выполняется инференс
Выполняйте сэмплирование в меньшем тензоре латентного пространства за несколько шагов и декодируйте один раз. Генерация изображений по изображениям и инпаинтинг могут начинаться с закодированного и выборочно зашумленного исходного контента.
Сильные стороны
- Более низкая стоимость шумоподавления, чем у необработанных пикселей высокого разрешения
- Модульное текстовое обуславливание и редактирование
- Повторно используемые компоненты автокодировщика и генератора
Компромиссы
- Автокодировщик создает предел реконструкции
- Тонкое текстовое или высокочастотное детализирование может быть потеряно при сжатии
- Ошибки в двух этапах труднее атрибутировать
Использовать, когда
- Генерация данных высокого разрешения должна соответствовать практическим вычислительным ограничениям
- Требуются редактирование и условное управление
- Реконструкция кодеком подтверждена для целевой области
Избегать или пересмотреть, когда
- Автокодировщик теряет детали, критичные для задачи
- Простота сквозного обучения важнее стоимости генерации
- Латентные пространства-шорткаты могут скрывать контент, имеющий значение для безопасности
Примеры опубликованных семейств
- • Модели диффузии в латентном пространстве
- • Линейка исследований Stable Diffusion
Часто сочетается с
Автокодировщики, VAE и обученные токенизаторыШумоподавитель U-NetДиффузионные трансформеры (DiT)Текстовый энкодер