Архитектуры моделей
Диффузионные трансформеры (DiT)
Трансформер обрабатывает зашумленные патчи изображений или видео и служит денойзером в диффузионном либо потоковом генеративном процессе.
Ментальная модель
DiT заменяет центральную сеть денойзинга, но не устраняет диффузионный процесс, латентный кодек, обусловливание или сэмплер.
Поток данных
- Зашумлённое скрытое представление
- Разбиение на патчи + позиционное/временное условие
- Блоки Трансформера
- Предсказанное обновление скрытого представления
- Шаг семплирования → повторение
Как проходит обучение
Модель обучается той же цели, что и другие диффузионные системы (деноизинг, скорость или поток), при этом блоки Трансформера смешивают информацию между патчами скрытого пространства.
Как выполняется инференс
Семплер многократно вызывает трансформер в разные моменты шума или потока, затем декодер отображает конечное скрытое представление в медиаданные.
Сильные стороны
- Масштабирование и экосистема реализации Трансформеров
- Глобальные взаимодействия между патчами скрытого пространства
- Естественный путь к совместной мультимодальной обработке токенов
Компромиссы
- Стоимость внимания растёт с количеством токенов в скрытом пространстве
- По-прежнему требуются многократные вызовы денойзера
- Термин “DiT” сам по себе не определяет кодек, цель, условие или семплер
Использовать, когда
- Доступна инфраструктура для масштабирования Трансформеров
- Количество патчей в скрытом пространстве и задержка семплирования соответствуют бюджету
- Вам нужна гибкая основа для генерации изображений или видео
Избегать или пересмотреть, когда
- Небольшой U-Net уже соответствует цели
- Метка используется как полная спецификация архитектуры
- Высокое разрешение токенов перегружает целевое время выполнения
Примеры опубликованных семейств
- • Семья исследований DiT
- • Трансформерные денойзеры внутри латентных конвейеров изображений и видео
Часто сочетается с
Латентная диффузияАвтокодировщики, VAE и обученные токенизаторыМультимодальные условияСмесь экспертов (MoE)