Архитектуры моделей
Генерация видео
Создание пространственной и временной структуры одновременно с использованием представлений видео в виде кадров, патчей или латентных векторов с межкадровыми вычислениями.
Ментальная модель
Генерация изображений плюс ось времени, что приводит к значительно большей проблеме согласованности, памяти, движения и оценки.
Поток данных
- Текстовая, графическая или видео-зависимость
- Пространственно-временное представление
- Временной диффузор или токеновый генератор
- Видеодекодер / апскейлер
- Проверки выравнивания кадров + аудио
Как проходит обучение
Цели включают пространственно-временную шумоподавляющую фильтрацию в пиксельном или латентном пространстве и предсказание следующего токена по визуальным кодам. Условия могут включать текст, ключевые кадры, движение, маски или управление камерой.
Как выполняется инференс
Система совместно сэмплирует клип или отрезки, часто с каскадным уточнением. Увеличение длительности, разрешение и более сильная временная связность увеличивают вычислительную нагрузку и требования к памяти.
Сильные стороны
- Синтез движения, обусловленного текстом или изображением
- Расширение видео, интерполяция и редактирование
- Латентные представления могут снизить стоимость обработки сырых пикселей
Компромиссы
- Идентичность и постоянство объектов со временем могут изменяться
- Генерация и проверка человеком обходятся дорого
- Физика, синхронизация по времени, читаемый текст и синхронное аудио требуют специальных тестов
Использовать, когда
- Короткие креативные клипы или контролируемые преобразования
- Временные ошибки включены в критерии приемки
- Допустима асинхронная генерация
Избегать или пересмотреть, когда
- Требуется рендерер реального времени с детерминированным результатом
- Невозможно проверить непрерывность или физическую корректность
- Рабочий процесс не поддерживает управление происхождением и согласием
Примеры опубликованных семейств
- • Семейство исследований моделей диффузии для видео
- • Латентные видеодиффузоры и токено-ориентированные генераторы видео