Диффузионные модели и генерация на основе оценок (score-based generation)

Как проходит обучение

Нейронная сеть предсказывает шум, чистые данные, скорость или score при случайно выбранных уровнях шума. Связанные формулировки flow matching учат векторному полю между распределениями.

Как выполняется инференс

Сэмплирование интегрирует выученный обратный процесс на нескольких шагах. Выбор семплера, количество шагов, guidance и seed определяют компромисс между скоростью, разнообразием и точностью.

Сильные стороны

• •Более стабильное обучение по сравнению с состязательными методами
• •Гибкая условность и редактирование
• •Широкое применение к изображениям, аудио, видео и научным данным

Компромиссы

• •Итеративное сэмплирование медленнее, чем генератор за один проход
• •Guidance может снизить разнообразие или вызвать артефакты
• •Представление данных и выбор семплера существенно влияют на результаты

Использовать, когда

• Условная генерация высокой размерности является центральной задачей
• Несколько шагов вывода укладываются в допустимый бюджет задержки
• Контроль и качество образцов могут быть оценены совместно

Избегать или пересмотреть, когда

• Генерация за один проход обязательна
• Модель должна работать на сильно ограниченном устройстве
• Термин “диффузия” трактуется как фиксированная реализация