Генерация и редактирование изображений

Как проходит обучение

Современные системы часто обучаются с использованием целей шумоподавления или потока в пиксельном или сжатом латентном пространстве. Выравнивание текста зависит от парных данных и условного обучения; автоэнкодеры могут быть обучены отдельно.

Как выполняется инференс

Сэмплер начинает с шума или зашумленного исходного изображения, итеративно уточняет его согласно условию, а затем декодирует латентное представление. Начальные значения улучшают воспроизводимость, но не делают все пути выполнения детерминированными.

Сильные стороны

• •Высококачественный визуальный синтез без ограничений
• •Естественная поддержка вариативности, закрашивания и управляемого редактирования
• •Латентные конвейеры облегчают практику высокоразрешающей генерации

Компромиссы

• •Несколько шагов сэмплирования добавляют задержку
• •Текст, типографика, идентификация и точные пространственные ограничения требуют явной оценки
• •Права на данные обучения, происхождение и контроль злоупотреблений являются вопросами, касающимися продукта

Использовать, когда

• Креативные идеи, черновики активов или контролируемое преобразование изображения
• Вывод может быть проверен или ограничен
• Визуальное качество и соответствие подсказке оцениваются отдельно

Избегать или пересмотреть, когда

• Требуются точные по пикселям макеты
• Вывод является доказательством реального события или идентификации
• Вопросы прав и происхождения не решены