Diffusionsmodelle und score-basierte Generierung

So wird trainiert

Ein Netzwerk prognostiziert Rauschen, saubere Daten, Geschwindigkeit oder einen Score bei zufällig abgetasteten Rauschpegeln. Verwandte Flow-Matching-Formulierungen lernen ein Vektorfeld zwischen Verteilungen.

So läuft die Inferenz

Sampling integriert einen gelernten Umkehrprozess über mehrere Schritte hinweg. Die Wahl des Samplers, die Schrittanzahl, Guidance und der Seed bestimmen Geschwindigkeit, Diversität und Fidelity.

Stärken

• •Stabiles Training im Vergleich zu adversariellen Zielen
• •Flexible Konditionierung und Bearbeitung
• •Gute Abdeckung von Bild-, Audio-, Video- und wissenschaftlichen Daten

Zielkonflikte

• •Iteratives Sampling ist langsamer als ein Ein-Pass-Generator
• •Guidance kann die Diversität verringern oder Artefakte erzeugen
• •Die Datenrepräsentation und der Sampler beeinflussen das Ergebnis maßgeblich

Geeignet, wenn

• Generierung mit hoher Dimensionalität im Fokus steht
• Mehrere Inferenzschritte passen in den Latenzrahmen
• Kontrollen und Stichprobenqualität können gemeinsam bewertet werden

Vermeiden oder hinterfragen, wenn

• Ein-Pass-Generierung ist zwingend erforderlich
• Das Modell muss auf einem stark eingeschränkten Gerät laufen
• „Diffusion“ wird als eine feste Implementierung betrachtet