Autoencoder, VAEs & gelernte Tokenizer

So wird trainiert

Ein Rekonstruktionsziel bewahrt den Wahrnehmungsinhalt. VAEs fügen einen Distributionsregularisator hinzu; vektorquantisierte Modelle ordnen Repräsentationen einem diskreten Codebuch zu und fügen Codebuch-/Commitment-Ziele hinzu.

So läuft die Inferenz

Codieren zur Kompression oder Bearbeitung; abtasten oder generieren eine latente/Code-Sequenz; decodieren in die ursprüngliche Modalität. Die Rekonstruktionsqualität begrenzt das bestmögliche nachgelagerte Ergebnis.

Stärken

• •Reduziert die Dimensionalität teurer Medien
• •Erzeugt wiederverwendbare kontinuierliche Latente oder diskrete Token
• •Trennt Repräsentationslernen von der generativen Prior

Zielkonflikte

• •Komprimierung verwirft Details
• •Die latente Geometrie stimmt möglicherweise nicht mit der nachgelagerten Semantik überein
• •Quantisierte Codebücher können unterausgelastet sein oder Artefakte einführen

Geeignet, wenn

• Rohdaten sind zu teuer, um sie direkt zu modellieren
• Ein generatives Modell benötigt einen kompakten kontinuierlichen oder diskreten Raum
• Rekonstruktionsfehler werden pro Inhaltsbereich gemessen

Vermeiden oder hinterfragen, wenn

• Verlustfreie Rekonstruktion ist obligatorisch
• Der Codec-Bereich unterscheidet sich wesentlich von den Produktionsdaten
• Decoder-Artefakte würden als Generatorfehler interpretiert werden