Modellarchitekturen

Architekturglossar

Kurze Definitionen der Begriffe aus Modellpapieren und Produktdokumentationen.

Aufmerksamkeit: Eine gelernte gewichtete Suche, die es einer Position ermöglicht, Informationen von anderen Positionen zu kombinieren.
Autoregressiv: Zerlegt eine Ausgabe in eine geordnete Sequenz und sagt jedes Element anhand vorheriger Elemente vorher.
Kausale Maskierung: Verhindert, dass ein Token bei der linksseitigen Sprachmodellierung auf zukünftige Tokens achtet.
Konditionierung: Informationen (z. B. Text, ein Bild, eine Beschriftung oder ein Steuersignal), die die Generierung lenken.
Kreuzaufmerksamkeit: Ermöglicht es einer Sequenz, die latenten Zustände einer anderen Sequenz oder Modalität abzufragen.
Entrauschung: Lernen oder Anwenden eines Schritts, der aus einer verrauschten Stichprobe saubere Daten oder eine Aktualisierung in Umkehrrichtung schätzt.
Einbettung: Ein erlernter numerischer Vektor zur Darstellung von Ähnlichkeiten oder für nachgelagerte Vorhersagen.
Experte / Router: In MoE-Schichten ist ein Experte ein Teilnetzwerk; der Router entscheidet, welche Experten jedes Token verarbeiten.
Flow Matching: Lernt ein zeitabhängiges Vektorfeld, das Samples zwischen Wahrscheinlichkeitsverteilungen transportiert.
Grounding: Die Verknüpfung einer Modellausgabe mit vorgelegten, überprüfbaren Beweisen oder einer externen Quelle der Wahrheit.
KV-Cache: Gespeicherte Aufmerksamkeitsschlüssel und -werte früherer Tokens, die während der autoregressiven Dekodierung wiederverwendet werden.
Latente Repräsentation: Eine gelernte interne Repräsentation, üblicherweise von geringerer Dimensionalität als die ursprünglichen Daten.
Modalitätsprojektor: Ein Verbindungselement, das die Merkmale eines Encoders in den Repräsentationsraum überführt, der von einem anderen Modell erwartet wird.
Reranker: Ein Modell der zweiten Stufe, das einen kleinen Kandidatensatz anhand umfassenderer Interaktionen zwischen Anfrage und Kandidat bewertet.
Rekurrenter Zustand: Eine begrenzte versteckte Repräsentation, die von einem Schritt zum nächsten in einer Sequenz weitergegeben wird.
Token / Code: Eine diskrete Einheit, die von einem sequenziellen Modell verarbeitet wird; sie kann Text, einen Bildausschnitt oder komprimiertes Audio darstellen.

Modellarchitekturen

Architekturglossar

Kurze Definitionen der Begriffe aus Modellpapieren und Produktdokumentationen.

Aufmerksamkeit: Eine gelernte gewichtete Suche, die es einer Position ermöglicht, Informationen von anderen Positionen zu kombinieren.
Autoregressiv: Zerlegt eine Ausgabe in eine geordnete Sequenz und sagt jedes Element anhand vorheriger Elemente vorher.
Kausale Maskierung: Verhindert, dass ein Token bei der linksseitigen Sprachmodellierung auf zukünftige Tokens achtet.
Konditionierung: Informationen (z. B. Text, ein Bild, eine Beschriftung oder ein Steuersignal), die die Generierung lenken.
Kreuzaufmerksamkeit: Ermöglicht es einer Sequenz, die latenten Zustände einer anderen Sequenz oder Modalität abzufragen.
Entrauschung: Lernen oder Anwenden eines Schritts, der aus einer verrauschten Stichprobe saubere Daten oder eine Aktualisierung in Umkehrrichtung schätzt.
Einbettung: Ein erlernter numerischer Vektor zur Darstellung von Ähnlichkeiten oder für nachgelagerte Vorhersagen.
Experte / Router: In MoE-Schichten ist ein Experte ein Teilnetzwerk; der Router entscheidet, welche Experten jedes Token verarbeiten.
Flow Matching: Lernt ein zeitabhängiges Vektorfeld, das Samples zwischen Wahrscheinlichkeitsverteilungen transportiert.
Grounding: Die Verknüpfung einer Modellausgabe mit vorgelegten, überprüfbaren Beweisen oder einer externen Quelle der Wahrheit.
KV-Cache: Gespeicherte Aufmerksamkeitsschlüssel und -werte früherer Tokens, die während der autoregressiven Dekodierung wiederverwendet werden.
Latente Repräsentation: Eine gelernte interne Repräsentation, üblicherweise von geringerer Dimensionalität als die ursprünglichen Daten.
Modalitätsprojektor: Ein Verbindungselement, das die Merkmale eines Encoders in den Repräsentationsraum überführt, der von einem anderen Modell erwartet wird.
Reranker: Ein Modell der zweiten Stufe, das einen kleinen Kandidatensatz anhand umfassenderer Interaktionen zwischen Anfrage und Kandidat bewertet.
Rekurrenter Zustand: Eine begrenzte versteckte Repräsentation, die von einem Schritt zum nächsten in einer Sequenz weitergegeben wird.
Token / Code: Eine diskrete Einheit, die von einem sequenziellen Modell verarbeitet wird; sie kann Text, einen Bildausschnitt oder komprimiertes Audio darstellen.