Architectures de modèles génératifs

Générer du texte un jeton à la fois, généralement avec un décodeur causal entraîné pour prédire le prochain jeton et ensuite adapté pour suivre les instructions.

Cartographier du texte, des images, de l'audio, des utilisateurs ou des éléments en vecteurs dont la géométrie est entraînée pour préserver une notion utile de similarité.

Synthétiser ou transformer des pixels, le plus souvent grâce à un conditionnement textuel ou image, un générateur latent et un décodeur d'image.

Générer conjointement la structure spatiale et temporelle à partir de représentations vidéo fondées sur des trames, des patchs ou des variables latentes, avec des calculs entre trames.

Une famille de pipelines spécifiques aux tâches : la reconnaissance automatique de la parole (ASR), la synthèse vocale (TTS), la compréhension audio, la conversion vocale, la génération sonore et la génération musicale ne constituent pas une seule architecture.

Permettre à chaque jeton d'entrée de prendre en compte les jetons des deux côtés, produisant ainsi des représentations contextuelles plutôt qu'une boucle de génération ouverte.

Utilisez un masque causal pour que chaque position ne voit que les jetons précédents, ce qui correspond au processus de génération gauche à droite utilisé par la plupart des modèles de discussion grand public.

Encoder une entrée de manière bidirectionnelle, puis générer une sortie de manière causale tout en effectuant un mécanisme d'attention croisée sur la source encodée.

Remplacez les sous-couches denses sélectionnées par de nombreux réseaux experts et un routeur appris qui n'active qu'un petit sous-ensemble pour chaque jeton.

Mettre à jour un état compact au fur et à mesure que les jetons arrivent, sans conserver une relation d'attention explicite entre chaque paire de positions.

Apprendre un encodeur qui compresse les données et un décodeur qui les reconstruit ; les variantes variationnelles et quantifiées façonnent l'espace latent pour l'échantillonnage ou la génération en aval.

Entraînez un générateur pour tromper un discriminateur tandis que ce dernier apprend à distinguer les échantillons générés des données d'entraînement.

Transforme une distribution simple en une distribution de données complexe par le biais d'une séquence de transformations inversibles avec des Jacobiennes calculables.

Apprendre à inverser un processus de bruitage progressif, produisant des données en transformant de manière répétée le bruit vers un échantillon.

Effectuer une diffusion dans l'espace latent de dimension inférieure d'un autoencodeur, puis décoder la représentation générée pour obtenir des pixels ou un autre signal.

Utilisez un Transformer appliqué à des patchs d'image ou de vidéo bruités comme réseau de débruitage au sein d'un processus génératif par diffusion ou par flux.

Convertir des images, des vidéos ou de l'audio en codes discrets et prédire ces codes selon un ordre, souvent avec un Transformer causal.

Convertir des pixels en cartes de caractéristiques, jetons de patchs ou vecteurs pondérés que les classificateurs, moteurs de recherche, décodeurs ou modèles multimodaux peuvent utiliser.

Encoder deux entrées indépendamment (par exemple, une requête et un document ou une image et une légende) et entraîner des paires à se rapprocher.

Connecter les encodeurs et générateurs spécifiques à chaque modalité via des projections, une attention croisée, des espaces de jetons partagés ou des combinaisons de ces mécanismes.

Récupérer les preuves au moment de la requête et les fournir à un générateur, un classificateur ou un agent plutôt que de se fier uniquement aux paramètres du modèle.

Placez un modèle au sein d’un contrôleur capable de planifier, d’appeler des outils typés, d’inspecter les résultats, de réviser, de vérifier, d’arrêter et de passer le contrôle à une personne.