Architectures de modèles
Glossaire des architectures
Définitions courtes des termes employés dans les articles et documentations sur les modèles.
- Attention
- Un mécanisme pondéré appris qui permet à une position de combiner des informations provenant d’autres positions.
- Autorégressif
- Factorise une sortie en une séquence ordonnée et prédit chaque élément à partir des éléments précédents.
- Masque causal
- Empêche un jeton de prêter attention aux jetons futurs pendant la modélisation du langage de gauche à droite.
- Conditionnement
- Information (par exemple, du texte, une image, une étiquette ou un signal de contrôle) qui guide la génération.
- Attention croisée
- Permet à une séquence de poser des requêtes sur les états cachés d'une autre séquence ou modalité.
- Débruitage
- Apprentissage ou application d'une étape qui estime des données propres ou une mise à jour inverse à partir d'un échantillon bruité.
- Plongement vectoriel (embedding)
- Un vecteur numérique appris qui représente un élément pour mesurer la similarité ou effectuer une prédiction en aval.
- Expert / routeur
- Dans les couches MoE, un expert est un sous-réseau et le routeur choisit quels experts traitent chaque jeton.
- Appariement de flux (flow matching)
- Apprend un champ vectoriel dépendant du temps qui transporte des échantillons entre des distributions de probabilité.
- Ancrage (Grounding)
- Connecter une réponse du modèle à des preuves fournies, inspectables ou à une source de vérité externe.
- Cache KV
- Clés et valeurs d'attention stockées provenant de jetons précédents, réutilisées lors du décodage autorégressif.
- Latent
- Une représentation interne apprise, couramment de dimension inférieure à celle des données originales.
- Projecteur de modalité (Modality projector)
- Un connecteur qui projette les caractéristiques d’un encodeur dans l’espace de représentation attendu par un autre modèle.
- Modèle de reclassement (reranker)
- Un modèle en second passage qui évalue un petit ensemble de candidats avec une interaction requête–candidat plus riche.
- État récurrent
- Une représentation cachée limitée transmise d'une étape à l'autre dans une séquence.
- Jeton / code
- Une unité discrète traitée par un modèle de séquence ; il peut représenter du texte, un patch d'image ou de l'audio compressé.