Architectures de modèles
Transformers à encodeur uniquement
Permettre à chaque jeton d'entrée de prendre en compte les jetons des deux côtés, produisant ainsi des représentations contextuelles plutôt qu'une boucle de génération ouverte.
Modèle mental
Lire l'intégralité de l'entrée, contextualiser chaque position, puis effectuer un regroupement ou attacher une tête de tâche.
Flux de données
- Séquence de jetons
- Blocs d'auto-attention bidirectionnels
- États de jeton contextuels
- Regroupement ou tête de tâche
- Classe, étendue, score ou vecteur
Entraînement
La reconstruction de jeton masqué est l'objectif de préentraînement classique, suivie d'une classification spécifique à la tâche, d'un étiquetage de jeton, d'une prédiction d'étendue ou d'un apprentissage métrique.
Exécution de l’inférence
Une seule passe vers l'avant traite l'entrée disponible. Elle se prête naturellement à la compréhension et à la représentation, mais ne génère pas elle-même une continuation arbitraire.
Atouts
- Contexte bidirectionnel riche pour la classification et l'extraction
- Traitement parallèle sur toute l'entrée
- Souvent efficace pour les tâches bornées à grande échelle
Compromis
- Pas un générateur ouvert
- La longueur maximale d'entrée et l'attention quadratique peuvent contraindre les documents longs
- Une tête de tâche ou une stratégie de regroupement est généralement requise
À utiliser lorsque
- La classification, les entités nommées, le reranking ou les embeddings sont dominants
- L'intégralité de l'entrée est disponible avant la prédiction
- Un modèle spécialisé plus petit peut répondre aux exigences
À éviter ou remettre en question lorsque
- La sortie principale est un texte long et libre
- Une génération en continu est requise
- Les entrées dépassent régulièrement la stratégie de contexte évaluée
Familles publiées à titre d’exemple
- • Familles de recherche BERT et RoBERTa
- • Rerankeurs et classificateurs basés sur l'encodeur
Souvent combinée avec
Modèles d’embeddingsEncodeurs de visionEncodeurs contrastifs et duauxSystèmes augmentés par la recherche et hybrides