Encodeurs de vision

Entraînement

Des objectifs contrastifs image-texte, la reconstruction et une modélisation d'image masquée, ainsi que la distillation auto-supervisée produisent différents types d’invariances visuelles et niveaux de détails spatiaux.

Exécution de l’inférence

L’encodeur s’exécute une fois par trame ou lot d’images. Les sorties agrégées conviennent à la recherche et à la classification ; les cartes denses de jetons conservent davantage d’informations spatiales pour la détection ou le raisonnement multimodal.

Atouts

• •Caractéristiques visuelles réutilisables
• •Classification, recherche et perception efficaces
• •Peut connecter des images à des modèles linguistiques via un projecteur ou une attention croisée

Compromis

• •La résolution et la taille du patch déterminent les détails perdus et le coût en jetons
• •Les objectifs d'entraînement créent différents angles morts
• •Un vecteur agrégé est insuffisant pour de nombreuses tâches spatiales

À utiliser lorsque

• Le système doit comprendre ou récupérer du contenu visuel
• Vous pouvez choisir entre des caractéristiques pondérées et spatiales en fonction de la tâche
• Les petites images, les graphiques et l’imagerie spécifique au domaine sont évalués explicitement

À éviter ou remettre en question lorsque

• Une génération visuelle est faussement attendue de l'encodeur seul
• La résolution d'entrée supprime les détails requis
• Un benchmark générique d’image tient lieu à tort d’évaluation du domaine réel