Modèles d'espace d'état et récurrents

Entraînement

Les pertes de modélisation de séquence sont associées aux couches récurrentes ou d'espace d'état structuré. Les analyses parallèles ou formulations apparentées peuvent rendre l'entraînement plus parallèle qu'un RNN étape par étape naïf.

Exécution de l’inférence

Le décodage maintient un état récurrent borné par couche. Les architectures hybrides peuvent alterner des couches d'espace d'état, de convolution et d'attention pour récupérer les capacités que chaque mécanisme gère bien.

Atouts

• •Traitement de séquence en temps linéaire dans la récurrence principale
• •État en streaming compact à l'inférence
• •Adaptation naturelle aux séquences longues ou arrivant en continu

Compromis

• •L'état compressé peut perdre des détails précis et distants
• •Les outils et les noyaux optimisés peuvent être moins matures que l'attention standard
• •Les affirmations de complexité au niveau de l'architecture doivent être vérifiées de bout en bout

À utiliser lorsque

• L'efficacité du streaming ou des séquences longues est une exigence prioritaire
• L'environnement d'exécution cible dispose de noyaux optimisés
• La restitution, la qualité et le débit sont mesurés sur la charge de travail réelle

À éviter ou remettre en question lorsque

• Une récupération arbitraire exacte à partir d'un long contexte est supposée sans test
• La pile de service ne peut pas exploiter l'architecture
• Un déploiement Transformer mature répond déjà au budget