Fondamentaux de l’inférence

Entraînement et inférence sont deux métiers distincts

L’entraînement ajuste les poids du modèle sur un grand jeu de données, en général une seule fois, sur un vaste cluster d’accélérateurs. L’inférence applique les poids figés à de nouvelles entrées, en continu, pour chaque requête servie par votre produit. Le coût d’entraînement est essentiellement un investissement ponctuel ; le coût d’inférence croît avec le trafic, et c’est pourquoi l’efficacité du service décide de l’économie d’un produit IA.

Distinction voisine : un framework d’inférence exécute le modèle efficacement, tandis qu’un serveur d’inférence l’enveloppe de batching, de files d’attente, de streaming, de sondes de santé, d’autoscaling et d’une API HTTP ou gRPC. Un système en production a besoin des deux.

Comment un modèle transforme un prompt en texte

1. 1. TokenisationLe prompt est découpé en jetons associés à des identifiants d’un vocabulaire fixe. C’est le nombre de jetons, et non de caractères, qui détermine le coût et les limites de contexte.
2. 2. EmbeddingLes identifiants de jetons deviennent des vecteurs ; une information de position (par exemple les rotary embeddings) indique au modèle où chaque jeton se situe dans la séquence.
3. 3. PrefillTout le prompt est traité en une seule passe parallèle à travers les couches du transformer. L’auto-attention compare chaque jeton à tous les jetons précédents ; un masque causal empêche un jeton de voir ce qui le suit. Cette phase est limitée par le calcul et détermine le temps jusqu’au premier jeton.
4. 4. DecodeLes jetons sont générés un par un. Chaque étape lit les poids du modèle et l’état d’attention en cache : cette phase est limitée par la bande passante mémoire et détermine la latence entre jetons.
5. 5. Cache KVLes clés et valeurs d’attention calculées pour les jetons précédents sont mises en cache, si bien que chaque nouveau jeton consulte un état stocké au lieu de recalculer toute la séquence. Le cache croît linéairement avec la longueur du contexte et se dispute la mémoire GPU avec les poids.
6. 6. Échantillonnage et streamingLe jeton suivant est choisi dans la distribution de probabilité (greedy, temperature, top-k, top-p), ajouté à la séquence et le plus souvent diffusé au client jusqu’à une condition d’arrêt ou une limite de jetons.

La séparation prefill/decode explique l’essentiel du comportement en service : les longs prompts dégradent le temps jusqu’au premier jeton, les longues sorties dégradent la latence totale, et presque toutes les optimisations de la page optimisation du service visent l’une ou l’autre phase. La génération jeton par jeton est le paradigme dominant, mais pas le seul : les modèles de langage à diffusion génèrent au contraire des passages entiers par raffinements successifs, une direction de recherche active au comportement de latence différent.

Où s’exécute l’inférence

Les critères de choix sont la taille du modèle, le volume de requêtes, les objectifs de latence, le coût et l’infrastructure que vous exploitez déjà. L’exécution en navigateur, en edge et sur mobile est traitée dans inférence web et edge et mobile.

Les métriques qui décrivent un service d’inférence

• Publiez la médiane et les valeurs de queue (P95/P99) ; les moyennes masquent les requêtes lentes dont les utilisateurs se souviennent.
• Latence et débit s’opposent, et la taille de lot est le principal levier entre les deux.
• Indiquez toujours le modèle, le matériel, les longueurs de séquence et la concurrence à côté de chaque chiffre ; une métrique n’a pas de sens sans sa charge de travail.