Guide de l’inférence IA
Inférence en navigateur web
Inférence IA côté navigateur
Les modèles pris en charge peuvent s’exécuter dans un navigateur via WebGPU ou WebAssembly. Cela peut réduire les transferts de données distants et le coût d’API, et fonctionner hors ligne une fois toutes les ressources nécessaires mises en cache, à condition de désactiver la télémétrie et les replis distants. La mémoire de l’appareil, le temps de démarrage, la consommation d’énergie et les licences des modèles restent des contraintes.
Fonctionnalités clés
npm install @mlc-ai/web-llmFonctionnalités clés
npm install @browserai/browseraiFonctionnalités clés
Consultez la documentation du SDK de l’éditeur pour les plateformes prises en chargeLa compatibilité se vérifie à l’exécution
La prise en charge par le navigateur, le système d’exploitation, le GPU, le pilote, le contexte sécurisé et les stratégies d’entreprise évolue. N’en déduisez pas la disponibilité à partir du seul nom du navigateur ; testez la matrice exacte d’appareils et gardez un repli serveur ou CPU.
Verrou WebGPU
Vérifiez navigator.gpu, demandez un adaptateur et un device, gérez la perte de contexte et imposez des limites de ressources.
Verrou WebAssembly
Détectez la présence de SIMD et des threads ; les runtimes multithreadés peuvent aussi exiger une isolation cross-origin.