Leitfaden KI-Inferenz
Inferenz im Webbrowser
KI-Inferenz im Browser
Unterstützte Modelle können über WebGPU oder WebAssembly im Browser laufen. Das kann die Datenübertragung nach außen und die API-Kosten senken und funktioniert offline, sobald alle benötigten Assets zwischengespeichert sind, sofern Telemetrie und entfernte Fallbacks deaktiviert sind. Gerätespeicher, Startzeit, Energieverbrauch und Modelllizenzen bleiben trotzdem relevant.
Wichtige Funktionen
npm install @mlc-ai/web-llmWichtige Funktionen
npm install @browserai/browseraiWichtige Funktionen
Unterstützte Plattformen finden Sie in der SDK-Dokumentation des AnbietersKompatibilität ist eine Laufzeitprüfung
Die Unterstützung durch Browser, Betriebssystem, GPU, Treiber, sicheren Kontext und Unternehmensrichtlinien verändert sich laufend. Schließen Sie nicht allein vom Namen des Browsers auf die Verfügbarkeit; testen Sie die genaue Gerätematrix und halten Sie einen Server- oder CPU-Fallback bereit.
WebGPU-Prüfung
Prüfen Sie navigator.gpu, fordern Sie Adapter und Gerät an, behandeln Sie deren Verlust und erzwingen Sie Ressourcenlimits.
WebAssembly-Prüfung
Erkennen Sie SIMD und Threads per Feature-Detection; Laufzeiten mit Threads können zusätzlich Cross-Origin-Isolation erfordern.