Руководство по инференсу
Инференс в веб-браузере
ИИ-инференс на стороне браузера
Поддерживаемые модели могут работать в браузере через WebGPU или WebAssembly. Это способно снизить передачу данных наружу и стоимость API, а после кеширования всех необходимых ресурсов работать офлайн, при условии что телеметрия и удалённые запасные маршруты отключены. Память устройства, время запуска, энергопотребление и лицензии моделей никуда не деваются.
Ключевые возможности
npm install @mlc-ai/web-llmКлючевые возможности
npm install @browserai/browseraiКлючевые возможности
Список поддерживаемых платформ смотрите в документации SDK вендораСовместимость проверяется во время выполнения
Поддержка со стороны браузера, операционной системы, GPU, драйверов, защищённого контекста и корпоративных политик постоянно меняется. Не делайте вывод о доступности по одному названию браузера: тестируйте конкретную матрицу устройств и держите запасной путь через сервер или CPU.
Проверка WebGPU
Проверяйте navigator.gpu, запрашивайте адаптер и устройство, обрабатывайте их потерю и соблюдайте лимиты ресурсов.
Проверка WebAssembly
Определяйте наличие SIMD и потоков; многопоточным рантаймам может дополнительно требоваться cross-origin isolation.