AI推理指南
浏览器推理
基于浏览器的 AI 推理
受支持的模型可以通过 WebGPU 或 WebAssembly 在浏览器里运行。这样可以减少远程数据传输和 API 成本；只要关闭遥测和远程回退，并且所有必需资源都已缓存，还可以离线工作。但设备内存、启动时间、能耗和模型许可这些约束依然存在。
主要特性
WebGPU 加速
兼容 OpenAI 的 API
本地运行
需按浏览器和设备分别做基准测试
npm install @mlc-ai/web-llm主要特性
可选本地执行
WebGPU 加速
无需推理 API
资源缓存后可离线使用
npm install @browserai/browserai主要特性
跨浏览器兼容
WebAssembly SIMD
支持 WebWorker
吞吐量取决于硬件
支持的平台请查阅厂商 SDK 文档兼容性要在运行时检测
浏览器、操作系统、GPU、驱动、安全上下文和企业策略的支持情况一直在变。不要只凭浏览器名称推断可用性；要在确切的设备矩阵上实测，并保留服务端或 CPU 的回退方案。
WebGPU 检测
检查 navigator.gpu，申请 adapter 与 device，处理设备丢失，并强制执行资源上限。
WebAssembly 检测
对 SIMD 和线程做特性检测；启用线程的运行时还可能要求跨源隔离。