ウェブブラウザでの推論

ブラウザベースのAI推論

対応するモデルは、WebGPUまたはWebAssemblyを通じてブラウザ内で動かせます。これによりリモートへのデータ転送とAPIのコストを減らせるほか、テレメトリとリモートへのフォールバックを無効にしたうえで必要なアセットをすべてキャッシュすれば、オフラインでも動作します。デバイスのメモリ、起動時間、消費電力、モデルのライセンスは引き続き制約になります。