Loading...
🔋
エネルギー効率の高い推論(EEI)
パフォーマンスを維持しながら、AI 推論を最小限のエネルギー消費になるよう最適化する。
複雑さ: highリソースを考慮した最適化
In 30 seconds
- What
- 精度を下げ、ハードウェアの動作周波数を調整し、モデルを圧縮し、リクエストをまとめることで、推論時のエネルギー消費を抑えます。
- When to use
- バッテリー容量に限りがある、熱の制約がある、あるいは推論量が多いモバイルやエッジのデバイスで、消費電力がコストや稼働時間に直結する場合に。
- Watch out
- 過度な最適化は、精度やレイテンシーを予測しにくい形で悪化させます。実際のハードウェアとワークロードで、前後の両方を計測してください。
Loading technique guide…