Loading...
Map-Reduce
map 操作と reduce 操作を用いて、計算を複数のノードに分散します
In 30 seconds
- What
- 大規模なデータセットを並列ワーカーに分割し、各ワーカーが部分集合を独立に処理したうえで、結果を統合して最終的な答えを導きます。
- When to use
- 単一マシンでの実行では遅すぎ、かつ中間結果を独立に計算できるような巨大データセットの処理。
- Watch out
- データセットが小さい場合や reduce 処理が高コストな場合、調整のオーバーヘッドとネットワーク遅延が並列化の利得を上回ることがあります。
Loading technique guide…