Loading...
🗺️
Map-Reduce
Распределяет вычисления по нескольким узлам с помощью операций map и reduce
Сложность: highПараллелизация
In 30 seconds
- What
- Разбивает большой набор данных между параллельными обработчиками, каждый из которых независимо обрабатывает свою часть, а затем объединяет результаты в итоговый ответ.
- When to use
- Обработка огромных наборов данных, когда выполнение на одной машине слишком медленно, а промежуточные результаты можно вычислять независимо.
- Watch out
- Издержки координации и сетевые задержки могут перевесить выигрыш от параллелизма на небольших наборах данных или при дорогих операциях свёртки.
Loading technique guide…