MapReduce es un modelo de programación y una implementación asociada para procesar y generar grandes conjuntos de datos con un algoritmo distribuido paralelo en un clúster. MapReduce fue desarrollado por Google en 2004 y se inspiró en las funciones de mapa y reducción comúnmente utilizadas en la programación funcional. MapReduce divide la tarea en cuestión en muchos pequeños fragmentos de trabajo (el paso Mapa) y luego combina los resultados de cada paso en un solo resultado (el paso Reducir).
En esencia, MapReduce funciona tomando un gran problema o conjunto de datos y dividiéndolo en partes de trabajo que se pueden completar de forma independiente. Los resultados intermedios de esta tarea distribuida se fusionan para formar un único resultado. Todo esto se hace de forma distribuida, generalmente en varias computadoras.
MapReduce proporciona los beneficios de escalabilidad y tolerancia a fallas sin tener que invertir en hardware o configuración adicional. Desde que se implementa MapReduce, se puede utilizar para manejar el procesamiento de todo tipo de datos, desde archivos de texto sin formato hasta datos binarios. MapReduce también se puede utilizar para crear canales de análisis confiables en tiempo real, ya que ya existe como parte de Google Cloud Platform.
MapReduce se utiliza en muchas áreas, incluido el análisis de big data, el aprendizaje automático, el procesamiento del lenguaje natural y los juegos en línea. Por lo tanto, el modelo es ampliamente utilizado por muchas organizaciones y empresas, como Facebook, Yahoo! y Twitter, además de estar disponible como plataforma Hadoop de código abierto.
