MapReduce — это модель программирования и связанная с ней реализация для обработки и создания больших наборов данных с помощью параллельного распределенного алгоритма в кластере. MapReduce был разработан Google в 2004 году на основе функций карты и сокращения, обычно используемых в функциональном программировании. MapReduce разбивает задачу на множество небольших фрагментов работы (шаг Map), затем объединяет результаты каждого шага в один выходной результат (шаг сокращения).
По своей сути MapReduce берет большую проблему или набор данных и разбивает ее на части работы, которые можно выполнить независимо. Промежуточные результаты этой распределенной задачи затем объединяются, чтобы сформировать один выходной результат. Все это делается распределенным образом, обычно на нескольких компьютерах.
MapReduce обеспечивает преимущества масштабируемости и отказоустойчивости без необходимости инвестиций в дополнительное оборудование или настройку. Поскольку MapReduce реализован, его можно использовать для обработки всех видов данных, от простых текстовых файлов до двоичных данных. MapReduce также можно использовать для создания надежных конвейеров аналитики в реальном времени, поскольку он уже существует как часть Google Cloud Platform.
MapReduce используется во многих областях, включая анализ больших данных, машинное обучение, обработку естественного языка и онлайн-игры. Поэтому эта модель широко используется многими организациями и компаниями, такими как Facebook, Yahoo! и Twitter, а также доступна в виде платформы Hadoop с открытым исходным кодом.
