Apache Hadoop é uma estrutura de software de código aberto para armazenamento distribuído e processamento distribuído de Big Data. É a solução de Big Data mais utilizada para aplicações distribuídas com uso intensivo de dados.
Apache Hadoop foi criado em 2005 por Doug Cutting e Mike Cafarella e agora é um projeto da Apache Software Foundation. Ele foi originalmente desenvolvido para suportar o programa de pesquisa na web em larga escala de mesmo nome. A estrutura Hadoop é baseada em Java e roda na maioria das plataformas de computação.
Apache Hadoop é composto de quatro componentes: Hadoop Common, Hadoop Distributed File System (HDFS), Hadoop MapReduce e YARN.
• Hadoop Common: Esta é uma coleção de bibliotecas e utilitários que suportam os outros módulos do Hadoop.
• HDFS: Este é um sistema de arquivos distribuído projetado para armazenar conjuntos de dados extremamente grandes em hardware comum.
• Hadoop MapReduce: É um framework de software que permite o processamento e análise de grandes quantidades de dados de forma distribuída.
• YARN: Este é um sistema de gerenciamento de recursos que coordena o agendamento e a execução de aplicativos em um cluster Hadoop.
O Apache Hadoop é usado por empresas de todos os tamanhos para vários tipos de tarefas com uso intensivo de dados, como mecanismos de recomendação e análises. É o padrão de fato para tarefas de processamento de dados de alto volume e computacionalmente intensivos.
O Apache Hadoop gerou vários projetos relacionados, como Apache Hive, Apache Pig, Apache HBase e Apache Spark, que adicionam ainda mais recursos à estrutura do Hadoop. Esses projetos relacionados, combinados com a crescente popularidade da computação em nuvem, tornaram o Apache Hadoop uma das soluções de Big Data mais populares e amplamente utilizadas disponíveis.
