Apache Hadoop, Büyük Verilerin dağıtılmış depolanması ve dağıtılmış işlenmesi için açık kaynaklı bir yazılım çerçevesidir. Veri yoğun dağıtılmış uygulamalar için en yaygın kullanılan Büyük Veri çözümüdür.
Apache Hadoop, 2005 yılında Doug Cut ve Mike Cafarella tarafından oluşturuldu ve şu anda Apache Yazılım Vakfı'nın bir projesidir. Başlangıçta aynı adı taşıyan büyük ölçekli web arama programını desteklemek için geliştirildi. Hadoop çerçevesi Java tabanlıdır ve çoğu bilgi işlem platformunda çalışır.
Apache Hadoop dört bileşenden oluşur: Hadoop Common, Hadoop Dağıtılmış Dosya Sistemi (HDFS), Hadoop MapReduce ve YARN.
• Hadoop Common: Bu, diğer Hadoop modüllerini destekleyen kitaplıklardan ve yardımcı programlardan oluşan bir koleksiyondur.
• HDFS: Bu, son derece büyük veri kümelerini ticari donanımlarda depolamak için tasarlanmış dağıtılmış bir dosya sistemidir.
• Hadoop MapReduce: Büyük miktarda verinin dağıtık bir şekilde işlenmesine ve analiz edilmesine olanak sağlayan bir yazılım çerçevesidir.
• YARN: Bu, Hadoop kümesindeki uygulamaların planlanmasını ve yürütülmesini koordine eden bir kaynak yönetim sistemidir.
Apache Hadoop, her büyüklükteki şirket tarafından öneri motorları ve analizler gibi çeşitli veri yoğunluklu görevler için kullanılır. Yüksek hacimli ve hesaplama açısından yoğun veri işleme görevleri için fiili standarttır.
Apache Hadoop, Hadoop çerçevesine daha fazla yetenek ekleyen Apache Hive, Apache Pig, Apache HBase ve Apache Spark gibi birçok ilgili projeyi ortaya çıkardı. Bu ilgili projeler, bulut bilişimin artan popülaritesiyle birleştiğinde Apache Hadoop'u mevcut en popüler ve yaygın olarak kullanılan Büyük Veri çözümlerinden biri haline getirdi.
