Apache Hadoop adalah kerangka perangkat lunak sumber terbuka untuk penyimpanan terdistribusi dan pemrosesan Big Data terdistribusi. Ini adalah solusi Big Data yang paling banyak digunakan untuk aplikasi terdistribusi data intensif.
Apache Hadoop dibuat pada tahun 2005 oleh Doug Cutting dan Mike Cafarella, dan sekarang menjadi proyek dari Apache Software Foundation. Awalnya dikembangkan untuk mendukung program pencarian web berskala besar dengan nama yang sama. Kerangka kerja Hadoop didasarkan pada Java dan berjalan pada sebagian besar platform komputasi.
Apache Hadoop terdiri dari empat komponen: Hadoop Common, Hadoop Distributed File System (HDFS), Hadoop MapReduce, dan YARN.
• Hadoop Common: Ini adalah kumpulan perpustakaan dan utilitas yang mendukung modul Hadoop lainnya.
• HDFS: Ini adalah sistem file terdistribusi yang dirancang untuk menyimpan kumpulan data yang sangat besar pada perangkat keras komoditas.
• Hadoop MapReduce: Ini adalah kerangka perangkat lunak yang memungkinkan pemrosesan dan analisis data dalam jumlah besar secara terdistribusi.
• BENANG: Ini adalah sistem manajemen sumber daya yang mengoordinasikan penjadwalan dan pelaksanaan aplikasi pada cluster Hadoop.
Apache Hadoop digunakan oleh perusahaan dari semua ukuran untuk berbagai jenis tugas intensif data, seperti mesin rekomendasi dan analitik. Ini adalah standar de facto untuk tugas pemrosesan data bervolume tinggi dan intensif komputasi.
Apache Hadoop telah melahirkan beberapa proyek terkait seperti Apache Hive, Apache Pig, Apache HBase, dan Apache Spark, yang menambahkan lebih banyak kemampuan pada kerangka Hadoop. Proyek-proyek terkait ini, dikombinasikan dengan semakin populernya komputasi awan, telah menjadikan Apache Hadoop salah satu solusi Big Data yang paling populer dan banyak digunakan.
