Peningkatan gradien adalah teknik pembelajaran mesin untuk masalah regresi dan klasifikasi, yang menghasilkan model prediksi dalam bentuk kumpulan model prediksi lemah, biasanya pohon keputusan. Ini membangun model dengan cara bertahap seperti yang dilakukan metode peningkatan lainnya, dan menggeneralisasikannya dengan memungkinkan optimalisasi fungsi kerugian yang dapat dibedakan secara sewenang-wenang.
Peningkatan gradien diusulkan oleh Friedman (2001) dan dengan cepat menjadi salah satu algoritma peningkatan paling populer untuk pembelajaran yang diawasi. Ini dapat digunakan untuk tugas regresi dan klasifikasi. Misalnya, dapat memberikan dukungan untuk identifikasi churn pelanggan (klasifikasi) dan prediksi penerimaan penjualan (regresi).
Cara kerja peningkatan gradien melibatkan tiga elemen: pembelajar yang lemah, fungsi tujuan yang akan dioptimalkan, dan prosedur pencarian. Pembelajar yang lemah biasanya menggunakan pohon keputusan, dan mereka bekerja dengan memberikan keputusan sederhana berdasarkan variabel masukan. Fungsi tujuan adalah ukuran kekuatan prediksi model, dan prosedur pencarian menangani pilihan pelajar yang lemah untuk membangun model.
Pada setiap langkah, pohon keputusan dipasang pada sisa model (perbedaan antara nilai sebenarnya dan prediksi dari langkah sebelumnya). Pada setiap langkah, model mencoba memaksimalkan fungsi tujuan melalui prosedur pencarian. Pembelajar yang lemah diterapkan secara berurutan, dengan masing-masing peserta berusaha meminimalkan fungsi tujuan dengan menghasilkan prediksi terbaik.
Peningkatan gradien populer karena dapat diskalakan, dapat mengatasi berbagai masalah pembelajaran mesin, dan efektif. Biasanya metode ini memberikan hasil yang lebih akurat dibandingkan metode peningkatan lainnya. Selain itu, ini cenderung bekerja dengan baik dengan berbagai jenis data dan distribusi, sehingga menjadikannya pilihan tepat bagi mereka yang baru memulai pembelajaran mesin.
