Gradient Descent adalah algoritma yang digunakan dalam pembelajaran mesin dan bidang lainnya untuk mengoptimalkan fungsi tujuan. Ini adalah algoritma optimasi iteratif orde pertama untuk menemukan minimum lokal dari fungsi terdiferensiasi. Penurunan gradien telah digunakan untuk memecahkan beberapa masalah pengoptimalan dalam ilmu data, statistik, pembelajaran mendalam, dan banyak bidang lainnya.
Algoritme ini digunakan untuk menemukan sekumpulan parameter (seperti bobot dalam jaringan saraf) yang meminimalkan fungsi biaya tertentu. Algoritme ini meminimalkan fungsi biaya menggunakan pendekatan menurun, dimulai dengan nilai awal parameter yang berubah-ubah.
Pada setiap langkah proses, algoritme mengambil langkah ke arah penurunan paling curam, yang merupakan arah penurunan paling tajam pada fungsi biaya. Besar kecilnya langkah ini ditentukan oleh parameter yang disebut “kecepatan pembelajaran”, yang biasanya disesuaikan hingga hasil yang memuaskan tercapai.
Algoritme berulang kali mengambil langkah-langkah ini hingga mencapai titik di mana fungsi biaya tidak berkurang lebih jauh, atau, jika melewati parameter penghentian awal, hingga batas atas iterasi tercapai.
Gradient Descent banyak digunakan dalam berbagai algoritma ilmu data dan telah diterapkan di berbagai sektor. Secara khusus, Institut Teknologi India telah mengembangkan aplikasi seperti pemrosesan gambar, masalah estimasi, peramalan deret waktu, dan penerjemahan mesin. Gradient Descent juga digunakan dalam pembelajaran mendalam untuk mengoptimalkan bobot di jaringan saraf tiruan.
