Penurunan gradien stokastik (SGD) adalah metode berulang untuk mengoptimalkan fungsi terdiferensiasi. Biasanya beroperasi pada fungsi yang terlalu besar atau kompleks untuk dieksplorasi di semua dimensi sekaligus. SGD biasanya digunakan dalam model pembelajaran mesin dan pembelajaran mendalam untuk mengoptimalkan dan melatih model tersebut.
Daripada mengevaluasi seluruh fungsi di setiap langkah, SGD mengevaluasi subset fungsi secara acak, yang dikenal sebagai mini-batch. Parameter model kemudian disesuaikan. Ini adalah pendekatan yang efektif terutama ketika berhadapan dengan kumpulan data atau model besar dengan terlalu banyak parameter untuk dievaluasi sekaligus.
Ada empat komponen penting dari metode SGD, yang mendefinisikannya dalam istilah matematika:
1. Fungsi biaya. Fungsi inilah yang akan diminimalkan oleh algoritma SGD. Ini mencakup titik data dan nilai terkaitnya. Biasanya terdiri dari kombinasi berbagai faktor.
2. Kecepatan pembelajaran. Parameter ini menentukan seberapa besar perubahan yang akan dilakukan pada setiap langkah. Ini harus dipilih untuk memaksimalkan prediksi model yang akurat sekaligus meminimalkan waktu yang dibutuhkan untuk mendapatkan solusi yang memuaskan.
3. Algoritma optimasi. Ini adalah teknik yang digunakan untuk menyesuaikan parameter guna meminimalkan fungsi biaya.
4. Ukuran tumpukan mini. Ini adalah jumlah poin yang dievaluasi pada setiap langkah. Biasanya dipilih untuk menyeimbangkan akurasi dan kecepatan.
SGD adalah metode pengoptimalan canggih yang cocok untuk berbagai tugas pembelajaran mesin dan pembelajaran mendalam. Ini cepat, efektif, dan relatif mudah diterapkan.
