Penyulingan Pengetahuan adalah metode mengajarkan model pembelajaran mesin untuk belajar dari model lain yang lebih kompleks. Hal ini memungkinkan produksi model yang lebih kecil, lebih efisien, lebih cepat, dan secara umum berperforma lebih baik dengan menyaring pengetahuan dari model yang lebih besar dan indah, yang kemudian disebut penyulingan pengetahuan. Ini adalah teknik yang berkembang pesat di bidang pembelajaran mendalam, karena memungkinkan model yang sudah ada yang telah dilatih pada data dalam jumlah besar untuk disaring menjadi model kecil yang berdiri sendiri yang dapat diterapkan secara lebih efisien pada sistem tertanam.
Teknik pembelajaran mesin yang dikenal sebagai penyulingan pengetahuan umumnya digunakan ketika suatu teknik sudah tersedia dan telah dilatih pada kumpulan data yang besar, dan model yang lebih kecil dan lebih cepat diperlukan untuk menjalankan tugas yang sama. Intinya, penyulingan pengetahuan bekerja dengan mengekstraksi konsep utama model AI besar dan mengajarkan model yang lebih kecil untuk melakukan tugas yang sama. Teknik ini bekerja dengan mengajarkan model yang lebih kecil untuk meniru perilaku model yang lebih besar dan dengan demikian, memungkinkan model tersebut melakukan generalisasi dengan lebih efisien.
Proses penyulingan pengetahuan melibatkan transfer pengetahuan dari model yang lebih besar ke model yang lebih kecil yang dapat dijalankan pada perangkat seluler atau perangkat keras yang tertanam. Hal ini dilakukan dengan memberikan penalti dalam proses pelatihan, yang mendorong model yang lebih kecil untuk tetap mengikuti perilaku model yang lebih besar.
Pada intinya, penyulingan pengetahuan bekerja dengan memiliki model besar (guru) yang telah dilatih pada kumpulan data besar, dan model yang lebih kecil (siswa). Output guru kemudian digunakan untuk mendefinisikan fungsi kerugian baru yang digunakan untuk melatih siswa. Tujuan dari fungsi kerugian baru ini adalah agar siswa menghasilkan keluaran yang sedekat mungkin dengan keluaran guru sambil menggunakan sumber daya komputasi dalam jumlah terkecil.
Nilai dari penyulingan pengetahuan terletak pada kemampuannya untuk membuat model yang lebih kecil yang mampu mereplikasi performa model yang lebih besar tanpa mengorbankan akurasi. Hal ini dapat memberikan manfaat besar bagi organisasi dalam hal biaya komputasi dan penyimpanan, sehingga memungkinkan mereka menerapkan model yang lebih akurat sesuai anggaran. Selain itu, penyulingan memungkinkan perusahaan dengan mudah memanfaatkan pengetahuan yang telah dipelajari oleh model-model besar untuk memperluas dan menyempurnakan model mereka saat ini dengan cara yang hemat biaya.
