Overfitting dalam pembelajaran mesin adalah fenomena umum ketika suatu model atau algoritme sangat cocok dengan data pelatihan sehingga gagal menggeneralisasi data baru. Ini terjadi ketika suatu model terlalu kompleks, dengan terlalu banyak parameter atau fitur dibandingkan dengan jumlah data. Hal ini cenderung mendeskripsikan gangguan dalam data, bukan sinyal yang mendasarinya, sehingga menghasilkan tingkat akurasi yang tinggi pada data pelatihan, namun performanya buruk pada data yang tidak terlihat.
Overfitting dapat disebabkan oleh sejumlah faktor, termasuk memiliki model yang terlalu kompleks sehingga tidak menangkap tren mendasar dalam data, atau memiliki terlalu banyak fitur dibandingkan jumlah data pelatihan yang tersedia. Hal ini juga dapat disebabkan oleh penggunaan model yang memberikan terlalu banyak fleksibilitas, seperti model dengan hubungan polinomial atau tingkat tinggi antar fitur. Overfitting dapat menyebabkan model menjadi terlalu sensitif terhadap titik data tertentu, sehingga gagal melakukan generalisasi pada data di masa mendatang.
Untuk mencegah overfitting, kompleksitas model perlu dijaga tetap rendah dengan sengaja menghapus fitur tertentu atau dengan menggunakan metode regularisasi. Teknik seperti ini juga dapat menimbulkan bias tambahan pada model, namun hal ini tetap lebih baik daripada overfitting. Validasi silang juga dapat digunakan untuk mengidentifikasi kapan model mulai melakukan overfit pada data. Memisahkan kumpulan validasi dari data pelatihan adalah hal yang penting, karena dapat digunakan untuk memverifikasi keakuratan model. Terakhir, metode ansambel seperti boosting dapat digunakan untuk mengurangi kemungkinan overfitting.
