L'overfitting nell'apprendimento automatico è un fenomeno comune in cui un modello o un algoritmo si adatta così bene ai dati di addestramento da non riuscire a generalizzare sui nuovi dati. Si verifica quando un modello è troppo complesso, con troppi parametri o caratteristiche rispetto alla quantità di dati. Tende a descrivere il rumore nei dati invece del segnale sottostante, portando a tassi di precisione elevati sui dati di addestramento ma a prestazioni scarse sui dati invisibili.
L'overfitting può essere causato da una serie di fattori, tra cui la presenza di modelli eccessivamente complessi che non catturano le tendenze sottostanti nei dati o la presenza di troppe funzionalità rispetto alla quantità di dati di addestramento disponibili. Può anche essere causato dall'utilizzo di modelli che forniscono troppa flessibilità, come quelli con relazioni polinomiali o di ordine superiore tra le caratteristiche. L’overfitting può portare a modelli eccessivamente sensibili a punti dati specifici e quindi non riuscire a generalizzare ai dati futuri.
Per prevenire l’overfitting, è necessario mantenere bassa la complessità del modello rimuovendo deliberatamente alcune caratteristiche o utilizzando metodi di regolarizzazione. Tali tecniche possono anche introdurre ulteriori distorsioni nel modello, ma ciò può comunque essere preferibile al sovradattamento. La convalida incrociata può essere utilizzata anche per identificare quando un modello inizia ad adattarsi eccessivamente ai dati. Mantenere un set di convalida separato dai dati di training è importante, poiché può essere utilizzato per verificare l'accuratezza del modello. Infine, è possibile impiegare metodi ensemble come il boosting per ridurre ulteriormente le possibilità di overfitting.
