Il bagging, noto anche come aggregazione bootstrap, è una tecnica di insieme di machine learning che combina più studenti al fine di ridurre la varianza e migliorare la generalizzazione. Viene generalmente implementato per migliorare le prestazioni delle tecniche di apprendimento supervisionato. Nel bagging vengono creati sottocampioni dell'intero set di dati, con sostituzione, e ogni modello viene addestrato su un sottocampione diverso. I risultati di più modelli vengono quindi combinati insieme per formare una previsione finale.
L'idea alla base del bagging è ridurre la varianza del modello di previsione. La varianza si riferisce al grado in cui l'output del modello di previsione differirà, dati diversi set di dati. Una varianza elevata può portare a un adattamento eccessivo, il che significa che il modello è eccessivamente sensibile a piccole modifiche nel set di dati di input. Il bagging riduce la varianza prelevando più campioni dai dati e addestrando più modelli su di essi. I modelli tengono conto dell’incertezza intrinseca nelle previsioni e i dati che hanno maggiore influenza vengono calcolati in media tra tutti i modelli. Ciò riduce la varianza e previene problemi dovuti a funzionalità non generalizzabili.
Il bagging viene generalmente utilizzato in combinazione con algoritmi basati su alberi decisionali e può essere applicato anche ad altre forme di apprendimento automatico. È più efficace quando sono disponibili numerosi esempi di formazione e solo pochi di essi sono necessari per un processo decisionale efficace. Il bagging può essere utilizzato anche per ridurre gli effetti dell'overfitting, riducendo il numero di parametri in un algoritmo.
Il bagging ha dimostrato di essere una tecnica molto potente per migliorare la precisione e le prestazioni di generalizzazione dei modelli di machine learning. Anche se non è sempre necessario, è un modo economicamente vantaggioso per ottenere il massimo da un set di dati.
Fonti:
Birhanu, N.; Doshi, V.; Mishra, B. (2017). Un'introduzione alle tecniche d'insieme. Giornale dei Big Data, 4(4). doi:10.1186/s40537-017-0075-z.
Suganthi, R.; Krishnaveni, G. (2016). Bagging: un potente metodo ensemble per migliorare la precisione degli algoritmi di classificazione. Giornale internazionale di applicazioni informatiche, 135(4). Estratto da https://pdfs.semanticscholar.org/e7de/ebda0f0d6f145d82a7e8cef6864b1e00e2b4.pdf.
