Le bagging, également connu sous le nom d'agrégation bootstrap, est une technique d'ensemble d'apprentissage automatique qui combine plusieurs apprenants afin de réduire la variance et d'améliorer la généralisation. Il est généralement mis en œuvre pour améliorer les performances des techniques d’apprentissage supervisé. Lors du bagging, des sous-échantillons de l'ensemble de données sont créés, avec remplacement, et chaque modèle est formé sur un sous-échantillon différent. Les résultats des multiples modèles sont ensuite combinés pour former une prédiction finale.
L’idée derrière le bagging est de réduire la variance du modèle de prédiction. La variance fait référence au degré auquel les résultats du modèle de prédiction différeront en fonction de différents ensembles de données. Une variance élevée peut conduire à un surajustement, ce qui signifie que le modèle est trop sensible aux petits changements dans l'ensemble de données d'entrée. L'ensachage permet de réduire la variance en prélevant plusieurs échantillons des données et en entraînant plusieurs modèles sur ceux-ci. Les modèles prennent en compte l'incertitude inhérente aux prédictions, et les points de données qui ont la plus grande influence sont moyennés sur tous les modèles. Cela réduit la variance et évite les problèmes dus à des caractéristiques non généralisables.
Le bagging est généralement utilisé en combinaison avec des algorithmes basés sur des arbres de décision et peut également être appliqué à d’autres formes d’apprentissage automatique. Elle est plus efficace lorsqu’il existe un grand nombre d’exemples de formation et lorsque seuls quelques-uns d’entre eux sont nécessaires à une prise de décision efficace. Le bagging peut également être utilisé pour réduire les effets du surajustement, en réduisant le nombre de paramètres dans un algorithme.
Le bagging s’est avéré être une technique très puissante pour améliorer la précision et les performances de généralisation des modèles d’apprentissage automatique. Même si cela n’est pas toujours nécessaire, il s’agit d’un moyen rentable de tirer le meilleur parti d’un ensemble de données.
Sources:
Birhanu, N. ; Doshi, V. ; Mishra, B. (2017). Une introduction aux techniques d'ensemble. Journal du Big Data, 4(4). est ce que je:10.1186/s40537-017-0075-z.
Suganthi, R. ; Krishnaveni, G. (2016). Bagging : une méthode d'ensemble puissante pour améliorer la précision des algorithmes de classification. Revue internationale des applications informatiques, 135(4). Extrait de https://pdfs.semanticscholar.org/e7de/ebda0f0d6f145d82a7e8cef6864b1e00e2b4.pdf.
