Le gradient boosting est une technique d'apprentissage automatique pour les problèmes de régression et de classification, qui produit un modèle de prédiction sous la forme d'un ensemble de modèles de prédiction faibles, généralement des arbres de décision. Il construit le modèle par étapes comme le font d'autres méthodes de boosting, et il les généralise en permettant l'optimisation d'une fonction de perte différentiable arbitraire.
Le boosting de gradient a été proposé par Friedman (2001) et est rapidement devenu l’un des algorithmes de boosting les plus populaires pour l’apprentissage supervisé. Il peut être utilisé à la fois pour des tâches de régression et de classification. Par exemple, il peut fournir une assistance pour l'identification du taux de désabonnement des clients (classification) et la prévision des recettes des ventes (régression).
Le fonctionnement du gradient boosting implique trois éléments : des apprenants faibles, une fonction objectif à optimiser et une procédure de recherche. Les apprenants faibles sont généralement des arbres de décision, et ils fonctionnent en fournissant des décisions simples basées sur des variables d'entrée. La fonction objectif est une mesure du pouvoir prédictif du modèle, et la procédure de recherche gère les sélections de l'apprenant faible pour construire le modèle.
À chaque étape, un arbre de décision est ajusté aux résidus du modèle (la différence entre les vraies valeurs et les prédictions des étapes précédentes). À chaque étape, le modèle tente de maximiser la fonction objectif grâce à une procédure de recherche. Les apprenants faibles sont appliqués séquentiellement, chacun essayant de minimiser la fonction objectif en produisant la meilleure prédiction possible.
L’augmentation de gradient est populaire car elle est évolutive, fonctionne sur une variété de problèmes d’apprentissage automatique et est efficace. Elle produit généralement des résultats plus précis que les autres méthodes de boosting. De plus, il a tendance à bien fonctionner avec une variété de types de données et de distributions, ce qui en fait un excellent choix pour ceux qui débutent dans l'apprentissage automatique.
