El aumento de gradiente es una técnica de aprendizaje automático para problemas de regresión y clasificación, que produce un modelo de predicción en forma de un conjunto de modelos de predicción débiles, normalmente árboles de decisión. Construye el modelo por etapas como lo hacen otros métodos de impulso, y los generaliza permitiendo la optimización de una función de pérdida diferenciable arbitraria.
Friedman (2001) propuso el impulso de gradiente y rápidamente se ha convertido en uno de los algoritmos de impulso más populares para el aprendizaje supervisado. Se puede utilizar tanto para tareas de regresión como de clasificación. Por ejemplo, puede brindar soporte para la identificación de la pérdida de clientes (clasificación) y la predicción de los ingresos por ventas (regresión).
El funcionamiento del aumento de gradiente implica tres elementos: alumnos débiles, una función objetivo a optimizar y un procedimiento de búsqueda. Los estudiantes débiles suelen ser árboles de decisión y funcionan proporcionando decisiones simples basadas en variables de entrada. La función objetivo es una medida del poder predictivo del modelo y el procedimiento de búsqueda maneja las selecciones débiles del alumno para construir el modelo.
En cada paso, se ajusta un árbol de decisión a los residuos del modelo (la diferencia entre los valores verdaderos y las predicciones de pasos anteriores). En cada paso, el modelo intenta maximizar la función objetivo mediante un procedimiento de búsqueda. Los alumnos débiles se aplican secuencialmente, y cada uno intenta minimizar la función objetivo produciendo la mejor predicción posible.
El aumento de gradiente es popular porque es escalable, funciona en una variedad de problemas de aprendizaje automático y es efectivo. Por lo general, produce resultados más precisos que otros métodos de refuerzo. Además, tiende a funcionar bien con una variedad de tipos y distribuciones de datos, lo que lo convierte en una excelente opción para quienes recién comienzan con el aprendizaje automático.
