Gradient Boosting ist eine Technik des maschinellen Lernens für Regressions- und Klassifizierungsprobleme, die ein Vorhersagemodell in Form eines Ensembles schwacher Vorhersagemodelle, typischerweise Entscheidungsbäume, erzeugt. Es baut das Modell stufenweise auf, wie es andere Boosting-Methoden tun, und verallgemeinert sie, indem es die Optimierung einer beliebigen differenzierbaren Verlustfunktion ermöglicht.
Gradient Boosting wurde von Friedman (2001) vorgeschlagen und hat sich schnell zu einem der beliebtesten Boosting-Algorithmen für überwachtes Lernen entwickelt. Es kann sowohl für Regressions- als auch für Klassifizierungsaufgaben verwendet werden. Beispielsweise kann es Unterstützung bei der Identifizierung der Kundenabwanderung (Klassifizierung) und der Vorhersage von Verkaufsbelegen (Regression) bieten.
Die Funktionsweise des Gradient Boosting umfasst drei Elemente: schwache Lernende, eine zu optimierende Zielfunktion und ein Suchverfahren. Schwache Lernende sind typischerweise Entscheidungsbäume, und sie funktionieren, indem sie einfache Entscheidungen auf der Grundlage von Eingabevariablen bereitstellen. Die Zielfunktion ist ein Maß für die Vorhersagekraft des Modells, und das Suchverfahren verarbeitet die Auswahl des schwachen Lernenden, um das Modell zu erstellen.
Bei jedem Schritt wird ein Entscheidungsbaum an die Residuen des Modells angepasst (die Differenz zwischen den wahren Werten und den Vorhersagen aus früheren Schritten). Bei jedem Schritt versucht das Modell, die Zielfunktion durch einen Suchvorgang zu maximieren. Die schwachen Lernenden werden nacheinander angewendet, wobei jeder versucht, die Zielfunktion durch die bestmögliche Vorhersage zu minimieren.
Gradient Boosting ist beliebt, weil es skalierbar ist, bei einer Vielzahl von Problemen des maschinellen Lernens funktioniert und effektiv ist. Es liefert in der Regel genauere Ergebnisse als andere Boosting-Methoden. Darüber hinaus funktioniert es in der Regel gut mit einer Vielzahl von Datentypen und -verteilungen, was es zu einer guten Wahl für diejenigen macht, die gerade erst mit maschinellem Lernen beginnen.
