El descenso de gradiente estocástico (SGD) es un método iterativo para optimizar una función diferenciable. Por lo general, opera en funciones que son demasiado grandes o complejas para ser exploradas en todas las dimensiones a la vez. SGD se usa comúnmente en modelos de aprendizaje automático y aprendizaje profundo para optimizar y entrenar esos modelos.
En lugar de evaluar la función completa en cada paso, SGD evalúa un subconjunto aleatorio de la función, conocido como mini lote. Luego, los parámetros del modelo se ajustan en consecuencia. Este es un enfoque eficaz, especialmente cuando se trata de grandes conjuntos de datos o modelos con demasiados parámetros para evaluarlos todos a la vez.
Hay cuatro componentes críticos del método SGD, que lo definen en términos matemáticos:
1. La función de costos. Esta es la función que será minimizada por el algoritmo SGD. Incluye los puntos de datos y sus valores asociados. Suele estar compuesto por una combinación de numerosos factores.
2. La tasa de aprendizaje. Este parámetro determina cuánto cambio se realizará en cada paso. Debe elegirse para maximizar la predicción precisa del modelo y al mismo tiempo minimizar el tiempo necesario para llegar a una solución satisfactoria.
3. El algoritmo de optimización. Esta es la técnica utilizada para ajustar los parámetros con el fin de minimizar la función de costos.
4. El tamaño del mini lote. Este es el número de puntos evaluados en cada paso. Por lo general, se selecciona para equilibrar la precisión y la velocidad.
SGD es un poderoso método de optimización que se adapta bien a una variedad de tareas de aprendizaje automático y aprendizaje profundo. Es rápido, eficaz y relativamente fácil de implementar.
