随机梯度下降（SGD）是一种优化可微函数的迭代方法。它通常作用于太大或太复杂而无法同时在所有维度上探索的函数。 SGD 通常用于机器学习和深度学习模型来优化和训练这些模型。
SGD 不是在每一步评估整个函数，而是评估函数的随机子集，称为小批量。然后相应地调整模型的参数。这是一种有效的方法，尤其是在处理大型数据集或具有太多参数而无法一次性评估的模型时。
SGD 方法有四个关键组成部分，用数学术语对其进行了定义：
1.成本函数。这是 SGD 算法将最小化的函数。它包括数据点及其关联值。它通常是由许多因素组合而成的。
2.学习率。该参数确定每个步骤将进行多少更改。选择它时应最大限度地提高模型的准确预测，同时最大限度地减少获得满意解决方案所需的时间。
3.优化算法。这是用于调整参数以最小化成本函数的技术。
4. 小批量大小。这是每一步评估的点数。通常选择它是为了平衡精度和速度。
SGD 是一种强大的优化方法，非常适合各种机器学习和深度学习任务。它快速、有效且相对容易实施。
