梯度下降法大多与机器学习和深度学习算法有某种形式的优化有关。 优化是修改3358www.Sina.com/以最小化或最大化某个函数3358www.Sina.com/的任务。 我们通常通过最小化来指向许多优化问题。 最大化可以通过最小化算法最小化x来实现。
要最小化或最大化的函数称为f(x)。 最小化时，也称为 f(x)。
以下，假设损失函数为，将其中最小化。
-f(x)，因此在进行坡度下降时，应该沿着坡度的相反方向进行权重更新，从而有效地找到全局最佳解。 此参数的更新过程可以编写如下：
目标函数或准则
随机梯度下降(SGD )是一种简单但非常有效的方法，多用于向量机、逻辑回归(LR )等凸损耗函数下支持线性分类器的学习。 此外，SGD成功应用于文本分类和自然语言处理中常见的大规模稀疏机器学习问题。
SGD是损失函数或误差函数
SGD算法为梯度下降：梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，。 ）
为什么叫随机梯度下降算法呢？随机梯度下降法，这也很容易理解。 洗牌是有效减少样本之间的参数更新抵消问题。
权重更新可以选择其中一个样本，而不是遍历所有数据集。 一般而言，步骤的选择是比梯度下降法步骤更靠近yedqd点。 由于梯度下降法使用的是正确的梯度，可以向全局最优解(问题为凸问题时)大幅重复，但随机梯度法由于使用的是近似梯度，或者有时在全局上不是梯度下降的方向，可以缓慢地进行，同样
分类计算，也可以用于回归计算
随机下降算法通常有SGD、Batch-SGD、Mini-Batch SGD三种不同的应用方式
1.SGD是最基本的随机梯度下降，这意味着更新可能会延迟，因为每个参数更新仅使用一个样本；
2.Batch-SGD是指每次更新参数时都将使用所有示例。 也就是说，将所有样本一次代入计算中，获取这些参数的更新平均值，并一次更新参数。 这个更新方法很粗糙。
3.Mini-Batch-SGD是小批量的随机梯度下降，意味着每次参数更新时都要使用小批量的样本，这些样本的数量通常可以通过三次和错误的方法确定，该方法有效地提高了训练速度
从样本中随机抽出一组，训练后按梯度更新一次，然后再抽取一组，再更新一次，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。
)1)针对每次迭代，而不是所有训练数据中的丢失函数，通过随机优化某个训练数据中的丢失函数，每个参数的更新为这里的随机是指每次迭代过程中，样本都要被随机打乱。
分类
)1)优点：因为即使目标函数是强凸函数，SGD也不能实现线性收敛。
)2)可能收敛于速度大大加快，因为每个样本并不代表总体趋势。
)3)缺点：
SGD的python实现
defSGD_lr(data_y，data_y，alpha=0.1，maxepochs=10000，epsilon=1e-4 ) : xmat=NP.mat (data _ x ) n=xmat.shapeweights=NP.ones () ) n， 1 ) #模型参数epochs _ count=0loss _ list=[ ] epochs _ list=[ ] while epochs _ countmaxepochs 3360 rand _ I=NP.ranp yMat ) #随机取上次迭代的损失值hypothesis=sigmoid(NP.dot ) xmat[rand_I，]，weights ) ) #预测值和实际值的误差grad=error )损耗函数的梯度weights=weights - alpha*grad #参数更新Loss_nor yMat ) # 当前迭代的丢失值print(loss_new ) ifABS ) loss_new-loss ) epsilon : break loss _ list.append (loss _ new ) epochs.formaral