机器学习算法中比较基础的LR算法在很多领域起着重要的作用所以我们来总结一下该算法的原理和特点。
作为Logistic Regression的基本原理的LR算法是典型的判别模型，被赋予数据x，求出概率p(y|x )。 假设有m个采样点的集合。 对应的标记是。
1. LR的二分类算法我们假设给定的数据x和模型参数，标记y服从伯努利分布，即。 因为我们做了两种分类，这个假设非常直观，但是伯努利的参数是多少？ 也就是说，当y=1时，p(y=1|x )是多少？ 解决这个问题的下一个假设是基于GLM (广义线性模型)。 在这里不讨论。 也就是说，是以下内容。
这里的g是sigmoid函数，上面的公式也可以表达如下
现在，我们可以对每个样本的概率建模，使用MLE (最大似然法)确定相关参数。 关于似然函数log likelihood，求出。 可以先求出其解析解。 另外，也可以用梯度下降(当然这里要求最大值，所以梯度上升)的方法求出参数)在本问题中，由于l是关于的凸函数，所以可以找到全局最优解。 本文讨论了第二种方法，梯度下降法的关键是要求：
为了便于表达，用上式代替。
请注意，如果训练样本很大，即m是非常大的数字，则梯度下降法的每一步都会消耗很大的计算资源。 有容易计算的改进算法吗？ 这就是随机梯度的下降，同样在这里不详细叙述。
2 .二分类情况与lr的多分类算法相似，尚可假设。 不同的是，其中y不再是0或1，而是向量，例如，如果样本属于辅助分类。 我们还基于GML上对模型的假设。 这意味着每个类别I都有自己的参数。
如果仔细观察，就会发现这是一个softmax函数！ 该模型的对数似然函数
这样，我们仍然可以通过梯度下降或随机梯度下降来解决这个问题。
让我们总结一下逻辑回归算法的特点。
1 .算法简单易理解，训练速度快，易于基于最大似然法进行过拟合，通过正则化可以解决该问题。
2 .逻辑回归参数少，易于调节。
3 .逻辑回归是线性分类器，一般不用于结构复杂、数据量大的数据。