3358 Thomas lau.XYZ/2017/08/04/2017-08-04 -导向- of-logistic-sigmoid-function /
为了帮助有需要的人节约时间，分享一下学习逻辑回归时的混乱吧。
在读西瓜书的逻辑回归一章时，我对向作者引入sigmoid函数感到很突然，于是我搜索了一个知道为什么LR模型会使用sigmoid函数中最受好评的答案的问题。
但是，正如skdlm先生说的那样，这么说也不能说是正确的。
阅读后，上面的其他回答有很多原因，但匿名回答是最大熵，不是原因。 此外，这被认为是推理或公理。 想想为什么要把熵最大化。
也就是说，一个分析问题是上一步的原因，一个分析问题是第一个原因。 这对数学专业可能直接跳过这样的问题。
现在，让我们来分析一下问题：
1、逻辑回归为什么要使用sigmoid函数？
2，LR模型的意义，即为什么有线性回归(linear regression )和逻辑回归)是必要的
问题1
容易解释：其实没有任何原因。
看上面的高评价回答可以多做说明，下面的说明中sigmoid函数很容易使用，可以寻求指导。 其实不是原因。
因为逻辑回归对应于Logit Function，所以逻辑回归是sigmoid函数的应用。
只是一个对象的两个描述。 像原文那样问，就像问为什么抛物线方程式用y=a*x^2 bx c表示一样。
逻辑回归只是结果的sigmoid函数化线性回归。
但是，为什么需要这个定义呢？ 为什么要将线性回归的值sigmoid化？ 这就是下一步。
问题2
上面解释了为什么LR支持sigmoid函数，但您可能会继续好奇为什么会有逻辑注册。 普通的线性注册不满意吗？ 这是一个数学问题，广泛用于许多现代统计/概率学相关的学术问题，但实际上linear/logistic/Polynomial等回归分析的许多方法，都适用于各不相同的模型。
我们先来看看线性回归：
Y=X
j() I=1m ) h(x ) I ) (y ) I ) ) 2
Linear Regreesion的损失函数是常见的均方差或平方损失函数，最优解是采用dqdlq的最小二乘法。 这里不详细叙述。
那么，线性回归有什么问题吗？ 线性回归应用于变量(随自变量变化)连续的模型，即特征和结果满足线性但实际的变量是离散型概率分布。 扔硬币时，结果是正面或背面的二元分布问题。
伯努利分布
伯努利分布(Bernoulli distribution )又名两点分布或0-1分布。 伯努利试验是只有两个可能结果的单一随机试验，
也就是说，对于一个随机变量x来说，伯努利实验都可以表示为“是”或“否”问题。
例如，扔一次硬币是面向正面的吗？ 刚出生的孩子是女孩吗？ 等等。
试验e为伯努利试验，e独立重复n次时，这一系列重复的独立试验称为n重伯努利试验。 二元分布
二元分布是n重伯努利试验成功次数的离散概率分布。
LR用于处理预测结果为0-1的二值分类问题(二值问题其实是自然界普遍存在的问题)。 这里假设二值满足伯努利分布。
逻辑分布
随机变量x服从逻辑上完美的画笔分布。 即，x的累积分布函数是上述的logistic function。 推导了分布函数得到了概率密度函数。 公式如下。
f(x )=p ) xx )=11e(x) /f (x )=f ) ) x )=11e(x) /(1e ) x) /) 2
标准逻辑pdf
Logistic分布的密度函数
标准逻辑CDF
Logistic分布的分布函数
而且，由于
) ) )
p(y=0|x )=11ewxb ) )2) ) ) ) ) ) )。
在另一个二分类事件发生概率odds的对数中
logit(p ) y=1|x )=logp ) y=1|x ) 1p ) y=1|x )=wx
您可以在此定义LR模型。 输出Y=1的对数概率是用输入x的线性函数表示的模型。
线性回归是连续型模型，用于分类问题时受噪声影响较大。 logistic回归是一种非线性模型(如前所述)，本质上是一种线性回归模型，但logistic回归的巧妙之处在于用一层函数将结果值映射为0-1，即在特征到结果的映射中加入了一层函数映射(对数损失函数)
《统计学习方法》第六章已经导出。 引入最大似然概念后，二项式对应的最大熵的解等价于二项式指数形式的最大似然解，使得前面提到的二项式分布的熵分布最大，所以必然是二项式指数形式的最大似然解，也就是这里采用logit函数的理由，本文试图说明
具体为《统计学习方法》 P80-P88，或点击，下标1-7。
也可参考：逻辑回归和最大熵模型，theequivalenceoflogisticregressionandmaximumentropymodels
参考：
维基百科：
Logistic_function，
Logistic_distribution，
Logistic_regression
我知道LR模型为什么要使用sigmoid函数
《统计学习方法》 .dldyl著