转载来源: https://blog.csdn.net/junjun _ Zhao/article/details/78564557相关函数推导公式首先复习以下数学基础,帮助更好地理解推导过程。 以下列举的公式都是在今后的导出中使用的未触及的公式,所以在此不列举。
常数项求导
以 e 为底的指数求导公式
对数复合求导公式
幂函数复合求导公式
函数的和、差、积、商的求导法则
如果能全部引导的话,
(1) ) ) )。
(2) ) ) )。
(3) ) )。
(4) ) )。
复合函数求导法则
且,设为可导,则复合函数导数为
Logistic 回归的 Cost function 的推导过程:以前用梯度下降算法求函数的最小值。
好了,来吧,正式开始吧。 有了以上数学指导的基础,接下来就简单了。 官方是上学时老师常说的话。 “背下来,记住! ”
Logistic回归的代价函数可以统一写成如下一个等式
其中
:
下面开始我们的推导过程:如果要求某参数的偏导数:
1 .根据求导公式,可以先提取常数项。 那样的话,只导出总和符号内部的公式就可以了。 (1)其中k )) ) )为了便于显示,在右上显示了第I个
样品上标去掉)
2 .根据对数复合求导公式,
,
对k()’可以继续寻求指引)后需要
是的
现在,根据上面所说的
幂函数复合求导公式
以e为底的指数求导公式
先求教:
根据上面已知的公式
公式:
根据以上的商求导公式,可以得到以下内容。
将 (3) (4) 代入 (2) 中,可
得:
推导结果
结论:Logistic Regression 的目的是 求解一组最佳拟合参数 。这个求解的过程是由最优化算法完成的。
参考文献:
[1]玄天妙地.第三周:逻辑回归代价函数的推导过程[OL]