首页 > 编程知识 正文

逻辑回归算法原理简介怎么写,回归算法和逻辑回归算法区别

时间:2023-05-05 10:50:03 阅读:202898 作者:1451

1,逻辑回归简介
逻辑回归完成分类任务,是经典的二分类算法(也可以解决多分类问题),机器学习算法一般选择先逻辑回归(优先选择)再用复杂的,逻辑回归的决策边界可以是非线性的(高阶)。可以通过参数对结果进行评估。

2,Sigmoid 函数

表达式:

图像:


自变量取值为任意实数,值域[0,1]。将任意的输入映射到了[0,1]区间,回顾在线性回归中可以得到一个预测值,可再将该值映射到Sigmoid 函数中这样就完成了由值到概率的转换,也就是分类任务。

预测函数表达式:

其中

二分类任务:

保证概率求和为1。

整合为下式:

似然函数:

对数似然:


对上式求导:

i代表样本,j代表样本的特征。

转换为梯度下降任务:

参数更新:


学习率乘以方向,m代表bitch的大小

多分类的softmax:

结果值要进行归一化。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。