什么是GBDT算法?
GBDT算法是一种提升算法,由多个弱分类算法组成,其特点是下级弱分类器依赖上级分类器。
GBDT算法依赖于CART算法
cart算法的目标是找到分割点,使分割后的两个子集内部产生的方差最小。 公式如下。
上述方法可以生成m个决策区域,但决策的过程实际上是根据输入条件找到满足条件的决策区域,该区域的平均值为预测值。
GDT算法依赖于CART算法,但与CART算法不同。
这就是说,GBDT算法树的形成过程利用了与CART算法相同的原理,即寻找能够形成最小方差的分割点。
但是,预测过程是不同的,GBDT是累积每层发生的残差而得到的预测。
具体的GBDT算法介绍请参考https://blog.csdn.net/zpalyq 110/article/details/79527653
GBDT算法为什么要与LR计算融合使用呢? 怎么融合使用呢?
我知道LR算法用于分类预测,但这种算法需要很多特征作为输入条件。
GBDT算法有助于找到这种特征组合,可以省去人工寻找特征组合的过程。
如上图所示,将树叶的节点作为LR的特征向量,将样品落下的树叶的节点作为1,剩下的节点作为0。 基于上述变化特征的维度表变多,数值化的数据也变换为类别化的数据,有利于LR模型的分类。
项目代码请参考以下连接。
链接: https://pan.Baidu.com/s/1di2c1ne R4 q xls8 cqzvhiig
抽屉代码: gudq