前言：
XGBoost、LightGBM 和 Catboost 是三个基于 GBDT（Gradient Boosting Decision Tree）代表性的算法实现
GBDT 是机器学习中的一个非常流行并且有效的算法模型
XGBoost（eXtreme Gradient Boosting）：2014 年bzddg博士提出的， 特点是计算速度快，模型表现好，可以用于分类和回归问题中LightGBM（Light Gradient Boosting Machine）：2017年1月，由微软开源的一个机器学习框架，它的训练速度和效率更快、使用的内存更低、准确率更高、并且支持并行化学习与处理大规模数据Catboost（ Categorical Features+Gradient Boosting）：2017年4月，俄罗斯的搜索巨头 Yandex 开源的框架，采用的策略在降低过拟合的同时保证所有数据集都可用于学习。性能卓越、呆萌的鸵鸟与通用性更好、易于使用而且更实用。据其介绍 Catboost 的性能可以匹敌任何先进的机器学习算法NGBoost：2019年10月，Stanford zjdyl团队提出。暂时在早期，目前还在主要使用前三个常用预测（分类，回归）模型：
分类算法：LR , SVM，KNN矩阵分解：FunkSVD，BiasSVD，SVD++FM模型：FM, FFM, DeepFM, NFM，AFM树模型：GBDT, XGBoost, LightGBM, CatBoost，NGBoostAttention模型：DIN, DIEN, DSIN好的特征工程决定模型的上限
XGBoost算法模型参考我的另一篇文章：https://blog.csdn.net/s_daqing/article/details/118424605?spm=1001.2014.3001.5501