转载: https://yxzf.github.io/2017/04/XG boost-v2 /
Quantile:点
近似算法paper给出了两种近似算法。 一种是全局算法,用于在初始化树时拆分候选点,并在树的每一层使用这些候选点。 另一种是每次分割时重新计算分割候选点的局部算法。 两者都各有利弊。 全局算法不需要多次计算候选节点,但为了后续树的生长需要一次获得更多的候选节点。 另一方面,局部算法一次获得的候选节点较少,可以在分支过程中不断改进。 这意味着它适合更深的树生长。 两者通过effect和accuracy进行交易关闭。
论文【5】实验表明,假设全局k分位点为20,局部k分位点为3,可以获得近似的效果。
参考文献
【1】-approximate quantiles
【2】空间-效率计算组件
【3】afastalgorithmforapproximatequantilesinhighspeeddatastreams
【4】GK Summay算法(approximatequantile ) )
【5】XG boost : ascalabletreeboostingsystem
【6】XG boost的分位点算法
【7】XG boost解读(2)近似分割算法
【8】XG boost的分位点算法
【9】《喜欢机器学习》集成学习(三) XG boost
分位点和权重分位点的差异:
位点(根据特征大小进行排序,根据特征量划分权重位点(均分)根据特征大小进行排序,根据二阶微分进行排序(均分)转载) http://data valley.github
XG boost的分位点算法