Blending被称为简化版的Stacking,是属于集大成类的算法之一。我们通过原理和简单实战了解Blending是在做什么?
原理 学习方式(1) 将数据划分为大训练集和测试集,其中大训练集需要再次划分为小训练集和验证集(划分的比例取决于自己);
(2) 创建第一层的多个模型,这些模型可以使同质的也可以是异质的;(模型的选择可以说是监督学习的任何模型都可以接受)
(3) 使用大训练集训练步骤2中的多个模型,然后用训练好的模型预测验证集和测试集得到val_predict, test_predict1;
(4) 创建第二层的模型,使用val_predict作为训练集训练第二层的模型,val_label不变;
(5) 使用第二层训练好的模型对第二层测试集test_predict1进行预测,得到test_predict2,test_predict2为整个测试集的结果。
在(1)步中,总的数据集被分成训练集和测试集,如80%训练集和20%测试集,然后在这80%的训练集中再拆分训练集70%和验证集30%,因此拆分后的数据集由三部分组成:训练集56% 、测试集20%、验证集24% 。训练集是为了训练模型,测试集是为了调整模型(调参),测试集则是为了检验模型的优度。
在(2)-(3)步中,我们使用训练集创建了K个模型,如SVM、random forests、XGBoost等,这个是第一层的模型。 训练好模型后将验证集输入模型进行预测,得到K组不同的输出,我们记作 A 1 , … , A K A_{1},…,A_{K} A1,…,AK ,然后将测试集输入K个模型也得到K组输出,我们记作 B 1 , … , B K B_{1},…,B_{K} B1,…,BK ,其中 A i A_{i} Ai的样本数与验证集样本数相等, B i B_{i} Bi 的样本数与测试集样本数相等。如果总的样本数有10000个样本,那么使用5600个样本训练了K个模型,输入验证集2400个样本得到K组2400个样本的结果 A 1 , … , A K A_{1},…,A_{K} A1,…,AK ,输入测试集2000个得到K组2000个样本的结果 B 1 , … , B K B_{1},…,B_{K} B1,…,BK 。
在(4)步中,我们使用K组2400个样本的验证集结果 A 1 , … , A K A_{1},…,A_{K} A1,…,AK 作为第二层分类器的特征,验证集的2400个标签为因变量,训练第二层分类器,得到2400个样本的输出。
在(5)步中,将输入测试集2000个得到K组2000个样本的结果 B 1 , … , B K B_{1},…,B_{K} B1,…,BK 放入第二层分类器,得到2000个测试集的预测结果。
优点:简单粗暴
缺点:并没有完全充分使用到数据,对数据而言是非常奢侈浪费的
因为是人造数据,所以分类的特别好。使用人造数据是因为这种集成的方法在实际场景中非常少用,因此只是通过简单的数据对步骤进行大概的了解,下面我们会进行比赛数据实战的。