池化操作时卷积神经网络中常用的基本操作之一,一般是卷积层后面跟着池化操作,但近年来主流的ImageNet上的分类算法模型都使用max-pooling,平均-。 这对于我们平时设计模型有重要的参考作用,为什么呢?
通常,最大轮询更有效。 最大轮询和平均轮询对数据进行缩减像素采样,但最大轮询感觉像是进行了特征选择,选择了分类可视性更好的特征,提供了非线性,根据相关理论,特征提取的误差主要是通常,平均轮询可以减小第一个误差,保持更多的图像背景信息,最大轮询可以减小第二个误差,并且可以保持更多的纹理信息。 平均轮询更强调对整体特征信息进一步下采样,对减少参数维的贡献更大,更多体现在信息完全传递这一维度上,在大的代表性模型中,例如DenseNet中的模块
但是,平均轮询还广泛应用于全局平均池化操作,ResNet和Inception结构在最后一层使用平均池化。 如果在模型靠近分类器的末端使用全局平均池,也可以将输入数据转换为1位向量,而不是Flatten操作。
池化操作时卷积神经网络中常用的基本操作之一,一般是卷积层后面跟着池化操作,但近年来主流的ImageNet上的分类算法模型都使用max-pooling,平均-。 这对于我们平时设计模型有重要的参考作用,为什么呢?
pooling作为对特征的操作,应该看到具体的任务。 有论文指出,低层网络对细节特征的响应更高,随着特征处理的深入,高层网络对抽象特征的响应更好。 pooling作为特征的处理操作,还应该考虑pooling前的数据是什么样的数据,数据表示什么样的意思,数据的关联性如何。 区分由不同点集构成的“a”和“p”,假设这两个数据集的相邻数据之间没有太大的位置相关性(从NN的角度来看,当然是从几何中提取特征的情况),平均值的polining作为特征提取的手段如果通过卷积内核处理的数据中的某些信息有效,例如,如果其中出现较大的值,并且该值可能影响结果,则最大轮询的主要作用是删除冗馀信息,同时提取特征映射的特征信息
最大轮询通常更有效。 虽然最大轮询和平均轮询对数据进行了缩减像素采样,但是最大轮询感觉像是通过进行特征选择来选择分类可视性好的特征并提供非线性。 这类似于nms (非最大抑制),可以抑制噪声,同时提高特征图在区域内的显着性(screen value )筛选的极大值)。
根据相关理论,特征提取的误差主要来自两个方面。
(1)附近大小受到限制导致的估计值方差的增大;
)卷积层参数误差引起的估计平均值偏差。
通常,平均轮询可以减小第一个误差,保持更多的图像背景信息,最大轮询可以减小第二个误差,并且可以保持更多的纹理信息。
平均轮询更强调对整体特征信息进行进一步降采样,对减少参数维度的贡献更大,更多体现在信息完全传递维度,在大的代表性模型中, 例如,DenseNet中的模块之间的连接大多采用平均池,在减少维度的同时更有利地将信息传递到下一个维度,但平均池是全局平均池通过在模型接近分类器的末端使用全局平均池化,也可以使输入数据成为一维向量而不是Flatten操作。
最大轮询和平均轮询的使用性能对于卷积网络的设计很有用。 池化操作对提高整体精度效果不大,但对减少参数、抑制过拟合、提高模型性能、节约计算力有明显作用,因此池化操作是卷积设计中不可缺少的操作。