一、前言简单
为了缓解这样的问题，一位研究者提出了为了提高图像的忠实度而维持增强(KeepAugment )的简单且有效的方法。 其主要思想是，首先利用显性化的map检测原图像上的重要区域，然后在增强过程中保留这些信息区域。 这样的信息保护战略可以生成更忠实的培训示例。
实验也证明，该方法在自动增强、裁剪、随机擦除等几个现有技术数据增强方案方面有了显著的改善，在图像分类、半监督图像分类、多视角多摄像机跟踪、目标检测等方面取得了较好的效果。
二、知识回顾
首先，“数据扩展”是什么？
数据扩展(Data Augmentation )是通过从有限的数据生成更多的等效数据来人工扩展训练数据集的技术。 这是克服训练数据不足的有效手段，目前广泛应用于深度学习的各个领域。 但是，由于生成的数据与实际数据的不同，噪声问题也不可避免。
为什么需要数据增强？
深度神经网络在许多任务中工作良好，但这些网络通常需要大量数据以避免过度拟合。 很遗憾，无法获得医疗图像分析等大量数据。 数据增强技术就是为了解决这个问题而存在的，这是针对有限数据问题的解决方案。 通过加强一系列技术，可以提高培训数据集的大小和质量，从而建立更好的深度学习模型。 计算视觉区域时，比较容易生成强调图像。 即使引入噪声或裁剪图像的一部分，模型也可以对图像进行分类。 数据扩展有一系列简单有效的方法。 如img aug (3359 github.com/ale ju/img aug )，有一个进行计算视觉领域数据扩展的机器学习库，对开发者很方便。
计算视觉数据增强
计算视觉区域的数据扩展算法大致分为两种。 一个是基于基本图像处理技术的数据扩展，另一个是基于深度学习的数据扩展算法。 首先介绍一种基于基本图像处理技术的数据扩展方法。1、翻转
一般来说，反转水平方向，不使用垂直方向，即镜像变换。 虽然在图像数据集中被证明是有用的(CIFAR-10、ImageNet等)，但不适用于文本识别数据集) MNIST、SVHN等)
2、色彩空间
简单的方法是分离各个颜色通道，如r、g和b。 此外，还可以通过简单的矩阵运算来增加或减少图像的亮度。 更高级的方法是从颜色直方图开始，更改这些直方图中的强度值(考虑了图像处理中直方图的平衡)。
3、裁切裁剪
分为批量裁剪和随机裁剪。 批量裁剪将不同大小的图像裁剪为设置大小。 随机裁剪类似于平移，但平移会保持原始图像的大小，而裁剪后会减小大小。 裁剪时，请注意不要丢失重要的信息而更改图像标签。
4、旋转
请注意转速。 以MNIST为例，像1-20这样稍微旋转有时会很方便。 此外，如果稍后添加，则可能无法保留数据标签。
5、转换位置转换
将图像移动到左、右、上或下可能是一种非常有用的变换，以避免数据中的位置偏移。 例如，人脸识别数据集内的人脸几乎位于图像的正中间，位置变换可以提高模型的泛化能力。
6、对noise injection施加干扰
添加高斯分布的随机矩阵
7、颜色空间变换颜色空间的增强
由于照明偏差是图像识别问题中最常见的课题之一，所以颜色空间变换(也称为光度变换)更直观有效。
扫描图像以一定的值减少或增加像素值(太亮或太暗) ) ) ) ) ) ) ) ) ) )。
精灵(splice out )各RGB颜色矩阵
将像素值限制为某个最小值或最大值
操作颜色直方图改变图像的颜色空间特征
注意将彩色图像转换为黑白后，这些操作会变得简单，但精度会下降
geometricversusphotometrictransformations几何学和光度变换
1、kernel flters核滤波器
平滑和锐化，也就是在图像处理过程中用卷积内核滑动整个图像的操作。 这一点尚未开发，与CNN中的卷积机制很相似，因此可以通过调整网络参数更好地改善网络，而无需添加这种数据增强操作。
2、混合图像混合
如何通过平均图像的像素值来混合图像：
混合图像
研究表明，混合来自整个训练集的图像，而不是仅来自同一个类的实例的图像，会产生更好的结果。 其他方法：
用非线性方法将图像总结成新的训练示例：
/638d6882e1dd44bba99926ae1096c342?from=pc">非线性方法
②另一方法是随机裁剪图像并将裁剪后的图像连接在一起以形成新图像：
随机裁剪再拼接
这类方法从人的视角看毫无意义，但确实提升了精度。可能解释是数据集大小的增加导致了诸如线和边之类的低级特征的更可靠表示。
3、random erasing随机擦除
这一点受到dropout正规化的启发，随机擦除迫使模型学习有关图像的更多描述性特征，从而防止过拟合某个特定视觉特征。随机擦除的好处在于可以确保网络关注整个图像，而不只是其中的一部分。最后随机擦除的一个缺点是不一定会保留标签（例如文本8->6）。
三、新方法
新方法控制数据增强的保真度，从而减少有害的错误信息。研究者的想法是通过显著性映射测量图像中矩形区域的重要性，并确保数据增强后始终呈现得分最高的区域：对于裁剪，通过避免切割重要区域（见下图a5和b5）；对于图像级转换，通过将重要区域粘贴到转换图像顶部（参见下图a6和b6）。
Eq2：
Eq3：
四、实验
https://www.ixiera.com/