请注明出处
作为计算机视觉的三大任务之一(图像分类、目标检测、图像分割),图像分割近年来有了长足的发展。 该技术为了识别可通行区域、车道等,也被广泛应用于无人驾驶领域。
所有卷网络(Fully Convolutional Networks,FCN )由UC Berkeley的Jonathan Long等人在2015年完成了fullyconvolutionalnetworksforsemanticsegmentent
网络结构
整体网络结构分为两部分。 全卷积部分和反卷积部分。 其中,全卷积部分租用几个经典的CNN网络,如AlexNet、VGG、谷歌net等,将最后的全连接层
用于提取特征,形成热点图的卷积; 卷积部分对小尺寸热点图进行采样,得到原尺寸的语义分割图像。
FCN网络结构
输入和输出
网络输入可以是任意大小的彩色图像; 输出与输入大小相同,通道数为n (目标类别数)1(背景)。
全卷积
网络在CNN卷积部分被替换为全连接,而不是全连接
卷积的目的是允许输入超过某个大小的任意大小的图像。
上采样Upsampling
在卷积过程中,我们的heat map变得很小(例如,长宽变成了原始图像)
为了得到原图像尺寸的稠密像素预测,需要进行上采样。
一个直观的想法是进行双线性插值,而双线性插值容易使用反卷积在固定卷积核上实现。 反卷积也称为反卷积,在最近的文章中通常称为反卷积。
在实际应用中,作者不是固定卷积核,而是使卷积核成为可学习的参数。
替换卷积
跳跃结构Skips
如果使用前面提到的上采样方法将最后一层特征图分割为上采样的原始地图尺寸,由于最后一层特征图太小,往往会丢失细节。 因此,作者提出添加Skips结构,将最后一层预测(全局信息更丰富)与更浅层预测相结合,可以在保护全局预测的同时进行局部预测。
image.png
将基底层(stride 32 )预测(FCN-32s )上采样两倍以获得原始尺寸的图像,与来自pool4层(stride 16 )的预测融合(相加),这一部分的网络称为FCN-16s。 然后,对该部分的预测再次进行2倍上采样,并与从pool3层得到的预测融合。 这一部分的网络被称为FCN-8s。
image.png
结论
FCN还存在一些缺点。 例如:
得到的结果还不够,对细节不敏感
没有考虑像素和像素的关系,缺乏空间上的一致性等。
在PASCAL数据集上的表示