u-net :组合网络办公媒体信息获取

主页3:http://LMB .信息. UNI-Freiburg.de /

美国弗莱堡大学，地球大学，德国弗莱堡大学

写在前面

深度学习网络通常需要大量标记的培训数据。

本文提出了网络和培训策略，以将数据扩展到有限的数据中，从而避免使用大量数据。

网络结构包括用于捕获纹理信息的缩小的功能图，以及用于按像素分类的放大过程。

在ISBI竞赛中，我们用这个网络分割了电镜下的神经元。

在这样的网络中，通过使用较少的图像进行端到端培训，可以获得比以往更好的效果。

使用同样的网络结构，我们赢得了ISBI细胞跟踪2015大赛，获得了很大的分数。

这个网络不仅准确，而且速度更快。

2015年的GPU，分割512x512的图像用不了一秒钟。

完整版的实现和已经训练有素的网络参数在这里： http://lmb.informatik.uni-freiburg.de/people/Ron neber/u-net。

大概介绍

。

图1

这个模型很优雅，结构对称，都是卷积层，都没有连接。

因为这个网络使用了更少的数据，收到了更好的效果

所以我们要修改和扩展这个网络。

全卷积网络是缩小特征图的卷积神经网络，但是在后面的层中，有将轮询层置换为unsampling操作的网络。

为了使分割结果更准确，将高分辨率的特征图和上采样后的低分辨率的特征图进行合并。因此，分割结果更加准确。

在此基础上进行了修改。在上采样阶段，通道数量仍然很大，上采样会向后传播更详细的纹理信息。

从形状上看，上采样阶段和下采样阶段对称，呈“u”形。

如何解决生物医学大照片带来的显著的保存需求急剧上升问题？

网络没有全部连接层，只有特征图本身被卷积。这样，最后得到的分割蒙版对应于原始图像的各个像素，输入图像包含所有上下文信息。

在这种只卷积特征地图本身的战略中，对于任何大的图像都可以无缝分割，如图2所示，进行overlap-tile战略。

图2

对于图像中心的像素，使用周围的区域进行分割。

关于图像边缘的像素，由于没有周边像素，因此将图像内的像素镜像到图像之外，作为边缘像素的周边像素。

这样的tiling strategy很重要，因为它的存在，我们可以把网络应用到大图像上了。一次分割大图像的一个区域即可。培训不限于GPU的图形内存。

如何解决生物医学影像数据非常少的问题？

另一个问题是培训使用的数据很少。因此，我们使用大量的数据增强，对有限的数据进行了elastic deformations .弹性变形。这在生物医学分割中也非常重要，其中变形非常适合生物组织，变形后也很生动。具体的数据增强参数在本文的无教师特征学习部分介绍： Discriminativeun-Super VISED Feature Learning Withconvolution Alneuralnetworks。

如何解决分割对象物在图像像素中所占比重较大的问题？

关于细胞分割的另一个挑战是被分割的细胞紧密相连，相互进行touching。前景的部分多，背景的部分少，为了使细胞间的间隙具有较大的训练权重，提出了使用加权loss。如图3所示：

?from=pc">

图3. d图的红色部分是权重比较大的部分

解决了以上三个问题的网络可以应对各种各样的生物医学分割问题。

本文展示了它对电子显微镜栈城乡的神经元结构的分割效果(ISBI 2012系列竞赛). 我们的性能超过了Ciresan.

本文还展示了它在光学显微图片上的细胞追踪上的效果。ISBI cell tracking challenge 2015。

所以，我们在两个最具有挑战的2d透射光数据集上取得了冠军。

下面我们看看网络结构：

图1就是网络结构了，包含下采样阶段(左半部分)和上采样阶段(右半部分).

下采样阶段是典型的卷积神经网络结构。包含重复的两个3x3卷积操作（无padded 卷积).

每个卷积后面跟着一个rectified linear unit (ReLU)和一个2x2的池化层，strde=2实现下采样功能。在每一次下采样时，我们时channels数加倍。

上采样阶段的每一步结构是一样的，都包含一个上采样得到的feature map,然后对这个feature map进行 2x2 up-convolution,它使feature map 大小增加，但是channels减半，然后在channels维度上与crop过的下采样阶段的feature map进行拼接。拼接后进行两个3x3的卷积，每个卷积都跟着一个ReLU.

这个过程中的cropping是必须的，因为随着无padded convolution的进行，feature map在减少。

最后一层的1x1 convolution是为了将64channel映射为类别数。

整个网络一共有23个卷积层。

训练过程

训练数据：图片以及他们的标注：分割遮罩图

训练过程使用了caffe中已经实现的随机梯度下降法

因为unpadded convolutions，输出图片的大小比输入图片的大小少了固有的像素数。

为了尽量减少重叠，尽最大程度的利用GPU的显存，

我们使用了比输出图片大的输入粘贴图，使用了大的batch size,从而降低单张图片的 batch.

momentum=0.99,非常接近于1了，非常高。这会让网络朝着根据之前见过的大部分数据的方向去优化。

损失函数（能量函数）是在最后一层feature map上的像素级的 soft-max ,然后使用cross entropy loss loss function.

:所有位置的像素

:每个像素对应的权重【前面说过对缝隙位置要加大权重，因为缝隙位置少】

:分割的类别

每个像素权重需要预先计算出来，通过分割的gt来计算。

每个像素加权种主要是为了弥补像素种，不同类别的数据不平衡问题。强迫网络学习相互紧贴的细胞之间的像素类别。

权重公式主要从形态上考虑，如公式（2）所示。

公式中的和分别表示当前像素距离细胞边缘的第一近距离和第二近距离。

是类别平衡矩阵，每个像素对应一个值。

对细胞间隙的分割其实就像对道路的分割

模型初始化

对于一个有许多层的，并且有许多跳级连接的深度神经网络来说，一个好的权重初始化是非常重要的。对于我们这样交替使用卷积核ReLU层的网络来说，使用Gaussian分布，标准差为,是得到一个神经元的输入元素个数。例如如果一层是3x3的卷积核，64channels的卷积层，那么它初始化时，

再看看U-Net是如何数据增强

若要网络性能好，当数据量分厂少时，数据增强是必须的。

显微图片的话，我们主要通过平移、旋转来增强。但是随机的弹性形变对于训练一个分割网络来说十分必要。我们使用随机移位向量在3x3的网络上实现平滑的移位。向量来自于10像素标准差的Gaussian 分布，每个像素的值用双三次线性插值来计算。

弹性变换后的图像

实验结果

进行了3个分割任务。

第一个是电子显微镜下的神经元结构记录。图2上显示了这个数据集的原图与分割后的图。附件材料中有整个数据集中所有图片的分割结果。这个数据集在EM segmentation 竞赛上提供。训练数据集是30张512x512的图片，每张图片都有对应的标注。测试集是公开的，但是测试集的答案就保密的。你可以发送你的结果给竞赛组织方，以获取测试结果。

评价办法：用阈值把分割结果分成10个不同的级别，然后计算出warping error,rand error 和pixel error.