本文是医学影像配准的空间变化网络(Spatial Transformer Networks，STN )论文笔记。
STN可以插入到现有的卷积神经网络结构中，使CNN具有空间转换能力，从而不仅可以提取网络感兴趣的区域，而且可以将图像转换为规范形式，更便于在下层网络中进行处理。 对于多通道输入，生成的变形影响每个通道。
另一种表示是STN可以根据分类和其他任务自适应地对数据进行空间转换和对齐。 例如CNN在分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性、旋转不变性等来提高分类的精度，这些不变性对应于图像的切取、平移、缩放、旋转等，但STN能够实现这些。
上图中的(a )列可以理解为扭曲变形的MNIST手写数字图像，(b )列图像中的框可以理解为STN中的定位网络预测的变换)感兴趣区域)，列图像可以理解为STN的输出结果，即进行了归一化和对准的手写数字图像，)
“空间变换器”(spatial transformer )可以分为三个部分。 第一部分是定位网络)，可以从输入的图像/特征地图中获得一组空间变换的参数。 第二部分是栅格生成器，根据第一部分预测的空间变换参数，生成采样网格，即输出图像/特征地图的每个点是从输入图像/特征地图的哪个点采样的。 第三部分是采样器，它将采样网格影响输入要素地图，并生成相应的输出要素地图。
上图是空间转换器的图像，u是输入特性图，v是输出特性图。
定位网络
根据输入轮廓u可以生成空间变换tt_thetat的参数 theta ，如果变换的类型不同，则参数 theta 的大小也不同。 例如，在二维仿射变换中， theta 为6维。
网格生成器
假设输出特性图对应的网格是规则网格。 也就是说，网格的每个坐标值都是整数，相邻坐标之间的间距一致。 通过确定网络，得到了输出特性图的各点与输入特性图的哪个点相对应。 这样，可以使用输出特征图的网格和空间变换参数，根据对应输入特征图的采样网格(即目标坐标)计算源坐标，如下式所示：
其中，s是表示源图像坐标的source的缩写。 t是target的缩写，表示目标图像中的坐标。 A A_theta A是二维仿射变换矩阵。
采样器
仿射变换后的坐标(x s，y s ) ) x^s，y^s ) ) x s，y s )可能是实数，但由于像素位置坐标必须是整数，不能简单地从原始像素阵列复制像素值。 为了解决像素值缺失的问题，需要进行插值。 插值核函数较多，源代码选择论文提供的第二种插值方式——双线性插值。 双线性插值的示意图和计算公式如下图所示。
但是上图的计算公式很不优雅，DeepMi
nd 在论文利用 max 与 abs 函数，改写成一个简洁、优雅的插值等式：V i c = ∑ n H ∑ m W U n m c max ( 0 , 1 − ∣ x i s − m ∣ ) max ( 0 , 1 − ∣ y i s − n ∣ ) V_i^c=sum_n^Hsum_m^W U_{nm}^cmax(0,1-|x_i^s-m|)max(0,1-|y_i^s-n|) Vic=n∑Hm∑WUnmcmax(0,1−∣xis−m∣)max(0,1−∣yis−n∣)
其中 V i c V_i^c Vic 表示输出特征图中第 c c c 个通道、第 i i i 个像素（即坐标 ( x i t , y i t (x_i^t,y_i^t (xit,yit）处的像素值； U n m c U_{nm}^c Unmc 表示输入特征图中第 c c c 个通道的坐标 ( n , m ) (n,m) (n,m) 处的像素值；H 和 W 分别为输入特征图的高和宽。两个 ∑ sum ∑ 实际上只筛出了四个邻近插值点，虽然写法简洁，但白循环很多，所以源码中选择了直接算4个点，而不是用循环筛。
为了让上述公式可微，在论文中还定义了该公式的导数，这里就不详细介绍了。
以上部分是从他人的博客中看到的，对于那个优雅的插值公式不是很懂。
上图中输出特征图 V 对应的网格是一个规范网格，输入特征图 U 对应的网格是规范网格经过仿射变化后的一个扭曲变形的网格。定位网络的目的是得到规范网格和扭曲网格之间的对应关系，网格生成器的目的就是根据规整网格得到扭曲网格，采样器的目的是根据以上信息由输入特征图 U 得到输出特征图 V。