下面这个文章介绍了深度可分离卷积是怎么做的：
https://towardsdatascience.com/a-basic-introduction-to-separable-convolutions-b99ec3102728
https://eli.thegreenplace.net/2018/depthwise-separable-convolutions-for-machine-learning/
本文的很多内容都是在这两个文章的基础上整理的。
描述一个二维矩阵，使用row col。三维的，使用channel row col。四维则多了一个参数：batch channel row col。batch channel row col的逻辑顺序则和数据格式有关，常见的有NHWC和NCHW：https://mp.weixin.qq.com/s/I4Q1Bv7yecqYXUra49o7tw?
2D卷积2D卷积只有col row的概念。（略）
3D卷积和4D卷积我们先看3D卷积。
假设过滤器窗口是3x3x3（其中一个3代表了in_depth）。有四个这样的窗口，用于提取同一个图片的四个属性(out_depth 0…3指定，对应输出Out channel 0…3)。那么，针对图片里面的某个Batch（譬如Batch 0），四个过滤器窗口的处理流程如下（请注意：四个过滤器，操作的都是同一组数据，即都是Batch 0）：
参考的源码实现里面，i，j代表了输出的某个属性的任意位置的值。这个值，是窗口和输入卷积得来的。
参考的源代码（Copy 自引文）：
def conv2d_multi_channel(input, w): """Two-dimensional convolution with multiple channels. Uses SAME padding with 0s, a stride of 1 and no dilation. input: input array with shape (height, width, in_depth) w: filter array with shape (fd, fd, in_depth, out_depth) with odd fd. in_depth is the number of input channels, and has the be the same as input's in_depth; out_depth is the number of output channels. Returns a result with shape (height, width, out_depth). """ assert w.shape[0] == w.shape[1] and w.shape[0] % 2 == 1 padw = w.shape[0] // 2 padded_input = np.pad(input, pad_width=((padw, padw), (padw, padw), (0, 0)), mode='constant', constant_values=0) height, width, in_depth = input.shape assert in_depth == w.shape[2] out_depth = w.shape[3] output = np.zeros((height, width, out_depth)) for out_c in range(out_depth): # For each output channel, perform 2d convolution summed across all # input channels. for i in range(height): for j in range(width): # Now the inner loop also works across all input channels. # 卷积操作是用窗口和输入的所有通道做乘加运算。 for c in range(in_depth): #下面这段应该封装为一个新的函数：用于求解输出的某个属性的卷积。 for fi in range(w.shape[0]): for fj in range(w.shape[1]): w_element = w[fi, fj, c, out_c] output[i, j, out_c] += ( padded_input[i + fi, j + fj, c] * w_element) return output所谓4D，就是对每个Batch重复上面的过程。
参考文献：
https://eli.thegreenplace.net/2018/depthwise-separable-convolutions-for-machine-learning/
原始图像是二维的，大小是12x12。由于是RGB格式的，所以有三个通道，这相当于是一个3维的图片。其输入图片格式是：12x12x3。滤波器窗口大小是5x5x3。这样的话，得到的输出图像大小是8x8x1（padding模式是valid）。
12x12x3 * 5x5x3 => 8x8x1
一个5x5x3滤波器得到的输出图像8x8x1，仅仅提取到的图片里面的一个属性。如果希望获取图片更多的属性，譬如要提取256个属性，则需要：
12x12x3 * 5x5x3x256 => 8x8x256
如下图(图片引用自原网站。感觉应该将8x8x256那个立方体绘制成256个8x8x1，因为他们不是一体的，代表了256个属性)：
正常卷积的问题在于，它的卷积核是针对图片的所有通道设计的（通道的总数就是depth）。那么，每要求增加检测图片的一个属性，卷积核就要增加一个。所以正常卷积，卷积参数的总数=属性的总数x卷积核的大小。
深度可分离卷积深度可分离卷积的方法有所不同。正常卷积核是对3个通道同时做卷积。也就是说，3个通道，在一次卷积后，输出一个数。
深度可分离卷积分为两步：
所以深度可分离卷积其实是通过两次卷积实现的。
第一步，对三个通道分别做卷积，输出三个通道的属性：
第二步，用卷积核1x1x3对三个通道再次做卷积，这个时候的输出就和正常卷积一样，是8x8x1：
如果要提取更多的属性，则需要设计更多的1x1x3卷积核心就可以(图片引用自原网站。感觉应该将8x8x256那个立方体绘制成256个8x8x1，因为他们不是一体的，代表了256个属性)：：
可以看到，如果仅仅是提取一个属性，深度可分离卷积的方法，不如正常卷积。随着要提取的属性越来越多，深度可分离卷积就能够节省更多的参数。
有一篇文章证明了深度可分离卷积和正常卷积是等效的（如果有需要的话，我再整理）：
https://arxiv.org/abs/1808.05517
https://arxiv.org/abs/1610.02357