ShuffleNet参考：
3359 blog.csdn.net/u 011974639/article/details/79200559
3359 blog.csdn.net/sun mingyang 1987/article/details/115956011
3359 blog.csdn.net/u 014380165/article/details/75137111
移动专门用于降低深度网络计算量和计算能力有限的移动设备
论文的Insight是现有的先进的基本结构，例如Xception和ResNeXt在小型网络模型中效率较低。 由于大量的1 1卷积需要大量的计算资源，论文提出了逐群卷积来降低计算复杂度
方法组转换s
左图为传统卷积，右图为组卷积
组卷积的第一个想法来源于AlexNet使用了两个GPU。 这样的分组是有问题的。 过多的分组会直接从上层的一个或多个通道卷积输出层中的每个层通道，从而阻碍通道组之间的信息流，降低模型的显示能力。 因此，ShuffleNet提出了Channel Shuffle来解决问题
Channel Shuffle解决的方法是连接不同的组，使不同通道组的信息充分流动。
上图所示的两种叠加的Gconv结构，第一种不同组之间的通道没有交换； 第二个不同组之间的通道按照一定的规则进行交换； 第三个不同组之间的通道利用通道缓冲器进行交换。
注意：由于这种混乱的顺序也很小，所以这个结构可以嵌入网络模型进行端到端的训练。
通道的混洗操作有efficiently and elegantly的实现。
卷积层分为组g，每组有n个，因此共计g n个输出通道：
reshape为(g，n )，进而替换为(n，g )展开，分成g组，发送到分组卷积
Shuffle unit
对于) a )所示的结构单元，93%以上的计算量是由两端的1X1卷积引起的，所以当将两端的1X1卷积变为1X1的GConv卷积时，能够得到上图(b )所示的ShuffleNet unit； 上图中的(c )与stride=2时的ShuffleNet unit相对应，与ResNeXt和ResNet的stride=2的结构单位不同，shortcut分支的下采样不是通过通常的卷积而是通过平均池化来实现的
另外，shuffleNet Unit提出，取消了深卷积的ReLU最初只能在Xception中使用线性变换，但MobileNet_v2说明，在深卷积之后使用ReLU会丢失很多信息
结构单元的流比较giventheinputsizechwandthebottleneckchannelsm :
网络架构每个阶段的第一个块的步数为2，下一个阶段的通道数为2倍，每个阶段中除步数以外的超级参数不变，每个ShuffleNet unit的bottleneck通道数为输出的1 4 (与4(Resnet设定一致)参数g是每次卷积的连接稀疏性)，即控制数据包数的Performance下表的g=n与上述的模型结构相对应，FLOPs都大致相等
结果表明，具有群卷积(g 1 )的模型总是优于不具有点状群卷积(g=1)的模型。 请注意，在组卷积中，在给定的复杂性约束下可以使用更多的特征映射通道。 因此，假设性能提高来自更广泛的特征映射，有助于编码更多的信息。
表中显示，在一些模型中，性能随着g的增大而下降。 这意味着组数目增加，每个卷积滤波器的输入信道减少，并且模型显示能力受到损害。
值得注意的是，在小型ShuffleNet 0.25中，组数越大，性能越好，这表明对于小型模型的更广特征映射是有效的。
下表显示了使用ShuffleNet和其他现代CNN网络的类似计算力时的分类精度的比较。
论文为了比较不同unit之间的性能差异，使用表1的结构，在各unit中控制阶段2-4之间的Shuffle unit，通过调整通道数来保证复杂度相似。
weuseexactlythesamesettingstotrainthesemodels.resultsareshownintable 4
这个表的比较令人怀疑，他是否要将流行的网络单元结构直接用于他自己设计的网络框架，并设定相同的参数？
与MobileNet和其他型号相比：
Discuss ShuffleNet的核心是使用pointwise group convolution、channel shuffle和depthwise separable convolution代替ResNet block
通道缓冲区解决了多个组聚合重叠出现的边界效应，而点wise group convolution和深度wise separable convolution主要减少了计算量。