云服务多格网(MGN )的结构设计与技术实现-ReID 1.概要全局特征与本地特征的结合是提高人的再识别(re-ID )任务识别性能的有效方法。 传统的基于部分的方法侧重于识别具有特定预定义意义的区域并学习局部表示，从而增加了学习的难度，但在慷慨度较低的场景中效率较低且不稳健。 本文提出了融合不同粒度判别信息的端到端特征学习策略。 仔细设计了多粒度网络(MGN )。 这是一种多分支深层网络结构，其中一个分支用于全局特征表示，两个分支用于局部特征表示。 不是学习语义领域，而是将图像均匀地分割为多个波段，在不同的局部枝中改变部分的数量，从而得到具有多个粒度的局部特征表示。 在Market-1501、DukeMTMC-reid、CUHK03等主要评估数据集上进行的综合实验表明，我们的方法能很好地实现最新性能，大大优于现有方法。 例如，在单查询模式下的Market-1501数据集上，按此方式排序的结果是Rank-1/mAP=96.6%/94.2%。
本文提出了不同粒度的全局信息和局部信息相结合的特征学习策略。 如图1所示，不同数目的分区带引入了内容粒度的多样性。 定义了原始图像中只包含一个全局信息的整体分割最粗糙的情况，随着分割数的增加，局部特征可以集中在各部分带的更精细的判别信息上，对其他部分带的信息进行过滤。 由于深度学习机制可以从整个图像中获得智能体上的近似响应偏好，因此也可以从小局部区域中提取更细粒度的局部特征显著性。 请注意，这些子区域不必是具有特定意义的位置分区，而必须是原始图像上的等分条带。 通过观察发现，随着水平条纹数的增加，分区反应粒度变得更细。 基于这一动机，我们从ResNet-50[13]骨干网的第四个剩余阶段设计了多支路网络(MGN )、多支路网络架构，并将其作为一个全球支路和两行支路对于MGN的每个局部分支，参考文献[36]的方法，将全局聚集的特征映射分割为不同数量的频带作为部分区域，独立学习局部特征表现。
与传统的基于部分的方法相比，我们的方法只利用等分部分进行部分表示，但在性能方面优于传统的所有方法。 另外，我们的方法完全是端到端的学习过程，容易学习和实现。 大量实验结果表明，我们的方法可以在几个主要的Re-ID数据集上提供最新性能，而无需添加外部数据或重新排序[50]操作。
2 .网络结构
我们的网络主干是ResNet-50，它有助于在部分Re-ID系统上实现竞争力。 与原始版本最明显的不同之处在于，它将res_conv4_1块之后的后续部分划分为三个独立的分支，并共享与原始ResNet-50相同的体系结构。
在测试阶段，为了获得最强的识别能力，将所有下降到256维的特征连接起来作为最终特征，结合全局信息和局部信息完善对学习特征的综合性。
让我们来看看global分支。 上面第一块的Loss设计。 这个地方对2048维制作了SoftmaxLoss，对256维制作了三重loss。 这是全球信息通用的方法。 以下两个部分的global处理方法也相同，都是为2048创建SoftmaxLoss，为256维创建三重loss。 中间部件2具有全局信息，具有全局特征，进行软件最大三重丢失。
但是，在以下两个Local特征中看不到TripletLoss，只使用了SoftmaxLoss。 这在文章中也有讨论。 我们做了实验，但是关于细节和分歧做了三重迷失的话效果会变差。 为什么效果会变差？
一张图片从上到下分开的情况下，最完美的当然是上面部分为上半身，下面部分为下半身，但是在实际的图像中，全员的上半部分、下半部分有可能是背景。 在这种情况下，如果用上下部分进行区分，假设下半部分是背景，将此背景放入三损耗中计算该损耗，则该模型会学习到令人费解的特征
例如，背景图是树，另一幅图是某人的下半身。 例如，一个女人的下半身是裙子。 计算一下裙子和另一张图上树的距离吧。 无论是同类还是种类不同，计算出的距离都没有物理意义和实际意义。 从模型的观点来看，这是崩溃整个模型，学习错误的信息，在预测时引起错误的污点数据。 所以，以后同学想再现我们的方法时请注意。 请勿在部件2、部件3的局部特征中添加三重丢失。
3 .解读
上图显示了从IDE基线模型[47]和基于IDE的部件模型中提取的特定图像的特征响应图。 即使没有明确的注意机制来增强对某些显著成分的偏好，我们也观察到深层网络可以根据不同身体部位的内在含义初步区分它们的反应偏好。 但是，为了消除高复杂度行人图像中无关模式的干扰，更高的应答集中在行人的主体上，而不是具有语义模式的特定身体部位。 将显示区域缩小范围，将其作为学习局部特征的分类任务进行训练后，观察到局部特征图上的响应开始聚集成几个显著的语义模式，这些语义模式也随着显示区域的大小而变化。
这个观察反映了图像内容的量，也就是领域的粒度，和深度网络关注特定表现模式的能力之间的关系。 我相信这种现象是因为有信息
限区域内的局限性造成的。一般来说，从全局图像比较，很难从局部区域区分行人的身份。分类任务的监控信号强制将特征正确分类为目标身份，这也推动了学习过程试图在有限的信息中探索有用的细粒度细节。实际上，以前基于零件的方法中的局部特征学习仅在有或无经验先验知识的情况下，将分区的基本粒度多样性引入到整个特征学习过程中。假设存在适当级别的粒度，则具有最具歧视性信息的细节可能最集中于深层网络。基于以上的观察和分析，我们提出了多粒度网络（MGN）架构，将全局和多粒度局部特征学习相结合，以获得更强大的行人表示。