rx dxy网络
原文： 《Learning a Similarity Metric Discriminatively, with Application to Face Verification》
1、4个问题解决什么问题？ 解决问题类别多(或者不确定)，但训练样本的类别数少的分类任务(例如脸部识别、脸部认证) )在通常的分类任务中，类别数是一定的，每班的样本数也多)例如哪个ImageNet ) 提出了将输入映射到一个特征向量，使用这两个向量之间的“距离”(L1 Norm )来表示输入之间的差异(图像的意义上的差异)的想法。 基于上述思路设计了rx dxy网络。 必须一次输入两个样本作为一个样本对来计算损失函数。 常用的softmax只需输入一个样本。 必须为FaceNet的三重丢失输入三个示例。 为了训练提出了Contrastive Loss。 效果怎么样？ 进行了测定两个人脸相似度的实验，使用多个数据库进行了复杂化。 ssdwx network至今仍在许多地方使用，可以达到state-of-the-art的效果。 有什么问题吗？ contrastive loss训练样本的选择需要注意，论文均保证了50%的正样本对和50%的负样本对。 2、论文概要2.1、问题的提出和解决方案的分类问题：第一类，分类数量少，各类数据量大。 例如ImageNet、VOC等。 这样的分类问题，只要事先知道所有的类，就可以用神经网络和SVM来解决。 二是分类数量大(或无法确认具体数量)，每类数据量少，如人脸识别、人脸验证任务等。 本文提出的解决方案： learn a similar metric from data。 中心思想是寻找能够将输入图像转换成特征空间的映射函数，将特征向量与每个图像对应，用几个简单的“距离测量”(例如欧式距离)来表示向量之间的差异，最后在该距离处拟合输入图像的相似度的差异(语义的差异) 2.2、网络结构概述
数学符号描述输入数据。 X 1 X_1 X1、X 2 X_2 X2、x2'x_2^{#x27； (x2 )。 其中X 1 X_1 X1和X 2 X_2 X2为同一类型，X 1 X_1 X1和x2x _2^ { # x27； }
X2′属于不同类。模型： G W G_W GW。其中 W W W表示模型参数， G W G_W GW的作用就是将输入数据 X X X转换为一组特征向量。距离（文中称其为energy function）： E W E_W EW。用于衡量两个输入向量转换为向量之后，两个向量之间的距离。 如果采用L1距离，则公式为： E W ( X 1 , X 2 ) = ∥ G W ( X 1 ) − G W ( X 2 ) ∥ E_W(X_1, X_2)=| G_W(X_1) - G_W(X_2) | EW(X1,X2)=∥GW(X1)−GW(X2)∥。 2.3、Contrastive Loss损失函数 Y Y Y表示 X 1 X_1 X1、 X 2 X_2 X2是否属于同一类。为同类，则为0；不同类，则为1。 P P P表示输入的总样本数， i i i表示当前样本的下标。 L G L_G LG表示两个样本为同类时的损失函数， L I L_I LI表示两个样本未不同类时的损失函数。使用Contrastive Loss的任务主要是设计合适的 L G L_G LG和 L I L_I LI损失函数，当为同类时，使得 L G L_G LG尽可能小；当不同类时，使得 L I L_I LI尽可能大。文中给出的函数如下图，现在也不常用了，推导步骤略。 查找资料看到，caffe中的contrastive loss定义如下：(参考：https://blog.csdn.net/autocyz/article/details/53149760)L = 1 2 N ∑ n = 1 N y d 2 + ( 1 − y ) m a x ( jzdqb − d , 0 ) 2 L=frac{1}{2N}sum_{n=1}^Nyd^2+(1-y)max(margin-d,0)^2 L=2N1n=1∑Nyd2+(1−y)max(margin−d,0)2