作者根据多年人脸识别项目的经验，总结了人脸识别技术在安防、商务领域的应用及产品设计细节，并总结为APP应用层下人脸识别系列文章。 本文将系列文章第三篇——介绍人脸比对的相关内容。 全文围绕人际比对类型、人脸比对因素进行介绍。
一、面部比对类型面部比对类型为：人脸1:1、人脸1:n、人脸1:N、人脸M:N。
人脸识别APP不仅围绕这四种比对方式展开，以下依次介绍各种比对类型。
1 .人脸1:1人脸1:1一般用于人证核验，证明你是，可以简单理解。
例如，在火车、飞机、出入境、银行办卡时，通常需要验证本人是否是持有身份证的同一个人。
如下图所示，系统读取二代身份证的脸部照片，与现场拍摄的本人照片进行比对即可。
人脸1:1，又称3358www.Sina.com/，同时具有静态人脸比对的特点，完成比对需要用户携带身份证，积极配合收集人脸。
2 .脸部1:n )脸部1:n )将一张脸部照片与脸部库中的多张脸部逐一比对。 人脸库中有多少人脸，经过几次比对采集“我”的单张照片后，需要从人数庞大的人脸数据库中找到与当前用户人脸数据相匹配的图像，再进行比对，找出“我是谁”。
脸1:n是配合式
比对照片取自视频，同时具有动态人脸比对。特征的整个——比对过程无法感知，不需要人为协助。 通过这两个特性，人脸1:n可以落地公安追捕逃亡者，但其难度远远高于人脸1:1。 (通常，受光的变化、人脸姿势的影响—— )例如，侧脸、低头、逆光现象会大幅提高人脸的漏报率。 ）
1:n中“n”的大小(人脸库照片的数量)会影响人脸识别的准确率和比对速度，因此比对人脸库的规模设定得比较小。
3 .面部1:N面部1:N也称为非配合。 也就是说，以脸部图像、脸部的相似度作为检索条件，在脸部库中检索与其相似(相似度大于设定的阈值)的图像——与百度图检索图相似。
检索过程实际上是进行n次脸部比对，留下得分大于阈值的结果。
面部1:N的面部库的规模比面部1:N大很多，最大可对应静态大库检索，因此这里的n为大写字母。
4 .脸M:N脸M:N实际上是亿级人脸检索
例如，脸库a有m个人的脸，脸库b有n个人的脸。 要调查脸库a和b中包含多少相同的人，需要将脸库a的m个脸和脸库b的n个脸各进行一个对照，相当于将m个脸1:N相加后的结果。
脸M:N是两个人脸库进行比对。
例如，办案人员在处理三夺一盗这样的案件中，一般80%的案件都是惯犯所为。 于是，通过将线索地点的行人库与惯犯库进行面部M:N比对冲突，可以迅速排查嫌疑，找到搜查方向。
二、人脸比对的因素1 .人脸数据人工智能算法的发展需要数据的支撑。
通过大量使用标记的数据训练模型，可以将识别的准确率从70%提高到99%的水平。 客观准确的数据是人工智能APP应用的必要条件。
获取人脸数据的五种方法：
惯犯排查、身份查重拍摄的视频、照片是面部原始数据的主要来源。 项目中多通过RTSP、FTP等协议向这种摄像机获取实时视频流和图像流。监控相机、手机相机等各种类型相机：存储大量视频资源，您可以使用ONVIF协议将数据检索到这些设备中。NVR/DVR等录像储存设备：如公安八大信息资源库、企业在职职工资源库等。 获取此类数据难度很大，与第三方平台对接相关，还需要考虑保密、网络安全等问题。第三方企业、事业单位的人员信息库：常用的面部数据集(如WebFace、FDDB、LFW和YouTube Face )可提供出色的标记数据，用于算法测试和模式训练。互联网中的开放数据集：通过创建或利用免费的网络爬虫程序自动捕获网络图像。 广泛用于互联网的数据采集。 2 .人脸比对库人脸识别必须提供比对模板——人脸1:n、人脸1:n、人脸M:N才能进行比对。
系列的第二篇文章《应用层下的人脸识别（二）：人脸库》详细介绍了面部库的创建方法。
3 .比对阈值比对阈值：面部比对相似度。
面部比对的结果用相似度的值表示，在面部比对之前需要设定相似度的阈值，大于该阈值时判断为两张照片有可能是同一个人。
比对阈值严重影响人脸识别的准确率、漏报率，网络爬取：比对阈值没有一定的标准，需要根据应用场景灵活调整。
例如，刷脸支付需要关注比对精度，提高门槛； 公安嫌疑人遮住了脸
要求降低漏报，就需要适当调低阈值。 4. 芯片人工智能的三要素是算法、算力和数据，而芯片决定了算力。
深度学习工程的两大关键环节training（训练）和inference（推测）需要大量的算力支撑，普通的CPU无法满足计算要求。
相继推出的高性能GPU、TPU、FPGA、ASIC等加速芯片，大大提升了计算速度，同时也促进了算法的发展。
GPU在人脸1:n、1:N、M:N比对中是不可或缺的，而部分人脸1:1计算量不大，可以不使用加速芯片。亿级人脸检索在GPU的加速下可以达到秒级返回结果。
5. 人脸算法人脸算法效果决定了人脸识别的上限，也是人脸比对最关键的要素。随着深度学习技术的普及，各大公司的人脸算法效果差距也越来越小。
目前主流的人脸识别算法可以分为以下四类：
基于人脸特征点的识别算法基于整幅人脸图像的识别算法基于模板的识别算法利用神经网络进行识别的算法2018年11月20日公布的，有工业界黄金标准之称的全球人脸识别算法测试(FRVT)结果（如下图）：
排名前五的算法都被中国包揽：
依图科技(yitu)继续保持全球人脸识别竞赛冠军，在千万分之一误报下的识别准确率超过99%。排名第二的算法也来自依图科技。商汤科技(sensetime)摘得第三名和第四名。中国科学院深圳先进技术研究院(siat)排名第五。人脸算法虽然在各种数据集的测试中准确率颇高，但还远没达到在商业应用中的满意程度。
目前仍然有很多缺陷需要解决，例如：
姿态问题：
人脸识别主要依据人的面部表象特征来进行，“如何识别由姿态引起的面部变化？”就成了该技术的难点之一。
姿态问题涉及：头部在三维垂直坐标系中，绕三个轴的旋转造成的面部变化。其中，垂直于图像平面的两个方向的深度旋转会造成面部信息的部分缺失。这使得姿态问题成为人脸识别的一个技术难题。
针对姿态的研究相对比较的少，目前多数的人脸识别算法主要针列正面、准正面人脸图像。当发生俯仰或者左右侧而比较厉害的情况下，人脸识别算法的识别率也将会急剧下降。
图像质量问题：
人脸图像的来源可能多种多样，由于采集设备的不同，得到的人脸图像质量也不一样。
特别是对于那些低分辨率、噪声大、质量差的人脸图像（如：手机摄像头拍摄的人脸图片、远程监控拍摄的图片等），“如何进行有效地人脸识别？”就是个需要关注的问题。
而对于高分辨图像对人脸识别算法的影响，也需要进一步的研究。
现在，我们在人脸识别时，一般采用的都是相同尺寸、清晰度很接近的人脸图片，所以图像质量问题基本可以解决。但是，面对现实中更加复杂的问题，还是需要继续优化处理。
遮挡问题：
对于非配合情况下的人脸图像采集，遮挡问题是一个非常严重的问题。
特别是在监控环境下，往往被监控对象都会带着眼镜、帽子等饰物，使得被采集出来的人脸图像有可能不完整，从而影响了后面的特征提取与识别，甚至会导致人脸检测算法的失效。
人脸算法在人脸五官被挡的情况下表现的不是很好。
目前对遮挡识别效果较好的DeepID2算法，可稳定识别遮挡在20%以内，块大小在30*30以下的人脸。
样本缺乏问题：
基于统计学习的人脸识别算法是目前人脸识别领域中的主流算法，但是统计学习方法需要大量的训练。
由于人脸图像在高维空间中的分布是一个不规则的流形分布，能得到的样本只是对人脸图像空间中的一个极小部分的采样。关于“如何解决小样本下的统计学习问题？”，还有待进一步的研究。
以上就是系列文章的第三篇——《应用层下的人脸识别（三）：人脸比对》的相关内容。
欢迎大家添加公众号“阳春柏樰”与我继续交流图像识别相关问题。
三、相关阅读应用层下的人脸识别（一）：图像获取
应用层下的人脸识别（二）：人脸库