目前视觉方案在ADAS上有双目和单眼，两者在距离检测上使用不同的技术路线，在产品化时也有各自的优缺点，作者谈了自己的看法。 作者沈静的灰狼是中科慧眼首席执行官。
ADAS功能的第一步是观察感知，也就是车辆周边负责的道路状况环境。 在此基础上，可以做出适当的路径规划和驾驶行为决策。 目前，感知中使用的传感器包括各种形式的雷达、单目照相机、双目照相机等，或者也包括将这些传感器以不同的组合形成的感知系统，但这些传感器器件各有优缺点
这其中，相机是必不可少的。 通过收集前方的道路图像，可以实现车道障碍物和行人检测ADAS功能。 对ADAS相机的选择有什么讲究？ 双目方式有什么区别？ 在这里陈述我的意见。
ADAS相机的拍摄要求是什么？
根据ADAS检测的需要，相机必须具有以下两个特点：
一是要看得足够远。越看越有判断和反应余地，可以避免或减少事故造成的损失。 这种照相机关注的参数是焦距，焦距越长越能看到远。 但是，存在焦距越长、视角越窄的问题，所以需要考虑折衷。
二是要求高动态。选择高动态范围的黑白相机，可以有效抑制光晕现象，突出暗区细节，提高图像质量。 另外，彩色图像被涂在镜片表面，虽然提高了人眼的感知体验，但实际上信噪比和信息量下降了。 这不利于后续的图像处理。
根据这些要求，很容易发现目前行业的炒作现象。 很多车使用的智能硬件多是行车记录仪、云镜等产品，会在原有的成像系统中增加ADAS功能，但其实只是厂家赚钱噱头的方法。
行车记录仪的目的是记录车辆周边的情况，所以看得越清楚越好，看得越全面越好。 也就是说，“对人很好”。 这需要摄像系统具有超高分辨率、超良好的颜色再现性和超大型的广角镜头，视角变大意味着焦距的缩小。 这与ADAS对成像系统的要求正好相反，因为ADAS要求的图像质量是“机器友好”，所以基于行车记录仪的成像系统开发ADAS功能是不现实的。 现在，大多数被认为具有ADAS功能的行车记录仪一般只具有车道检测这一功能。 虽然还有其他类似碰撞警报的功能，但是用户体验非常差。
单/双目测距原理差异
目前，照相机ADAS有单眼和双眼两种方案，两者的共同特征是用照相机收集图像数据，并从图像数据中获得距离信息。 ADAS的重要作用之一是碰撞警报。 碰撞警报需要关注距离的变化，需要估计碰撞前的时间。 有距离测量，才有距离的变化，有距离的变化，才有碰撞时间的估计，最后才会发出警报。
单目摄像头的大致测距原理，是先通过图像匹配进行目标识别（各种车型、行人、物体等），再通过目标在图像中的大小去估算目标距离在估算距离之前，首先要求准确识别目标。 是车、行人、卡车、SUV还是轿车。 正确识别是正确估计距离的第一步。
为此，需要建立并持续维护巨大的示例特征数据库，以确保它包含要识别的所有特征数据。 例如，在一些特殊地区，为了专业检测大型动物，其他一些地区存在一些非常规则的车型，必须先建立大型动物数据库，然后将这些车型的特征数据添加到数据库中。
需要识别的目标特征数据不足，系统无法识别这些车型、物体、障碍物，无法准确估计这些目标的距离。 否则会导致ADAS系统的申报遗漏。
而双目检测的方式就是通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量，而无需判断前方出现的是什么类型的障碍物。，因此，对于任何障碍物，都可以根据距离信息的变化进行必要的警报和制动。
双目照相机的原理与人眼相似。 人眼之所以能感知物体的远近，是因为两只眼睛对同一物体显示的图像不同，也称为“视差”。 物体距离越远，视差越小； 相反，视差越大。 视差的大小对应于物体和眼睛之间的距离的接近，这也是3D电影能够在立体水平上感知的原因。
照片里的人和棕榈树，人在前面，棕榈树在后面，最下面有双目照相机的图像。 右侧的相机图像显示人在树的左侧，左侧的相机图像显示人在树的右侧。 这是因为双眼的角度不同。 再比较两个图像，就会发现人眼观察树时的视差很小。 观察人时视差大是因为树的距离远，人的距离近。 这就是双目三角测距的原理。 双目系统是对目标物体距离感知的绝对测量，不是估计。
单/双目方式的优势和难点
目的优势是成本低，对计算资源要求不高，系统结构比较简单。 缺点是必须不断更新和维护一个庞大的样本数据库，系统能达到较高的识别率； 无法判断非标准障碍物的距离不是真正意义上的测量，精度低。
双目系统成本高于单目系统，但仍在可接受范围内，与激光雷达等方案相比成本较低； 二是原理识别后无需测量，直接测量所有障碍物，识别率不受限制； 三是精度高于单眼，直接利用视差计算距离； 四是不需要维护示例数据库。 因为双眼没有样本的概念。
双目系统的难点之一是计算量非常大，对计算单元的性能要求非常高，从而推动了双目系统的产品化、小型化
的难度较大。所以在芯片或FPGA上解决双目的计算问题难度比较大。国际上使用双目的研究机构或厂商，绝大多数是使用服务器来进行图像处理与计算的；也有部分将算法进行简化后，使用FPGA进行处理。目前，中科慧眼在芯片上的计算效率已经达到15fps，在FPGA+ARM架构上的计算效率达到了40fps。另一个难点在于双目的配准效果。通过双目摄像头的图像配准可以计算生成表示距离的二维图像。下图是中科慧眼双目方案对实际场景信息采集与计算得到的距离的对应关系，不同饱和度颜色代表不同距离，从暖色调至冷色调为距离由近及远。在计算过程中，需要对噪点与空洞做很好的抑制。从右图可以看出，色调（距离）是平滑过渡，没有跳变。
△中科慧眼距离计算获得的二维图像
一些FPGA方案中有很多噪点与空洞，对后续计算不利，存在安全风险。对于小障碍物的识别，既要做到没有杂点和空洞，又要表现细节。否则比如一条横着的栏杆无法识别，会增加驾驶的风险。下面的图表现的是小物体和行人的探测上中科慧眼双目方案与国际上其他算法的对比。
△Our为中科慧眼算法小障碍物的双目配准效果，其它为国际流行传统方法的处理效果
小结
因为检测原理上的差异，双目摄像头在距离测算上相比单目有自己的特点，其硬件成本和计算量级的加倍，是难关也是突破口。就像谷歌自动驾驶汽车不断积累大量的经验和使用数据，才可能一步步积累实现自动驾驶。中科慧眼的双目产品目前完成了样机，也正在进行大规模路测。从产品理论技术原型走到真正被用户接受的产品，还有很长的路要走。
原出处：http://www.cheyun.com/content/10424