(回自睿慕课
文章结构
前言
立体视觉传感器原理介绍
在工业领域的应用
主流立体视觉产品
托福照相机的工作原理
TOF工业领域的应用
几个托福研究机构
1.前言
在机器视觉APP应用中，物体三维形状的获取越来越重要。 本系列介绍机器视觉行业目前可用的3D图像采集装置和最常用的技术。 也简要说明用不同技术进行三维重建的原理。
三维重建有两个基本原则：三角测量和飞行时间(TOF )测量。 三角测量所用的基本数学原理是中学几何学学过的。 知道了三角形的前两点的坐标和前两点到三点连接的放射线的两个角后，就可以计算三角形的第三点的坐标。 相比之下，托福照相机发射放射线，测量放射线反射回传感器的时间。
请注意，本系列中介绍的传感器没有对象的完全三维重建。 而是为二维平面上的每个点返回到对象的距离。 因此，可以重建到物体表面的一半。区别于能够重建完整的3 D对象表面的传感器，这些传感器有时被称为2D传感器这通常是在与使用多个传感器、旋转和移动对象的传感器合并的结果中重建的2d . 尽管如此，根据行业标准的做法和要求，这些传感器被称为3D传感器。
2.立体视觉传感器
立体传感器的使用原理与HVS相同，为：用两台照相机从不同的位置观察场景。 为了正确重建运动物体，摄像机的同步很重要。 就像人眼同时看到一样，很难想象不同步会看到什么。
如果相机的视点不同，则距离相机一定距离的点在两个图像中位于不同的位置，从而产生视差。 视差是实现场景中点三维重建的基本信息。 (怎么测量视差？ 将一根手指放在眼前，切换左右眼，就会发现每个眼睛看到的位置不同)
为了实现三维重建，摄像机需要进行校准并确定其相对方位，校准通常由传感器制造商进行。 标定数据允许立体传感器三角测量三维点。 三角形的已知边是立体体系的基线，也就是连接两台摄像机的两个投影中心(入口瞳孔)的线段。 另外，如果知道两台照相机的内部方位，则照相机本质上是角度测量装置。 因此，描述如果在这两幅图像中的某点都被识别出对应于场景中的同一点，那么光线到这一点的角度就可以计算出来3重新配置的等效方法是： 当在图像中识别到对应点时，可以计算这些空间中的光线。 重建的三维点由两个光的交点决定。
图1 )一个立体传感器由两个摄像头组成，用于观察现场。 照相机中传感器的方向用两个矩形表示。 通过在两个图像中找到对应的点，构建这些光，并在空间中交叉，在三维空间中重建点。 请注意，相机之间的角度被夸张了，立体传感器的几何形状更加清晰。 请注意，场景中的几个点可能会被一个或两个摄像机的视角遮挡。 举例来说，在图1 )中，矩形长方体的底部周边的所有点均被至少一个摄像机遮挡。 很明显，这些点的三维位置是不能重建的。 所有基于三角测量的传感器都会出现此问题。
相应的点通常通过匹配两个图像中的小矩形窗口来确定。 也可以在特征点匹配。 无论如何，图像必须包含足够数量的结构或纹理。 否则，无法唯一确定对应的点。 许多工业物体没有纹理，因此场景中使用随机纹理。 投影仪通常位于相机之间，用于在场景中投影静止模式，或在场景中投影多个随机模式。 在深度不连续的情况下，为了得到更准确的三维重建结果，可以减小匹配窗口的大小或设为1*1。 这样可以在深度不连续的地方得到非常准确的三维重建，同时计算量也非常大。 使用多种模式的缺点之一是对象不能移动。
立体传感器大多基于区域阵列相机，也可以使用线扫描相机进行立体重构。 立体线阵可以进行非常高分辨率的三维重建。 但是，要进行三维重建，需要使物体相对于传感器移动。
3.工业领域应用
主要应用于无人驾驶、立体视频、虚拟现实、三维跟踪、移动机器人、医疗机器人等多个领域。
4.主流立体视觉的产品
有名的产品有
1 ) STEROLABS推出的ZED 2K Stereo Camera
它有很高的分辨率和帧率
可以感知到室内/室外0.5~20m为深度范围
ZED 2K Stereo Camera分辨率参数和帧速率2 ) Point Grey公司推出的BumbleBee
Bumblebee系列利用双目立体匹配计算，可以实时获得场景的深度信息和三维模型，快速构建立体影像和站位
体重目 目前包括有双目和三目两类，实时3D数据转换，每秒产生100万个3D点。 双目和三目Bumblebee传感器它的分辨率不如上面那款高
BumbleBee分辨率参数5.TOF相机工作原理
CWM飞行时间相机CWM TOF相机发射辐射，通常在近红外范围，即振幅调制为一定频率fm的正弦波，在15到30兆赫之间，辐射被场景中的物体反射并被相机接收，相机在一个调制辐射的周期内测量四次反射辐射的量，这将创建测量mi, i = 0, … , 3, 间隔的时间间隔为π/ 2的接收波。发射波和接收波之间的相移可以解调如下：
表示双参数的反正切函数,它返回的结果是[0,2π)。此外，这四个测量值可以用来计算场景强度
和幅值
可以用来预测测量的质量。在传感器的集成时间(曝光时间)内进行多次测量，以提高信噪比。
该相位在所谓的无歧义距离范围内是唯一的：
其中 是光速，举个例子， ,则 . 如果场景中存在距离大于 的物体，则相位将出现折回干扰。这样一来，必须使用相位展开算法，这是非常耗时的，几乎从未使用过。因此，对于距离大于 的对象，将返回一个错误的对象距离。
如果对象距离d在无歧义范围内，则可计算为：
CWM TOF相机会发生系统和随机的错误。例如,距离测量可能依赖于积分时间,这可能会导致错误1到10厘米,相机内部的散射辐射会导致相对较大的距离误差,因为距离的测量可能取决于场景中的物体的反射,故可能存在系统的深度失真(摆动)，因为发射的辐射并不完全是正弦波。
CWM TOF相机可以有高达30HZ的高帧率。然而，它们的缺点之一是相对较小的分辨率:大多数商用传感器的分辨率低于320X240像素。
PM 飞行时间相机PM TOF相机发射辐射脉冲，通常在近红外范围内，直接或间接测量辐射脉冲从辐射源到目标再返回传感器的飞行时间。让这个往返时间称为 。然后，相机到物体的距离为：
虽然 的直接测量在原则上是可行的，但在PM TOF相机中，往返时间是通过测量传感器接收到的辐射强度间接推断出来的。
一种基于 间接测量的PM TOF相机，其工作原理是发射一定持续时间 的辐射脉冲，如 。脉冲持续时间决定了可以测量的最大目标距离(距离范围)
例如，对于 ，最大距离为4.497 m。在三个积分周期内测量返回到传感器的辐射。第一积分周期与辐射脉冲的发射同步。在三个积分周期内测量返回到传感器的辐射。第二个集成周期紧跟着第一个集成周期。这两个积分周期测量的是场景中物体反射的相机辐射强度。这两个测量值是用来推断场景中物体距离的主要数据。第三个积分周期发生在辐射脉冲发射前或发射后足够长的时间。其目的是对场景中物体反射的环境辐射效应的距离测量进行校正。
我们检查前两个积分周期，并假设场景中没有环境辐射反射。在第一个集成期间，靠近相机的物体反射的辐射会对传感器上的电荷产生很大的贡献。物体离传感器越近，相机上的电荷就越高。另一方面，在第二次积分期间，距离相机较远的物体反射的辐射对传感器的电荷有很大的贡献。物体离传感器越远，相机上的电荷就越高。
例如，在d = 0处的物体在第一个积分周期内只产生一个电荷，而在第二个积分周期内由于在第一个集成期间，整个辐射脉冲返回到传感器而不产生电荷。另一方面，d = dmax处的物体在第二次积分期间只会产生一个电荷，因为在第一次积分期间脉冲无法返回传感器。最后一个例子是，在d = dmax/2处的物体在第一个和第二个积分期间会产生相等的电荷。这说明td的飞行时间可以从传感器上的电荷推断出来，让前两个积分周期的电荷分别用q1和q2表示。然后，可以证明
注意，对于距离大于dmax的对象，在本例中，q1 = 0，因此降为td = tp。这就是为什么距离大于dmax的物体无法被正确测量的原因。
上式假设没有环境辐射。这在实践中很少是真的。第三个积分周期可用于校正环境辐射效应的深度测量。
让第三个积分周期产生的电荷记为q3。然后，q3可以从q1和q2中减去，抵消环境辐射，得到：
因此，场景中某点的距离
上述测量在传感器的曝光时间内进行多次，以提高信噪比。
目前还不存在对PMTOF相机的系统和随机错误影响的全面分析。我们可以假设已知的对CWM TOF相机存在影响的因素也会影响PMTOF相机。
例如，我们知道PM TOF相机会受到依赖于场景中物体反射率的深度偏差的影响。PM TOF相机的时间噪声可以达到几厘米级。
PM TOF相机支持高帧率(高达30赫兹)。此外，它们提供比CWM TOF相机更高的分辨率。目前市面上出售的PM TOF相机的分辨率从320×240到1280×1024像素不等。
6. TOF工业领域应用
与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps；而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测；而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。
TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义，这些优势都使得它更易在工业上的推广。
TOF 相机目前的主要应用领域包括：
物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
安防和监控：
进行 Peoplecounting 确定进入人数不超过上限；
通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；
敏感地区的检测对象监视；
机器视觉：
工业定位、工业引导和体积预估；
替代工位上占用大量空间的、基于红外光进行安全生产控制的设备。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的hmdsw聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~