1.TOF技术研究1.1 TOF初探TOF是flight时间的缩写，直译为飞行时间的意思。 飞行时间法3D成像是向目标连续发送光脉冲，由传感器接收物体返回的光，通过检测光脉冲的飞行(往返)时间得到目标物距离。 该技术与3D激光传感器的原理基本相似，但3D激光传感器逐点扫描，而TOF照相机同时获得整个图像的深度信息。 TOF摄像机与普通机器的视觉图像处理过程类似，由光源、光学部件、传感器、控制电路及处理电路等几个单元组成。 与相同的无创三维检测、应用领域非常相似的双目测量系统相比，TOF摄像机具有根本不同的3D成像机制。 双目立体测量在进行左右立体图像匹配之后，经过三角测量法进行立体检测，TOF摄像机获得通过入射反射光检测得到的目标距离。
TOF技术采用有源光检测方式，与一般的照明需求不同，TOF照射单元的目的不是利用照明，而是利用入射光信号和反射光信号的变化进行距离测量，所以TOF的照射单元都是先对光进行高频调制后再发射，例如如下图所示与普通相机一样，托福相机芯片的前端需要一个汇聚光线的镜头。 但是，与通常的光学镜头不同，需要追加带通滤波器，使只有与照明光源相同波长的光才能进入。 此外，由于光学系统具有透视效果，不同距离的场景不是平行平面，而是不同直径的同心圆球面，实际使用时，需要后处理单元对该误差进行校正。 作为TOF的照相机的核心，TOF芯片的各像素分别记录入射光在照相机和物体之间往返的相位。 该传感器的结构与普通图像传感器类似，但比图像传感器更复杂，包括两个或多个快门，用于在不同时间对反射光进行采样。 出于这种原因，TOF芯片上的像素比一般图像传感器的像素尺寸大得多，且通常为100um左右。 照射单元和TOF传感器都需要高速的信号控制，才能实现高深度测量精度。 例如，如果照射光和TOF传感器之间的同步信号偏移10ps，则相当于1.5mm的位移。 当前的CPU可以使用到3GHz，并且时钟周期相应地为300ps，并且深度分辨率相应地为45mm。 计算单元主要完成数据校正和计算工作，可以通过计算入射光与反射光的相对相移关系求得距离信息。
TOF的优点：与立体相机和三角测量系统相比，TOF相机体积小，与一般相机尺寸相差不大，非常适合需要重量轻、体积小的相机的情况。 托福摄像机可以实时高速计算深度信息，达到几十100fps。 TOF的深度信息。 双目立体摄像机需要使用复杂的相关算法，处理速度较慢。 TOF的深度计算不受物体表面的灰度和特征的影响，可以非常准确地进行三维检测。 双目立体相机需要目标的良好特征变化。 否则，就无法进行深度计算。 TOF的深度计算精度不随距离变化，基本稳定在厘米级，这对于大范围运动的应用场合非常有意义。
1.2 TOF研究机构1 Dynamic 3D Vision(2006-2010 ) :
研究领域：多芯片2D/3D传感器、动态场景重构、目标位置识别和光场计算
官网： www.zess.uni-siegen.de/PMD-home/dyn3d
2 ARTTS (2007-2010):
全名： actionrecognitionandtrackingbasedontime-of-flight sensors
官网： http://www.artts.eu
研究领域：开发更小更便宜的新一代TOF相机()基于运动跟踪和识别算法的多模式接口和交互系统，结合HDTV和TOF技术
3 Lynkeus (2006-2009):
官网： www.lynkeus-3d.de
研究领域：致力于自动化和机器人导航等工业应用领域的高分辨率和鲁棒性的TOF传感器
43d4you(2008-2010 ) :
官网： www.3d 4you .欧盟
研究领域：构建了3D-TV产品线，通过从三部电影实时获取点云数据、转换为3D并显示在家用电视上的3D4YOU应用ToF range cameras初始化来估计多个高分辨率相机的深度，初始化计算3D场景图像的深度。
5moses(2008-2012 ) :
全名：多模型传感器系统傅里叶变换操作(Moses )
研究领域：基于传感器的多方面应用，包括基于TOF的人机接口与多传感器的融合
官网： www.zess.uni-siegen.de/IPP _ home/Moses
1.3 TOF的应用领域TOF相机目前的主要应用领域如下。
1物流行业：用托福相机快速获取包裹甩负荷，即体积，优化装箱进行运费计价
2安全与监控：进行人员计数，识别进入者
数不超过上限；通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；敏感地区的检测对象监视；机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；<3> 机器人：在自动驾驶领域提供更好的避障信息；机器人在安装、质量控制、原料拣选应用上的引导；
<4>医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助、面部3D 识别；
<5>互动娱乐：动作姿势探测、表情识别、娱乐广告
1.4 TOF相机特点<1>优点：
1.相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即
区分前景与后景；
2.深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；
3.经过进一步深化处理，可以完成三维建模等应用；
4.能够快速完成对目标的识别与追踪；
5.主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利；
6.借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；
7.无需扫描设备辅助工作
<2>缺点：
1.相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率；
2.相机本身仍然受到硬件发展的限制，更新换代速度较快；
3.测量距离较常规测量仪器短，一般不超过 10 米；
4.测量结果受被测物性质的影响；
5.大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰；
6.分辨率相对较低，本文研究的 PMD Camcube 2.0 型号相机，为目前分辨率
最高的 3D 相机，其分辨率仅为 204×204像素；
7. 系统误差及随机误差对结果影响明显，需要进行后期数据处理。
2 深度相机比较目前的深度相机有TOF、结构光、激光扫描等几种。主要用于机器人、互动游戏等应用。其中较多的是指TOF相机。目前主流的有TOF相机厂商有PMD、MESA、Optrima、微软等几家，其中MESA在科研领域使用较大，相机紧凑性好，而PMD是唯一一款能够在户内、户外均能使用的TOF相机，并且能够具有多种探测距离，可用于科研、工业等各种场合。而Optrima、微软（还不是真正的TOF技术）的相机主要面向家庭、娱乐应用，价位较低。
<1>MESA公司：SR4000
官网：www.mesa-imaging.ch
<2>PMD公司：CamCube3.0
官网：www.pmdtec.com
<3> Canesta公司：XZ422
官网：www.canesta.com
<4> Fotonic公司
官网：http://www.fotonic.com/content/Company/Default.aspx
2.1 MESA系列介绍MESA Imaging AG成立于2006年7月，致力于生产销售世界领先的3D 飞行时间（TOF）深度测绘相机。该相机采用的图像芯片技术，能够实时采集三维数据列（通常称之为深度图像），并集成于一个紧凑的固件内。MESA 在此领域荣获过SwissRanger技术创新奖，众多的成功经验可以为客户带来定制相机解决方案。MESA的产品能够进行单相机3D成像。它采用飞行时间法（Time of flight），通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光、探测光脉冲的飞行（往返）时间来得到目标物距离。相比于其它立体成像方式，这种方式具有实时性好、无死区等特点。MESA的芯片由专门的厂家生产，并引进了CCD/CMOS生产工序，保证了光电功能模块的独立性以及优化配置。由此保证了MESA使用的芯片的底层噪声和随后的距离测量能力大大优于基于标准CMOS工艺制造的芯片。其型号是SR4000
SR4000 3D测距相机能以视频帧速率实时输出3维距离值和振幅值。基于时间飞行原理（time-of-flight TOF），相机包括一个内置的激光光源，发射光经场景中的物体反射后返回相机，每个图像传感器中的像素点都分别精确测量该时间间隔，并独立算出距离值。设计用于户内环境，SR4000可轻易经USB2.0或者以太网（Ethernet）接口连接到电脑或者网络中，快速生成实时深度图。代表着MESA公司第4代时间飞行原理相机，它可输出稳定的距离值，外形美观、坚固，体积小（65 X 65 X 68mm）（USB版）。 SR4000随机包括驱动和软件接口程序，用户可以通过接口程序创建更多的应用。
2.2 PMD Tec系列Camcube3.0是全球第一款可应用于室外环境的高精度深度相机，这为汽车辅助驾驶、移动机器人等应用带来了便利。在汽车等交通工具中，停车、开车运行等都一直通过驾驶员的直接观测和经验来完成，由于人的经验误差或精神状态影响，在实际过程中，难免会出现各种状况。而通过TOF相机3D探测，可以很方便的对外界环境进行探测，并对驾驶员起到提醒和辅助驾驶的作用。
PMDTec公司是一家德国公司，其原身是德国锡根大学一个研究传感器系统（ZESS）的中心实验室，2002年从德国锡根大学分离出来组建了公司，后被另一家公司收购组建了现在的PMDTec公司。该公司研究3D TOF Imaging（时间飞行技术）超过了10年。2011年，Omek Interactive和PMDTechnologies宣布达成了战略合作伙伴关系，以提供姿态识别和身体跟踪解决方案，这为今后的商业应用打下了坚实的基础。该公司的产品已经开发到了第三代 - CamCube3.0。3D摄像头的分辨率为200*200，可以以每秒40帧的速度获取场景的深度信息和灰度图像。CamCube3.0具有非常高的灵敏度，它可以在较短的快门时间内获得更高精度和更远的探测距离。由于其独家的SBI技术，TOF是少有的既可以用于室内，又可以用于室外的TOF相机，并可以探测快速运动目标。不过缺点就是价格不菲，不含税的话，要12000美元。所以只适合搞科研，对于民用还有很长的路要走。
PMDTec 公司网址：http://www.pmdtec.com/
PMDTec Wiki：http://en.wikipedia.org/wiki/PMDTechnologies
2.3 NATALNatal并不是基于ToF的原理，PrimeSense为微软提供了其三维测量技术，并应用于Project Natal。在PrimeSense公司的主页上提到其使用的是一种光编码（light coding）技术。不同于传统的ToF或者结构光测量技术，light coding使用的是连续的照明（而非脉冲），也不需要特制的感光芯片，而只需要普通的CMOS感光芯片，这让方案的成本大大降低。Light coding，顾名思义就是用光源照明给需要测量的空间编上码，说到底还是结构光技术。但与传统的结构光方法不同的是，他的光源打出去的并不是一副周期性变化的二维的图像编码，而是一个具有三维纵深的“体编码”。这种光源叫做激光散斑（laser speckle），是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。也 Kinect就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然，在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。在PrimeSense的专利上，标定的方法是这样的：每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设Natal规定的用户活动空间是距离电视机1米到4米的范围，每隔10cm取一个参考平面，那么标定下来我们就已经保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和我们保存下来的30幅参考图像依次做互相关运算，这样我们会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。
2.4 primeSense今天最常见的影像捕捉设备是数码相机。数码相机输出一个像素矩阵，每个像素代表一个色值。这是一种二维（2D）视觉技术。3D 视觉是指除了捕捉目标的空间位置（x 轴和 y 轴）和颜色之外，还能捕捉目标的深度（又称 Z 轴、范围、距离）及其周围环境。一个 3D 视觉系统同时输出每个场景的地形视图和色彩视图。PrimeSense是一家无厂半导体公司。他们的技术赋予电视、机顶盒、客厅电脑等消费电子产品自然互动能力。他最得意的两个字就是:深度。他们的 PrimeSensor 产品包含 Reference Design 和 NITE 中间件。PrimeSensor Reference Design 是一款成本低廉、即插即用、靠 USB 供电的设备，可以放在电视机或显示器的顶部或旁边，也可以嵌入其中。ReferenceDesign 能够实时生成客厅场景的深度、色彩和音频数据。它能在各种室内照明条件下工作（包括一片漆黑和非常明亮的房间）。它不需要用户佩戴或手持任何东西，无需校准，也不需要主机处理器做任何运算。PrimeSensor 的设计中包含一个先进的视觉数据处理中间件，它针对面向大众市场的 CE 产品——NITE进行了优化。NITE 为开发丰富的自然互动应用程序提供了算法框架。NITE SDK（软件开发工具包）提供了一个文档详细的 API 和框架，既能完成 GUI（图形用户界面）的设计开发，又能完成游戏开发。