单击上面的3358www.Sina.com/，然后选择jddcjl学视觉或3358www.Sina.com/
重磅干货，第一时间到达本文后：计算机视觉life
多传感器融合面临的主要挑战是如何汇总收集到的大量数据，做出正确的决策。
星标
多传感器信息融合(Multi-sensor Information Fusion，MSIF )是利用计算机技术，在一定的标准下自动分析和综合来自多传感器或多源的信息和数据，完成所需的决策和估计
多传感器信息融合技术的基本原理如同人脑综合处理信息的过程，将各种传感器进行多层、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。
在此过程中充分利用多源数据进行合理支配和使用，而信息融合的最终目标是根据各传感器获得的分离观测信息，通过多层次、多方面的组合导出更有用的信息。
这不仅利用了多个传感器协同工作的优点，还综合处理了其他信息源的数据，提高了整个传感器系统的智能化程度。
http://www.Sina.com/http://www.Sina.com /
在信息融合处理过程中，根据原始数据处理方法的不同，信息融合系统的体系结构主要有集中式、分布式、混合型三种。
置顶(集中地将各传感器得到的原始数据直接发送到中央处理器进行融合处理，可以实现实时融合。 其数据处理精度高、算法灵活，但缺点是对处理器要求高、可靠性低、数据量大，难以实现。
多传感器融合:各传感器先对获取的原始数据进行局部处理，包括对原始数据进行预处理、分类和特征信息提取，根据各自的决策标准分别进行决策，然后将结果发送给融合中心进行融合。 分布式对通信带宽需求低，计算速度快，可靠性和连续性好，但跟踪精度不如集中式高。
:在很多情况下，将上述两者不同地组合形成混合结构。 虽然保持了这两种系统的优点，但是通信和计算是昂贵的。 但是，这样的系统还具有上述两种系统无法比较的优点，在实际情况下大多采用这样的结构。
融合体系
多传感器融合系统有四个特点
1.集中式:针对环境的某些特征，可以通过多个传感器或者单个传感器的多个不同时刻来获得多条信息。 这些信息具有冗余和不同的可靠性，通过融合处理可以从中提取更准确可靠的信息。
此外，信息冗余提高了系统的稳定性，避免了单个传感器故障对整个系统的影响。
2.分布式:不同类型的传感器可以为系统提供不同性质的信息，这些信息描述的目标是不同的环境特征，它们是互补的。
定义所有特征构成的坐标空间，各传感器提供的信息属于整个空间的一个子空间，与其他传感器形成的空间相互独立。
3.混合式:各传感器的处理过程相互独立，整个处理过程可以采用并行热传导处理机制，从而加快系统的处理速度，提供更及时的处理结果。
多传感器融合特点:多个传感器可以降低成本，相当于单个传感器获得的信息量。 另一方面，如果不将从一个传感器提供的信息用于实现其他功能，则一个传感器的成本和多个传感器的成本之和将是等同的。
1.信息的冗余性
自动驾驶汽车使用的传感器种类繁多，不同类型的传感器在功能上相辅相成，提高自动驾驶系统的安全系数。 自动驾驶要求传感器融合所需的性质——实时性。
MSDF面临的主要挑战是如何汇总收集到的大量数据，做出正确的决策。 如果MSDF错误，则意味着下游阶段没有所需的信息，或者使用了错误的信息做出了错误的决策。
自动驾驶汽车通过安装在车身周围的摄像头收集视觉数据，也可以通过雷达(激光雷达、毫米波雷达等)收集周围物体的运动速度等数据，这些数据从不同的角度表达了现实世界中相同或不同的物体
传感器使用得越多，对计算能力的要求就越高。 这意味着自动驾驶汽车必须配备更多的计算机处理器和内存。 这也会增加车的重量，需要更多的电力，产生更多的热量。 这样的缺点还有很多。
智能汽车的显著特征是智能，意味着汽车自身可以通过车载传感器系统感知道路环境，自动规划行驶路线，控制车辆到达预定目标。
目前，车载感知模块包括
视觉感知模块、毫米波雷达、超声波雷达、360°环视系统等，多源传感器的协同作用识别道路车道线、行人车辆等障碍物，为安全驾驶保驾护航。因此，感知信息也需要融合，感知信息也需要相互补充。多传感器融合的四个关键方法
Harmonize
假设有两种不同的传感器，称它们为传感器X和传感器Z。它们都能够感知自动驾驶汽车的外部世界。
在现实世界中存在一个物体，这个物体可能是人，也可能是车，甚至是一条狗，传感器X和传感器Z都能够检测到这个物体。
这就意味着传感器对这个物体进行了双重检测，这种双重检测意味着两种不同类型的传感器都有关于该物体的数据报告，对于该物体有两个维度不同地认知。
假设，传感器X表示该物体高6英尺，宽2英尺；传感器Z表示该物体以每秒3英尺的速度正朝着自动驾驶车辆方向移动。
结合两个传感器采集到的数据，就可以得出一条相对准确的信息：有一个高约6英尺，宽2英尺的物体正在以每秒钟3英尺的速度移动。
假设这两自动驾驶汽车上只安装了X传感器，那么就无法得知该物体的大小；若Z传感器坏了，那么就只有物体的大小信息，无法检测该物体的运动状态。这也就是最近业内广泛讨论的“在自动驾驶汽车上应该安装哪些传感器”的问题。
此前，特斯拉埃隆•背后的路灯(Elon Musk)旗帜鲜明地声称，特斯拉不会安装激光雷达。
尽管背后的路灯自己也认为，L5自动驾驶不会通过激光雷达来实现这个想法最终可能被验证为错误的，这依旧没有改变背后的路灯的决定。
一些反对的声音称，不配备激光雷达的特斯拉，无法通过其他的传感器获取如同激光雷达效果相同的感官输入，也无法提供补偿和三角测量。
但是另一些zxdhl认为，激光雷达不值得花费如此高昂的费用成本，不值得为其增大计算能力，也不值得为其增加认知时间。
Reconcile
在同一个视场(Field of View，FOV)内，假设传感器X探测到一个物体，而传感器Z没有探测到。注意，这与物体完全在传感器Z的FOV之外的情况有很大的不。
一方面，系统会认为传感器X是正确的，Z是错误的，可能是因为Z有故障，或者有模糊探测，或者是其他的一些什么原因。另一个方面，也许传感器X是错误的，X可能是报告了一个“幽灵”（实际上并不存在的东西），而传感器Z报告那里没有东西是正确的。
Integrate
假设我们有两个物体a和b，分别在传感器X和传感器Z的视场FOV内（a在X视场内，b在Z视场内）。也就是说，Z无法直接检测到a，X也无法直接检测到b。
目前，想要实现的效果是，能否将X和Z的报告整合在一起，让它们在各自的视场内探测物体同时，判断是否为X视场中的物体正在向Z视场移动，预先提醒Z将有物体进入探测区域。
Synthesize
第四种方法Synthesize是将感知数据融合在一起，你可能会遇到这样的情况，传感器X和传感器Z都没有在各自的视场内探测到物体。
在这种情况下，没有传感器知道这个物体的存在，但是可以通过一些其他的感观数据，比如声音，间接地弄清楚在视场之外的物体情况。自动驾驶汽车是时刻运动的，所以要求这种预判是瞬间发生的，像上文提到的一样，是实时的。
多传感器信息融合技术应用至今，有着非常多的应用方法，在所有方法当中较为成熟的方法包括了聚类分析法、证据理论法、DS 算法、最优理论法等。
下载1：OpenCV-Contrib扩展模块中文版教程
在「jddcjl学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「jddcjl学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「jddcjl学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”殷勤的小白菜 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~