增强现实AR是把把虚拟世界叠加到现实世界，混合现实MR（Mixed Reality）则是把真实的东西叠加到虚拟世界。微软在今后的5到10年，将全力做MR。微软在MR领域铺了50

增强现实AR是把把虚拟世界叠加到现实世界，混合现实MR（Mixed Reality）则是把真实的东西叠加到虚拟世界。微软在今后的5到10年，将全力做MR。微软在MR领域铺了5000多研发人员，苹果有3000多人。

AR和MR听起来好像差不多，都是把现实和虚拟混到一起，其实差别很大。因为把虚拟叠加到现实里比较容易，现在连游戏都有了，就是在真实的画面上显示虚拟的东西就行。

MR要把现实叠加到虚拟里，就比较难。因为首先得把现实的东西虚拟化，也就是先得用摄像头捕捉画面，但摄像头捕捉的画面都是二维的，画面是扁平的，没有立体感，所以还得把二维的图像通过计算机形成三维的虚拟图像，叫3D建模。只有把现实物体虚拟化之后，才能把它很好地融合进虚拟3D世界里面。

2020CES上， Futurus展出了混合现实全景显示器，这款产品获得了 CES 2020 创新奖。据Futurus介绍，它能将道路信息、娱乐信息及人工智能助理形象等投射到透明挡风玻璃上，还能整合包括激光雷达、毫米波雷达、摄像头在内的诸多传感器，透明显示ADAS功能。

本文摘编自德国汽车软件公司Apostera技术负责人Sergii Bykov 在2019年发表的演讲。Apostera总部位于德国慕尼黑，在东欧设有研发中心，亚洲有办事处，主要产品是以ADAS为基础的MR方案。Apostera为ARHUD、导航供应商和原始设备制造商提供混合现实（MR）解决方案，这一方案基于增强现实、机器学习、计算机视觉和传感器融合技术，为传统导航系统增加智能分析能力。

Apostera公司的软件将现实世界与虚拟世界结合起来，基于前视相机和全景显示的帮助与数据智能融合，提供混合现实导航，保障行车路径安全和事故提醒。Apostera已经可以与TomTom导航工具集成，在驾驶时应用混合现实，以在HUD中突出显示最佳路线的车道。

ADAS混合现实应用中，传感器融合至关重要。Apostera开发了融合滤波器参数调整问题的解决方案，以适应具有不同底盘和转向轮模型/参数的不同车型。方案有以下功能特点：

Apostera正在进行的工作包括更多种类（物体）检测及可行驶区域检测。道路物体检测在保证当前检测质量的基础上，增加了交通信号识别（探测器+分类器） 和交通信号灯识别。

可行驶区域检测运用语义分割，模型基于Squeeze-net 和U-net, 目前运行参数 （Jetson TX2）为 输入640*320（lowres）,处理速度75ms/f

目标检测常用的深度神经网络算法（DNN）的对比如下图所示，检测框架包括SSD、Faster RCNN、R-FCN，特征提取器采用了MobileNet，Inception V3, Resnet 101等进行对比。

SSD（Single shot multibox detector）将边界框的输出空间离散化为不同长宽比的一组默认框和并缩放每个特征映射的位置。在预测时，网络会在每个默认框中为每个目标类别的出现生成分数，并对框进行调整以更好地匹配目标形状。

相对于需要目标提出的方法，SSD非常简单，因为它完全消除了提出生成和随后的像素或特征重新采样阶段，并将所有计算封装到单个网络中。这使得SSD易于训练和直接集成到需要检测组件的系统中。

MobileNet作为一个特征提取器，使用深度可分离的卷积来构建轻量级深度神经网络。通过两个全局超参数，可以在延迟和准确性之间高效地进行折衷。这些超参数允许模型构建者根据问题的约束为其应用程序选择合适的大小模型。在资源和精度折衷方面进行了广泛的实验，并且与ImageNet分类上的其他流行模型相比，显示了强大的性能。MobileNets有广泛的应用和案例，包括对象检测，细粒度分类，人脸属性和大规模地理定位等方面证明有效。

目标体积：对于体积大的目标，SSD在只有一个简单提取器的情况下表现更好，在有更好的提取器情况下甚至能够匹配其他探测器的精度。但对于体积小的目标而言SSD和其他方法相比不具备优势。

输入图像的分辨率：更高的分辨率可极大地改善体积较小的目标检测，对于体积较大的目标也有帮助。分辨率减少2倍，精度将降低；减少3倍，推理时间也将减少。

1）将输入水平分辨率减少至640p以下时会导致狭窄对象（比如行人）的精度大幅降低。针对此采取的推理优化方案为仅通过高度进一步减少ROI , 将体积较小的对象从训练中移除：大多数道路对象占据中心框架的一半；使用水平方向动态帧；SSD可处理被截断/遮挡的近距离物体。

2）MobileNet 提供2个超参数，宽度乘数和分辨率乘数。宽度乘数α的作用是在每层均匀地减薄网络。通过减少宽度乘数α，减薄网络并移除多余的卷积。目前道路对象数据库选择的宽度乘数为0.75。

2）运行时间和更新从CUDA8.0+cuDNN6 到CUDA9.0 +cuDNN7, 通过低开发成本实现性能升级。

HUD与LCD在硬件局限性（HUD在市场上少见，FOV和体积不同），时间控制（零延迟，司机眼睛位置），及司机感知（虚拟图像距离，信息平衡）方面都有所不同。

MR混合现实系统需纠正HUD图像中微小的失真，通过拍摄一张由HUD投影的测试图案的图像，并由摄像头记录定制变形地图。

8）系统架构支持分布式硬件设置，如有需要可与现有的车载组件 (环境模型，物体检测，导航，定位系统等）集成；

汽车测试网-创办于2008年，报道汽车测试技术与产品、趋势、动态等 联系邮箱 marketing#auto-testing.net (把#改成@)