科技魔方

微软LaMAR:专为优化AR定位和3D映射而生

AR/VR

2023年01月29日

  自2019年发布以来,HoloLens 2已经应用于多种企业级场景,这些应用场景需要的不只是AR显示技术,AR定位也是一项关键且实用的功能。好的3D定位可将AR固定在正确的位置,这样就可以共享与空间相关的可视化信息。

  微软表示:如果任何人用AR头显都可以在物理空间中放置虚拟内容,这些虚拟内容可长期保存,还可以和多人分享,那么AR才可能发挥出全部潜力。为了将AR更好的固定在空间中,将需要基于物理世界构建3D数字地图,这个地图可以定位保存在特定位置的AR,并作为供LBS AR参考的坐标。而构建这样的3D地图,将需要使用空间映射和视觉定位技术。

  通常,训练视觉定位算法会使用2D图像,但识别平面图并不能模拟实际的AR定位过程。单个2D图像主要集中在空间中的特定位置。相比之下,AR映射需要采集密集的环境信息,并非只扫描特定的位置。此外,AR头显在定位空间时,需要通过复杂的数据来实现本地环境映射、生成基于空间的数据序列。这些数据包括:惯性数据、无线电信号、深度测量数据、相机姿态、传感器图像等等。这些数据只能在AR头显开启时收集,其余时间无法在本地实时更新。

  为了进一步优化AR空间定位算法、加速培训过程,微软推出了LaMAR数据集,作为AR头显空间定位的基准。该数据集可用于训练视觉重定位算法,以提升持续性AR定位的效果。这个数据集包含了100个小时收集的定位数据,覆盖40千米距离、4.5万平方米空间。准确率达厘米级。除了AR头显外,LaMAR数据集也兼容移动设备。LaMAR的另一特点是多元化,记录了天气、环境光、运动等变量。

  据青亭网了解,LaMAR由苏黎世微软混合显示和AI实验室、瑞士联邦理工学院(ETH苏黎世)联合研发,是这两家机构研发两年的成果。推出LaMAR的目的是,通过提供基于AR设备手机的多传感器数据,帮助科研人员快速解决AR环境映射和视觉定位的细节,训练出更高效的视觉算法。

  细节方面,LaMAR包含多个数据序列,这些序列以不同颜色的路径进行表示,而这些路径实际上是由点云数据组成的。硬件方面,LaMAR使用了HoloLens 2头显和iPhone/iPad,数据来自于LiDAR、IMU、深度传感器、红外传感器。此外,还使用了NavVis M6、VLX等专业测绘系统,对场景进行3D空间建模。

Figure-9

  除了数据外,LaMAR也展示了一种AR定位管道,这种管道可自动计算出AR设备的摄像头的实际位置,允许AR设备在机场、工厂等实际场景中更好的映射空间。LaMAR还展示了如何用WiFi或蓝牙信号传输来简化图像检索,以及通过传感器数据的时间来获取空间上下文信息,提升相机姿态预测的准确性。此外,还演示了用户启动AR应用、利用传感数据来定位摄像头姿态、并对比预构建的3D地图,这样一个实际应用的过程。

Figure-10

  微软指出:尽管3D映射、AR定位技术在近年来取得了重大进展,但科研人员使用的数据基准并不实际,不能代表现实世界的AR场景。另外,市面上的3D场景数据通常规模较小,而且缺乏多样性,通常仅由固定的摄像头捕捉,缺乏惯性、无线电、深度数据等信息。其精准度大多也难以满足AR的需求。相比之下,LaMAR结合无线电信号,可将准确3D定位的时间从10秒降低至1.4秒(80%准确性)到3.58秒(70%准确性)。参考:Microsoft

+1

来源:青亭网

推荐文章