Facebook用『SLAM+实时光流』实现AR真实遮挡效果

　　(映维网 2019年11月29日)当前的AR系统仅追踪稀疏的几何特征，不计算所有像素的深度。所以，大多数AR效果都是纯粹的叠加层，无法实现真实的对象遮挡效果。针对这种情况，Facebook提出了一种新颖算法，其可以将稀疏深度实时传播至每个像素。生成的深度图在时间空间方面十分平滑，但在深度边缘显示出明显的不连续性。这使得AR效果可以与真实场景完全交互并被其遮挡。

　　该研究由Facebook计算机摄影学团队研究科学家约翰内斯·科普夫(Johannes Kopf) 和华盛顿大学亚历山大·霍林斯基(Aleksander Holynski)联合完成，相关论文《Fast Depth Densification for Occlusion-aware Augmented Reality(用于遮挡感知型增强现实的快速深度密化)》已经公开发表。

　　相关论文：Fast Depth Densification for Occlusion-aware Augmented Reality

　　Facebook的算法使用视频和稀疏SLAM重建作为输入。首先，它会从光流场的梯度变化估计软深度边缘。由于在遮挡附近的光流不可靠，所以研究人员使用了一种全新的可靠性测量仿佛来计算正向和反向流场，并融合所得到的深度边缘。然后，算法会细化深度边缘，并将其与图像边缘对齐，从而定位深度边缘。最后，他们优化了传播深度，但鼓励在恢复的深度边缘位置出现不连续性。团队提供了一系列的真实示例结果，并演示了几种可识别遮挡的AR视频效果。为了定量评估算法，Facebook表征了使深度图适用于AR应用程序的属性，并提出了新颖的评估指标来说明效果。这家公司指出，与一组竞争性基准算法相比，他们的算法具有优势。

　　约翰内斯·科普夫(Johannes Kopf)说：“我们用SLAM来非常精确地追踪数个点的深度，但我们同时采用一种实时光流方法来预测余下像素的运动。但由于这是一种实时方法，其质量不足以直接进行深度预测，不过我们可以用它来确定场景中的主要深度边缘位置。然后，我们回到这些非常精确的SLAM点，并将它们的深度传播至所有余下的像素，但在这些恢复的深度边缘位置停止传播。这可以确保所有的对象边缘都非常清晰，这非常快速，并且产生了非常适合AR的深度映射。因为除了这些都超级清晰的不连续处之外，一切都非常平滑。它们非常适合用来将虚拟对象插入至看似确实置身其间的场景，这是因为它们可以位于真实对象的前面或后面。我非常期待看到这项技术，以及其他人正在研发的技术，将如何帮助模糊真实和虚拟的界限，并令AR更为逼真 更加引人入胜。”