麻省理工研究员探索将环境表面反射光转化为计算机视觉相机

　　人类可以从反射中收集到有关周围环境的有价值的、并且往往是隐藏的信息。通过将它们重新用作“相机”，我们可以完成以前不可想象的图像壮举，例如看穿墙壁。

　　但这通常具有挑战性，因为有多个因素会影响反射，包括物体的几何形状、材料的质量、3D环境和用户观点。通过内部解构物体的几何形状和反射到物体的高光亮度，人类可以获得周围遮挡部分的深度和语义线索。

　　麻省理工学院和莱斯大学的计算机视觉研究人员已经开发出一种利用反射产生真实环境图像的方法：ORCa。通过反射，它们将 物体转化为“相机”，就好像用户正通过陶瓷咖啡杯或金属镇纸等普通物品的“镜头”感知着世界。

　　研究人员使用的方法是将不确定几何形状的光泽物体转换成辐射场相机。其主要思想是利用物体表面作为数字传感器，并以二维方式记录周围环境的反射光。

　　研究人员证明，由于恢复了环境的辐射场，新的视图合成是可能的，亦即只对场景中光泽物体直接可见而对用户不可见的新视图渲染。另外，我们可以使用亮度场描绘场景中附近物体创建的遮挡物。研究人员开发的方法是从头到尾使用物体的众多照片来同时估计其几何形状，漫射辐射和其5D环境的辐射场。

　　这项研究旨在将物体与其反射分离开来，这样物体就可以像相机一样“看到”世界，并记录下周围的环境。一段时间以来，计算机视觉一直在与反射作斗争，因为它们是3D场景的扭曲的2D表示，其形状未知。

　　研究人员将物体表面建模为虚拟传感器，收集周围5D环境辐射场的2D投影，以创建物体所看到的世界的3D表示。除了通过物体的反射外，大部分环境的辐射场都被遮蔽。在视场之外，新视图合成可以通过使用环境辐射场来实现，这同时允许从物体到其周围环境的深度和辐射估计。

　　上图是ORCa的综述。研究人员共同估计了光泽物体的几何形状，并随环境辐射场扩散

　　通过三步方法进行评估。首先，将物体建模为神经隐式表面(a)。然后将反射建模为虚拟视点的探测环境(b)从表面特性分析估计。接下来，将环境建模为一个辐射场(c)。神经隐式表面和环境辐射场使用光度损失在物体的多视图图像上联合训练。

　　总结起来，团队做了以下工作:

　　他们演示了如何将隐式表面转换为虚拟传感器，仅使用虚拟锥体即可捕获环境的3D图像。

　　他们一起计算了物体的5D环境辐射场，并估计了它的漫射辐射。

　　他们演示了如何利用周围环境的光场来产生人眼不可见的新颖视点。

　　ORCa可以通过从不同角度对物体进行成像来记录多视图反射，然后用于估计场景中光泽物体与其他物体之间的深度，以及光泽物体本身的形状。ORCa的5D辐射场模型捕获了来自图像中每个点的光线的强度和方向的更多信息。

　　借助5D辐射场的数据，ORCa可以做出更精确的深度估计。由于场景显示为5D亮度场而不是2D图像，因此用户可以看到角落或其他障碍物遮挡的细节。

　　研究人员解释道，一旦ORCa收集了5D辐射场，用户就可以在所述区域的任何地方放置虚拟camera，并生成camera将生成的合成图像。用户同时可以改变物品的外观，比如从陶瓷变成金属，或者在场景中加入虚拟物品。

　　通过扩展辐射场的定义，研究人员可以开辟探索环境及其内部物体的新途径。利用投影虚拟视图和深度，这项研究可以为虚拟物品插入和3D感知开辟可能性，例如从camera视场外推断信息。