Meta用眼球追踪动态校正VR畸变，误差和延迟细节公布

　　今年6月，Meta Reality Labs公布了一种光学畸变模拟装置，其特点是可测试不同的屏幕和透镜配置，加速VR光学方案迭代。

　　这种装置具体有什么用呢?我们知道，目前市面上的一些消费级VR头显采用静态畸变校正方案，来优化透镜造成的画面失真，原理主要基于对渲染图像的预先扭曲。但这只能解决静态畸变，动态畸变(移动的眼球通过透镜看到的画面畸变)还需要配合眼球追踪技术，来实时校正。然而，现有的眼球追踪技术在准确性、延迟等方面还有待优化，因此即使采用眼球追踪和动态畸变校正算法(DDC)，效果也不一定理想。甚至可能会因为眼球追踪系统、校正模型本身的误差而受到限制，部分图像不能得到校正。

　　因此，为了快速测试不同眼球追踪效率对于VR视觉效果的影响，Meta研发了这一套数字模拟装置，好处是省去了制造光学原型硬件的成本和时间，可以直接在测试中收集使用反馈。解决哪些痛点

　　于VR显示技术来讲，光学透镜和屏幕是紧密关联的，因此更换或修改屏幕参数/类型，意味着透镜也需要改变。为了搭配不同类型的显示屏，Meta在VR头显中尝试了各种不同的透镜方案。比如Quest采用菲涅尔透镜、Half Dome 2原型则采用Pancake透镜、Holocake 2原型采用全息+Pancake透镜。

　　通常，由于光的折射特性，显示屏画面通过透镜会产生一定畸变。目前市面上的一些消费级VR头显采用静态畸变校正方案，即预先将图像扭曲，来补偿光线通过透镜产生的扭曲。但这种校正方式依赖于固定的出瞳位置，比如当人眼和VR头显的相对位置有所变化时，预校正可能会失效(比如出现pupil swim问题)。因此，VR需要一种根据人眼运动变化而适时调整的图像校正算法。而利用软件来模拟整个VR头显光学配置，便可以更好的训练光学畸变校正算法。 方案细节

　　细节方面，其硬件构成包括：120Hz OLED大屏电视(模拟畸变图像)、与电视同步的主动式快门3D眼镜(营造3D效果)，还有一个固定头部的旋转支架。

　　当使用者将下巴放在支架上时，支架会根据他的头部旋转，来实时更新头部和眼球模型的位置。同时，算法会根据头部和眼球模型来计算前庭眼球反射运动(VOR)，并合成对应的图像失真。而为了模拟头显适配度对pupil swim的影响，该方案还可以模拟不同显示屏角度对显示效果的影响，利用倾斜的屏幕来贴合人脸弧度。

　　Meta指出，这个VR显示系统模拟器可准确模拟任何光学元件组合的视觉失真效果，并通过3D眼镜搭配快速响应屏幕，来实现3D畸变预览。利用数字算法来模拟图像畸变，省去了制造光学原型的过程，可以更好的加速VR显示技术迭代。 用户测试

　　此外，Reality Labs还使用该模拟器来进行用户调研，让参与者测试并对比不同的光学设计和场景内容，来了解人眼对于光学失真的容忍度，寻找一种人眼可接受的畸变范围。结果发现即使移动头部和眼球造成一定程度的pupil swim，也不会严重影响VR视觉观感。

　　眼球追踪容忍度对比图

　　科研人员还利用LFP(光场入口)光场技术构建了一个基础的双目畸变度量标准，可根据用户调研的结果来制定光学设计的基础。光场入口作为一种通用的光学方案表示，主要是用于模拟光学器件内，光在任意角度的传输过程(将入瞳到显示器之间的光线进行映射)。同时，也用来观察人眼的前庭眼反射(VOR)运动，因为VOR运动代表了pupil swim造成的不良影响。而设备采用下巴托和咬合杆来固定头部，并与旋转编码器进行同步，以此来头部和眼球运动在试验中保持一致。

　　调研结果显示，当眼动追踪错误导致失真低于可检测阈值时，受试者会偶然(50%)识别出失真间隔，并且当眼动追踪错误导致容易检测到的失真时，受试者会以100%的几率识别出失真间隔。可接受的眼动追踪性能由眼动追踪误差值定义，当失真可以在75%的时间内准确识别时。

　　Pancake透镜采用二次反射面以最小化瞳孔游动，而折射镜片仅包含两个光学表面，通常表现出较大的瞳孔游动。因此，眼动追踪误差预计会对屈光镜片的DDC产生更大的负面影响，但影响程度未知。与折射镜片(绿色和紫色轮廓)相比，Pancake设计(黄色和蓝色轮廓)的眼动追踪要求显著放宽。 眼球追踪延迟的影响

　　另外，眼球追踪误差会对折射型透镜和动态畸变校正算法产生负面影响。动态畸变校正算法应用于折射型透镜时，在现有的眼球追踪误差基础上，会导致更多误差。

　　实验显示，Pancake透镜对眼球追踪误差的要求比折射型透镜更低，因为Pancake的结构特点可减少光学模组设计的pupil swim现象。此外还发现，校正文本显示时对眼球追踪效果要求高，高于3D内容显示。经过数千次试验，除了眼球追踪误差外，还需要弥补8毫秒延迟。当眼动追踪误差最小时，可以容忍较大的延迟。

　　不过，目前这项用户测试还存在局限，比如参与者少，测试的光学架构和场景内容有限。Meta认为，未来通过后续测试可以进一步了解图像畸变的机制，从而优化VR光学元件和畸变校正算法。也会计划在3D眼镜上加入眼球追踪设备，用于测试和优化眼球追踪技术。

　　参考：Meta