科技魔方

Karl Guttag:Quest Pro透视效果差 并不适合商用

AR/VR

2023年01月13日

  AR/VR光学专家Karl Guttag曾指出,基于VST透视的AR虽然绕开了光学透视AR的一些局限,但VST透视依然存在运动延迟、余光视觉透视效果、分辨率、IPD不匹配等多种问题。的确,VST透视AR的结构、原理比光学透视AR更简单,但它同样需要解决许多问题(搭配低延迟光场相机、光场显示屏来实现高动态变焦),才能实现理想的视觉体验,因此Guttag认为这将需要很长一段时间,可能超过50年。

  那么对于Meta的VST透视混合现实头显Quest Pro,Guttag又怎么看呢?

  近期,他在博客中发布了Quest Pro报告,并表示:Quest Pro的VST透视效果糟糕,令人难以置信。Quest Pro官方宣称用于企业、办公场景,但它的视觉体验并不能满足这些场景的需求。接下来我们就详细看看Guttag的观点。

  首先,Guttag强调Quest Pro依然是一款为VR游戏而生的产品,认为它没有达到企业级水平。他表示:ML1、ML2也是这样,硬件规格和体验不适合企业级应用,但定位却指向B端,这更像是营销策略转变。实际上,对于超过1000美元价位的产品,营销人员很难将它们当游戏设备来卖,所以不得不定位企业级产品。VST透视不理想

  在Connect 2022活动上,Meta宣布Quest Pro是首款全彩色混合现实设备,它将实现物理和虚拟世界之间的无缝(Seamless)融合。对此Guttag指出,按照字典定义Seamless指的是没有尴尬的过渡、终端或差异等迹象,而Quest Pro的混合现实体验似乎并未达到“无缝”的定义。

  如果说,基于手机的移动端AR算是某种VST混合现实,那么至少手机屏幕分辨率更高,体验感还是比清晰度、流畅度略低的VST透视VR要好得多。

  实际上,已经有很多人在Quest Pro测评中提到其VST透视质量不佳,Guttag测评的不同之处在于,他从计算图形、显示、人类视觉界面等多方面出发,将VST透视的问题进行量化。

  注意:​照片和视频为摄像头实拍,采用佳能R5微单,镜头16mm、FOV 106°、80ppi、以4K分辨率拍摄,解析能力接近理想的人眼视觉。可以明显发现,Quest Pro的纱窗效应肉眼可见。

  Quest Pro支持动态调光功能,这在AR/VR中是​比较新的技术,此前的LCD屏是将LED整行的以短周期进行滚动照明。Guttag发现,Quest Pro的屏幕存在闪烁,在运行《Horizon Workrooms》时刷新率可能降到70Hz,而人眼与光视觉对闪烁又很敏感,很多低频闪烁对人眼是有害的。Guttag指出,大多数VR应用刷新率为90Hz,对于Quest Pro 106°的FOV来讲还是有点低。此外,在一些光线环境中,还发现Quest Pro透视图像和房间灯光因工作频率导致闪烁的情况。 Quest Pro屏幕和透镜畸变

  Quest Pro采用了两块倾斜安装的LCD屏幕(向外旋转21°左右),以及Pancake透镜和数字畸变校正算法。屏幕倾斜安装可能有两种原因,一是为了提升垂直FOV,另外则是因为Pancake透镜更薄,显示屏更靠近人脸,倾斜安装后可为用户鼻子留出位置。

  Quest Pro的另一个问题是,LCD屏幕结合Pancake透镜后图像发生明显的枕形畸变,因此需要预先对图像进行桶形扭曲(四边向外弯曲),这意味着屏幕外围像素经历了光学拉伸,因此分辨率较低。

  但由于VST透视摄像头没有旋转,因此其捕捉的每帧视频都要通过数字校正算法来预旋转。Guttag猜测,旋转透视图像也会影响分辨率,不过考虑到这些旋转和畸变同时运行,因此图像质量变差可能是多因素造成的。

  Guttag对比了Quest Pro摄像头捕捉的透视图像,以及相机实拍的头显内透视画面和摄像头实拍的场景图,其中头显摄像头捕捉的图像为Quest Developer HUB工具录屏,由于软件错误等因素限制,只能使用该软件录制30fps,视频已经过旋转和缩放,但未应用桶形失真校正。而从Quest Pro捕捉的图像和相机直拍头显内图像中,都可以看到图像边缘因光学畸变被拉伸了2倍或更多(又通过预补偿过程而被压缩)。 AR透视不清晰、颜色不理想

  为了测试Quest Pro透视模式的清晰度,了解它能否接近人眼看世界的视觉效果,Guttag透过Quest Pro去拍摄视力表。结果发现,连第一行都拍不清楚。而在同样的焦距,佳能相机的拍摄效果要清晰得多。Guttag表示:在美国,如果看不清视力表第一行,那么你属于法定盲人,而Quest Pro拍摄视力表的清晰度,大概介于法定盲人和视障者之间。

  Guttag还测试了Quest Pro摄像头的色彩表现,如图可见佳能相机拍摄的视力表背景有橘黄色木柜,这个颜色与肉眼看起来差不多,但通过Quest Pro透视后,木柜颜色的饱和度偏低。Guttag表示:Quest Pro透视图像的色彩部分有很多问题,时而过饱和,时而低饱和,色调还存在颜色偏移现象。

  另外,Guttag还用Quest Pro摄像头、佳能R5分别拍摄了一张复杂的彩色迪士尼地图,这张地图印刷了多层次的细节。为了更公平,让微单拍摄的像素更接近Quest Pro(Quest Pro为6PPD,而佳能R5为70PPD),他将相机拍摄的图像缩放,确保细节水平(LOD)与Quest Pro大致匹配,然后进行放大,确保图像尺寸与Quest Pro拍摄的匹配。

  结果显示,Quest Pro透视的色彩表现依然存在差距,仔细看会发现绿色、蓝色显得比较暗淡,俄日企鹅颜色之间的分界线模糊。因此Guttag猜测,Quest Pro最佳中心视觉约为人类良好视力的1/10。 低动态范围、高失真

  Quest Pro的视频透视效果的动态范围很低,其搭载的定位摄像头对红外光敏感,因此环境中任何明亮或发光的物体经过透视会变成白色。而在环境光线不佳的场景,透视图像的噪点也很大。

  Guttag表示:Quest Pro捕捉近距离物体的视觉效果更糟,而较远的物体则会产生奇怪的扭曲。

  在另一个测试中,Guttag利用Quest Pro去拍摄更复杂的房间场景,房间中有一个计时的笔记本电脑,还有一个摆动的视力表,背景则是木柜、书柜、白墙。Guttag表示:尽管视频中电脑屏幕看起来足够亮,但实际上我将电脑亮度设置为最低,才能让Quest Pro看清屏幕上的计时器。

  另外还发现,摆动的视力表在经过背景的木柜时,有明显的扭曲和失真,并且还有混色效果,以及图像运动延迟。

  整体来看,Quest Pro VST透视录屏的颜色表现足够准确,但经过透镜实拍的效果还是存在颜色过饱和。Guttag表示:相比于Quest Pro VR模式出色的颜色效果,VST透视的色彩效果很差,也许未来可以得到修复。 刷新率不同步

  Guttag还指出,Quest Pro显示屏、透视摄像头(通过Meta Developer应用捕捉视频)的刷新率均为90Hz左右,但实际上略有不同,因此捕捉到的透视视频每3帧会出现至少一处撕裂或帧滚动。

  不过,上述现象仅在Quest Pro录屏中出现,通过透镜实拍的视频中这种现象不明显。这说明,Quest Pro透视模式的录屏与进入显示屏的视频源不同步。另一方面,透镜实拍视频以更高的刷新率拍摄,而录屏中则存在重复帧。

  尽管Quest Pro录屏只有30fps,但视觉效果还是优于直接在Quest Pro看到的透视效果。Guttag猜测,Quest Pro系统会优先处理运动到光子延迟(Motion to Photon Latency)而不是图像质量,而录屏则相反。

  据Guttag测量,Quest Pro将IR定位数据和RGB VST结合来生成透视图像,运动到光子延迟约在40到50毫秒之间。

  值得注意的是,Quest Pro的透视模式更侧重于3D空间捕捉,而非图像质量,这是为了更好的将MR内容固定在空间中。Guttag表示:Meta工程师一定知道,将单个彩色相机与两个低分辨率定位相机结合使用,会严重损害图像质量。那为什么会这么设计Quest Pro呢?也许,是为了试图避免比这更糟糕的问题,即使牺牲吐下那个质量,也要确保虚拟图像与物理空间的位置匹配。但这意味着Quest Pro的图像失真程度糟糕,尤其是透视近距离物体的视觉效果很差。

  Guttag认为,这实际上是得不偿失的选择,未来即使加入额外的彩色透视相机,也还是需要解决算力、功耗的问题,很难想象要多少算力才能实现理想的透视质量。 VST透视并不安全

  此前Guttag就曾吐槽ML2透光度不好,用户余光视觉被遮挡,因此有安全风险。对于Quest Pro他也有同样的看法,尽管该头显可通过视频透视看到周围环境,但还是会遮挡大部分视线。而且,VST透视分辨率低、有高度失真,尤其是动态范围差,现实场景中明亮的东西无法清晰显示。

2022-06-AWE-Slides-AR-Passthrough-Pro-and-Cons

  因此,在使用Quest Pro透视模式时,还是要划定边界,而且Meta建议用户在房间内使用,尽量清空周围的障碍物。也就是说,你不能把它像眼镜那样戴出门。

  Guttag指出,如果长时间使用Quest Pro的透视模式,还可能发现VAC、闪烁等问题。 总结:还不够成熟

  作为Meta首款支持彩色VST透视的VR头显,Quest Pro不只是为了让玩家在VR中也能查看周围环境,它还想要推动某种MR内容生态。但从实际效果来看,Guttag认为这项技术还不够成熟,还不能让VR实现AR/MR效果。它有点像是Reality Lab还在开发的实验性技术,除了展示创新技术外,也可能是希望通过Quest平台在大规模用户群中进行验证。

  而对于Meta来讲,彩色VST和混合现实可能是Quest Pro的营销手段,目的是突出它与传统VR的不同。也有人猜测,Meta是想赶在苹果之前率先定义MR头显。

  尽管如此,Quest Pro搭载的定位摄像头分辨率很低,仅1280x1024,尽管结合了1600万彩色相机,透视效果比Quest 2有所改进,但整体透视清晰度还是有限。

  Guttag认为现阶段VST透视技术仅适合查看现实空间中的大型物体,或是为VR设定边界,与光学透视AR还差得远。从视觉角度来看,Quest Pro犯了很多错,但相比之下Lynx R1的透视效果似乎还好不少。参考:KG

+1

来源:青亭网

推荐文章