苹果专利探索为AR/VR设备提供静态注视点渲染光学系统

　　在AR/VR领域，注视点追踪是一项十分有意义的技术。例如，由于人眼视场的自然属性，设备可以利用注视点追踪来优化性能，只集中渲染注视点区域，并降低外围视场的视觉质量。这项技术名为注视点渲染。

　　对于一直在幕后研发AR/VR产品的苹果而言，他们早已在探索基于注视点追踪的应用。如果你有关注映维网的专利分享，这家公司实际上已有多份相关的发明。

　　日前，美国专利商标局又公布了两份与注视点渲染相关的苹果专利申请。具体来说，名为“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的发明主要介绍了一种静态注视点渲染光学系统。

　　注视点渲染一般可分为静态和动态。对于动态注视点渲染，显示器将动态地根据用户注视点的变化而改变不同区域的分辨率。对于静态注视点渲染，显示器则固定地为各个区域分配不同的分辨率。

　　另外，动态注视点渲染要求对眼睛进行动态追踪;而静态注视点渲染则不一定需要眼动追踪。

　　图1是一个示例性近眼显示器系统10。其中，支撑结构20可以是一副眼镜或头盔的形状，又或者是其他配置，并配置成帮助将近眼显示器14固定在用户头部或眼睛附近。近眼显示器14可包括一个或多个显示模块(例如显示模块14A)和一个或多个光学系统(例如光学系统14B)。显示模块14A可以安装在诸如支撑结构20的支撑结构中。每个显示模块14A可以发射光22(图像光)。

　　可使用控制电路16控制系统10的操作。控制电路16可以包括用于控制系统10的操作的存储和处理电路。软件代码(指令)可存储在电路16中的存储器，并由电路16中的处理电路运行，以实现系统10的操作，例如数据收集操作、涉及使用控制信号调整组件的操作、产生要向用户显示的图像内容的图像呈现操作等等等。

　　显示模块14A可包括反射显示器，发射显示器，或其他类型的显示器。显示模块14A中的光源可以包括ULED、OLED、LED、激光器、它们的组合或任何其他发光组件。

　　光学系统14B可形成透镜。可以存在与用户左眼和右眼相关联的两个光学系统14B，例如用于形成左透镜和右透镜。单个显示器14可产生用于双眼的图像，或者一对显示器14可用于显示图像。在具有多个显示器的配置中，可以选择透镜的焦距和位置，以便用户看不到显示器之间存在的任何间隙。例如，左眼显示器和右眼显示器的图像可以无缝重叠或合并。

　　图2是上述显示器14的俯视图。如图2所示，近眼显示器14可以包括一个或多个显示模块，例如显示模块14A和光学系统14B。光学系统14B可以包括光学元件，例如一个或多个波导26。

　　光学系统14B可包括准直光学器件，如准直透镜34。透镜34可包括一个或多个透镜元件，其有助于将图像光22引导至波导26。

　　如图2所示，显示模块14A可以生成与要显示到视窗24的图像内容相关联的光22。可使用诸如准直透镜34的透镜准直光22。光学系统14B可用于将从显示模块14A输出的光22呈现给视窗24。

　　通常，增加显示模块14A的物理尺寸将增加使用光22显示的图像的最大分辨率。但在紧凑型系统(如图1的系统10)中，这通常不可取。所以，为了能够提供高分辨率图像，以及节省系统10中的处理和光学资源，但同时不进一步增加显示模块14A的尺寸，苹果认为可以由透镜34可执行静态注视点渲染操作。

　　在一个实施例中，透镜34可以将从显示模块14A接收的图像光转换为静态注视点图像，然后将其传送到视窗。例如，通过波导26传送到视窗24的光22可以包括静态注视点图像。

　　静态注视点图像可包括高分辨率区域和低分辨率区域。透镜34将非均匀放大率作为角度函数在静态注视点图像中创建高分辨率和低分辨率区域。

　　图4示出了可由透镜34基于图像光22产生的静态注视点图像。光22可包括图像，图像可以包括像素。透镜34可以放大光22，从而放大光22中的图像。其中，放大率(折光率)随透镜34视场内角度的函数而变化。

　　如图4所示，静态注视点图像44可以包括区域48中的低分辨率像素50和区域46中的高分辨率像素50。区域46例如可以是位于图像中心并因而位于透镜34视场中心的中心区域。区域48则可以是位于视场外围的外围区域。

　　静态注视点图像44中的每个像素50可对应于来自透镜34在光22中接收的图像的各个像素。然而，透镜34可在视场内(例如在对应于区域48的像素位置)以相对较高的角度显示较高的放大率，同时在视场中心外围(例如在区域46内的像素位置)显示较低的放大率。

　　这可以致使区域48中的像素50呈现相对较大的尺寸(间距)，而区域46中的像素呈现相对较小的尺寸。所以，静态注视点图像44将配置为在区域46内展示相对高的分辨率(相对较高的像素密度)和在区域48内展示相对低的分辨率(相对低的像素密度)。

　　因为静态注视点图像44在中心区域46内的分辨率高于外围区域48内的分辨率，用户可以将静态注视点图像44感知为高分辨率图像，这是因为因为用户的眼睛对中心区域46内的高分辨率敏感，并且对外围区域48内的低分辨率较不敏感。

　　通过这种方式，在视窗24显示的图像可以有效地显示为高分辨率图像，从而无需增加显示模块14A的尺寸或系统10的处理和光学资源。例如，注视点可由透镜34静态执行，不会对系统10中的其他组件施加任何增加的负担。另外，图4的示例仅为说明性，区域46和48可以具有任何期望的形状和/或尺寸。

　　图5的曲线52将像素密度绘制为透镜34视场内静态注视点图像44角度的函数。图5的纵轴以每度像素(PPD)绘制像素密度。

　　如曲线52所示，静态注视点图像44在视场中心(例如在图像中心和透镜34的光轴处)可能具有相对较高(例如峰值)的像素密度D2。这可对应于图4的区域46内的静态注视点图像44的相对高分辨率。静态注视点图像44可以在离开视场中心相对较高的角度(例如离开光轴并且靠近视场外围)处具有减小的像素密度。

　　图6则是透镜34的放大率如何在视场内随角度变化的曲线图，以产生图4的静态注视点图像44和图5的曲线52。如图6所示，曲线54将透镜34的放大率绘制为角度的函数。如曲线54所示，透镜34可在视场中心显示相对低的放大率M1。如果需要，放大倍数M1可以为零(例如无放大倍数)。这个低放大率可允许图4的区域46内的像素50具有相对较高的像素密度，从而具有相对较高的分辨率。

　　透镜34可在远离视场中心(例如，离开光轴且靠近视场外围)的相对高角度处显示相对高(的放大率M2。这个高放大率可以增加图4的区域48内的每个像素50的尺寸，从而使得区域48内的像素50具有相对低的像素密度，从而具有相对低的分辨率。

　　名为“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的苹果专利申请均在2021年9月提交，并在日前由美国专利商标局公布。