科技魔方

苹果新申请专利提出手机、电脑、AR等多终端虚拟空间协作混合办公解决方案

AR/VR

2023年08月09日

  正如微软Teams所表明的一样,以Avatar形式出席的混合型远程视频会议正在兴起。实际上,苹果同样有探索类似的应用。在名为“Communication system and method for providing a virtual meeting space”的专利申请中,苹果就介绍了一种允许用户通过Avatar形式出席视频会议的方法。

  苹果指出,通过提供一种虚拟会议空间,可有利地适应各自用户的个人偏好、会议目的或文化背景。

  图1示出包含至少两个通信设备的通信系统10a的示意图。所述示例显示了四种不同的通信设备,包括个人PC12、智能手机14、笔记本16和头戴式设备18。

  设备12、14、16、18通过网络20进行通信耦合,并且每一个都包括各自的显示器12a、14a、16a、18a。另外,通信设备12、14、16、18中的每个包括传感组件,并用于捕获自用户的生物特征。

  例如,计算机12、智能手机14和笔记本16各包括用于捕获各自用户图像的摄像头12b、14b、16b,并用以进行眼动追踪、头部追踪、面部表情追踪或运动追踪。

  头戴式设备18同样包括用于捕获用户各自眼睛图像的摄像头18b。在用户眼睛图像的基础上,可以进一步捕获眼睛颜色、注视点方向、眨眼、眼睛位置、眼睛轮廓、肤色等生物特征。

  上述四种设备可以进一步提供输入设备,从而允许用户向通信系统10提供额外的个人用户数据,如年龄、性别、国籍、职业等。通信系统10进一步配置为在各自的显示设备12a、14a、16a、18a显示虚拟会议空间。

  由于捕获的各自用户的生物特征和个人用户数据,虚拟会议空间可有利地适应各自用户的个人偏好、会议目的或文化背景。

  图2示出了提供虚拟会议室22的通信系统10b。通信系统10b同样由不同的通信设备组成,每个通信设备分别与用户U1、U2、U3相关联。

  在这种情况下,包含用于捕获生物特征的第一显示设备24a和第一捕获设备24b的第一通信设备24与第一用户U1相关联,包含用于捕获生物特征的第二显示设备26a和第二捕获设备26b的第二通信设备26与第二用户U2相关联。包含用于捕获生物特征的第三显示设备28a和第三捕获设备28b的第三通信设备28与第三用户U3相关联。

  同样,设备24、26、28通过网络20通信耦合。用户U1、U2、U3现在可以虚拟地在虚拟会议室22中会面,会议室22分别显示在各自的显示设备24a、26a、28a。

  在这个虚拟会议室中,每个用户U1、U2、U3由一个Avatar U1 ‘、U2 ‘、U3 ‘表示,包括将代表第一用户U1和第二用户U2的Avatar U1 ‘、U2 ‘呈现给第三用户U3;将代表第二用户U2和第三用户U3的Avatar U2 ‘、U3 ‘呈现给第一用户U1;将代表第二用户U3和第三用户U1的Avatar U3 ‘、U1 ‘呈现给第二用户U2。

  这个虚拟会议室22可以是商务会议的会议室、教室、演讲厅、会议或体育场馆等的演示空间。

  有利的是,用户U1, U2, U3各自的生物特征可以通过各自的捕获设备24b, 26b, 28b捕获,并允许角色U1 ‘, U2 ‘, U3 ‘相应地显示特定的生物特征动画。

  例如,第一用户U1对应的第一Avatar U1’可以在其各自的显示设备显示给其他用户U2、U3,包括显示与第一用户U1的生物特征完全或部分对应的特征。

  所以,角色U1 ‘, U2 ‘, U3 ‘可以适应各自用户U1, U2, U3的外观,通过他们的头发颜色,眼睛颜色,衣服颜色等来表明用户身份。不仅只是这样,相应的Avatar可以模拟眨眼,眼球运动,身体部位的运动等。

  同时,个人用户数据等其他信息可用于调整虚拟会议室22和其中的对象30的外观。由于生物特征和个人数据的使用,可以提供一个适合任何目的和参与者的虚拟会议。

  当然,有时根据会议的类型,有必要排除特定与目标或目的无关的个人信息。因此,最好可以根据指定的会议类型,对每个用户U1、U2、U3的个人数据和生物特征的变异程度进行设置。其中,这可以由每个用户U1、U2、U3单独设置,或者可以全局设置。

  图3示出了根另一通信系统10c的示意图。通信系统10c包括至少两个通信设备32、34,它们通过网络20进行通信耦合。

  通信设备32包括显示设备32a、传感装置32b、32e,其中一个配置为摄像头32b、用户输入装置,如键盘32c、计算机鼠标32f和用于存储数据的存储设备32d。

  摄像头32b配置为捕捉用户的一个或多个生物特征B1、B2、B3,而这可以通过眼动追踪和头部追踪等多种生物特征测量来实现。

  如图3用32e表示。生物特征B1、B2、B3可以捕获一次并保存到存储设备32d,如头发颜色、眼睛颜色、肤色等。其他生物特征B1、B2、B3,特别是与用户的运动有关的特征则可以在会议期间进行追踪,并通过Avatar实时表示和更新。

  关于用户的个人用户数据D1、D2、D3等信息可以通过输入设备32c输入到系统中,或者可以存储到存储设备32d中,以用于确定虚拟会议室22及其对象30和角色的显示特征。

  除了键盘32c或鼠标32f等典型输入设备外,作为眼动追踪设备一环的摄像头32b可以作为输入设备,并实现基于注视点的用户输入。进一步的输入方式可以包括语音、手势识别等输入。

  通信系统10c可以根据所选的方差R1、R2、R3,在第二通信设备34的显示设备显示与第一通信设备32相关联的用户Avatar的虚拟会议空间。因此,通信系统10c根据所述生物特征B1、B2、B3确定所述Avatar的显示特征,或者可根据所述个人用户数据D1、D2、D3确定所述Avarar的显示特征,并根据所设置的方差R1、R2、R3确定所述虚拟会议室的物品、装饰和代表所述用户的Avatar的显示特征。

  在一个实施例种,可以进行其他设置,例如配色方案。但为了避免用户单独选择每一个设置,最好提供几个不同的预定义模板T1、T2、T3。

  模板T1、T2、T3中的每一个都包括各自的模板参数,而模板T1, T2, T3中的每一个都可以指定用于特定目的或类型的会议。例如,模板T1、T2、T3中的第一个可以指定一个业务会议,其中模板参数指定适合所述业务会议的设置。第二个模板可以为私人会议(例如与朋友的会议)指定合适的设置等等。因此,当用户开始虚拟会议会话时,可以先选择本次会议的模板,系统10c根据选择的模板T1、T2、T3自动设置本次会议的设置。

  另外i,虚拟会议及其各自的设置可以由每个参与者单独控制,或者可以由小组协调者集中控制。每个参与者可以选择不同的动画/显示设置,以提高他/她对显示内容的理解,例如缩放,对比度,图层或显示,特别是自己的通信设备。

  图4显示了用户U4的不同生物特征B1、B2、B3示例,以及通过确定的显示特征B1 ‘、B2 ‘、B3 ‘进行相应的虚拟表示。

  在一个示例种,用户U4由与另一用户关联的显示器的Avatar U4’表示,其中Avatar U4’与对应的注视方向B1’一起显示,并作为所显示角色U4’的显示特征。

  在图4中间所示的第二个示例中,捕获眨眼动作B2。然后显示相应的Avatar U4 ‘,并以相应的眨眼动作B2 ‘作为显示特征。

  在图4显示的第三个示例中,捕获用户U4的生物特征,尤其是微笑B3。因此显示相应的Avatar U4 ‘,并显示相应的微笑B3 ‘作为显示特征。同样,生物特征B1, B2, B3与相应的显示特征B1 ‘, B2 ‘, B3 ‘之间的相似性可以根据方差程度R1, R2, R3进行调整。

  图5示出了操作通信系统的方法的流程图。

  在S10中,将虚拟会议空间显示给第一用户,特别是通过与第一用户相关联的显示设备。

  在S12中,捕获第二用户的生物特征,特别是通过与第二用户相关联的设备。

  S14,根据捕获的生物特征,根据一组方差确定对象的相应显示特征。

  在S16中,根据设定的虚拟会议空间内的方差,以确定的显示特征显示对象。如果捕获的生物特征与用户的运动或用户的任何身体部位有关,则可以通过追踪所述身体部位来执行捕获这种特征。在这种情况下,可以重复执行捕获生物特征、确定相应的显示特征,以及显示具有显示特征的对象。

  苹果指出,通过所述技术,可以提供通过生物识别适应而最佳地适合任何目的和参与者的虚拟会议空间。其中,一个巨大优势在于会议目的、人类聚会和参与者各自背景之间的匹配质量,所述方面的最佳匹配允许用户进行更高效的人际互动。

  名为“Communication system and method for providing a virtual meeting space”的苹果专利申请最初在2023年4月提交,并在日前由美国专利商标局公布。

+1

来源:映维网

延展资讯