科技魔方

Meta Presence平台引入Movement SDK,支持眼球、面部和身体三点追踪

AR/VR

2022年10月12日

  今天,Meta更新MR和交互体验套件Presence Platform,该套件包含了一系列机器感知和AI功能,而本次更新加入了对Quest Pro全彩色MR模式的支持,并引入一系列增加社交存在感的工具:和Movement SDK(眼球、面部和全身姿态追踪)、Body Tracking API。

  Movement SDK

  这个工具支持眼球追踪、面部追踪和三点身体追踪,可用来开发具有表现力的Avatar,其底层技术与Horizon Worlds、Workrooms使用的虚拟化身相同。Meta表示:Movement SDK可以帮助第三方Avatar体现社交存在感,可以拥有更自然的表情等运动(比如眨眼、嘴唇动作等等)。

ezgif-5-8be1f987ae

  为了展示Movement SDK的效果,Meta与内部美术团队合作创造了一个外星人Avatar:Aura。

  除了应用于Avatar社交外,Movement SDK还可以用来构建基于注视点的交互内容,比如像手势识别那样作为VR的操作方式。

  Body Tracking API

  Body Tracking API中文直译为身体追踪API,它是Movement SDK的一部分,其特点是通过追踪用户的双手/手柄和头显的相对位置来进行三点追踪,并通过算法来实现逆向运动学模拟,控制全身Avatar。

  Meta表示:Body Tracking API在手势识别模式和手柄模式中均可使用,这两种模式均可模拟完整的上身骨架,无需开发人员进行额外的逻辑处理。目前,身体追踪API仅兼容Quest Pro和Meta 2,未来还将加入身体追踪相关的升级。

  全彩色透视

  Presence Platform的场景理解功能将支持Quest Pro的全彩色透视模式,为MR应用带来更好的沉浸感、遮挡、碰撞、网格定位、斑点阴影等效果。为了展示全彩色透视模式下,AR虚拟角色与墙壁、天花板等物理场景的交互效果,Meta推出了一个场景demo:《Sir Aphino》。

  此外,VR协作软件《Arkio》也将支持Quest Pro的VST透视模式,允许你以物理空间为背景进行3D可视化和设计协作。Meta还指出,Tribe XR、Painting XR、Wooorld、Figmin XR背后的开发者们也在使用Presence Platform构建MR内容。

  共享空间锚点

  Meta在去年就发布了Spatial Anchors空间锚点功能,而今天该功能将升级为共享空间锚点,允许开发者构建可共享的世界参考框架,并锁定在固定位置,以开发本地多人游戏。此前,空间锚点的功能是允许开发者在物理世界中固定虚拟内容,而升级后这个固定在空间中的虚拟内容将允许多人本地查看。

  为了展示共享空间锚点功能,Meta还推出了MR协同体验Magic Room,其特点是允许本地和远程的Quest用户在同一个物理空间中协作。参考:Oculus

+1

来源:青亭网

推荐文章