科技魔方

Unity XR Interaction Toolkit 2.3面世,全面支持手部、眼动交互

AR/VR

2023年04月13日

  XR Interaction Toolkit(简称 XRI) 是一款基于组件的上层交互系统,可用于创作 VR 和 AR 的交互体验。它提供了一种成熟的交互框架,并简化了跨平台创作。

Unity XR Interaction Toolkit 2.3

  本次更新新添了三项关键功能:用于让交互更自然的视线与手部追踪,让交互更生动的可供性(affordance) 组件,及设备模拟器的改进。本文将详细介绍每项功能,并且点击阅读原文,可获取最新 XRI 样例。

  带关节手部追踪

  与 XRI 2.3 同步发布了 Unity XR Hands 预览版软件包。这款新的 XR 子系统能为 Unity 添加手部追踪的 API,支持 OpenXR,并且即将上线 Meta 平台支持。此外,硬件供应商们仍旧能参考API文档,用现有的 XR SDK 输入手部追踪数据。

  本次发布的 XRI 带有 Hands Interaction Demo,该工程包所包含的手部交互配置支持在人手与手柄间切换,无需到设备上修改场景。有了这项功能,您可以按照标准的控制器配置来创建工程,随后无缝地切换到人手,来完成特定任务或自然的游戏交互。

  XRI 2.3 的 XR Poke Interactor 同样支持自然的点戳互动,让用户能用双手或手柄戳控 3D UI 或启用了 XRI 的 UGUI Canvas 元素。

  更完善的视线交互

  HoloLens 2、Meta Quest Pro 和 PlayStation® VR2 等新型头显包含有跟踪使用者视线的传感器。基于视线的交互能让 XR 应用打开新的设计思路。

  为了支持基于视线的交互,我们推出了由眼部或头部的注视姿势来驱动的 XR Gaze Interactor。这一交互程序能直接操控对象,比如通过长时间注视来拿起或选取交互对象。

  通常我们不推荐完全依靠眼睛来控制应用,因为这样难以完成精细操作并且会导致眼部不适。为了进一步完善视线交互体验,我们还推出了在视线交互基础上额外的控制器和手部辅助交互:XR Interactable Snap Volume,来帮助用户们选取特定物体。

  在对准物体周围的特定区域时,它可以将交互操作匹配到附近的可交互对象上,以此来让视线交互程序更易用。该组件同样可以独立于视线交互程序使用,可以在各种场景下让物体的选取一步到位。

  全球领先的眼球追踪技术开发商 Tobii 在功能的概念和研究方面提供了专业协助。如果您有兴趣进一步了解,可以浏览他们的眼球追踪知识库:https://developer.tobii.com/xr/learn/interaction-design/

  可供性(affordance)组件

  使用双手进行交互相较于手柄,其劣势是没有触觉或触摸反馈来确认交互已经发生。而可供性(affordance)系统带有多种组件,可响应物体交互状态的变化来播放动画或发出音效,以此来增强反馈。系统可兼容新老项目里的任意交互程序和可交互对象。

  流畅丝滑的双手交互

  新的 XR General Grab Transformer 可以简化项目的层级结构,允许用一个通用的变换程序在单个交互对象上完成单手或双手交互,不必再用多个抓取变换组件。它还支持双手缩放(允许通过合上或张开双手来缩放对象),类似于在手机上的两指放大、缩小。

  此外还添加了 Interaction Group 组件,允许开发者为交互程序分组,并根据优先级排序,使得同一时间执行单组的单个交互程序成为可能。例如,假设同一组中包含着 Poke、Direct 和 Ray 三种 Interactor,戳动(poke)按钮时其他交互程序将不会参与场景的交互。

  编辑器内测试迭代

  在头显上测试 XR 应用固然重要,但在编辑器内测试可以切实减少迭代时间。新版本 XR Device Simulator 迎来了一次重大的可用性更新,新的屏幕 UI 小道具能让用户更轻松地查看驱动模拟器或当前启用的指令输入。

  新的模拟模式支持在多种常见的控制模式间切换。启动时,设备模拟器默认会激活新的第一人称射击(FPS)模式,模仿玩家的全身运动来操纵头显和手柄。用户可以切换到其他模式来单独操控头显、手柄等。

  如果想要使用 XR Device Simulator,请从 Package Manager 导入样例工程。

  全新 XRI 样例

  新版样例项目终于来了!该工程展示了所有 XRI 2.3 的 XR 体验开发工具,并根据功能分出了数个 XR 体验站,每一站都带有基础版和进阶版的样例。来源:Unity,Github

+1

来源:青亭网

推荐文章