研究调查：HoloLens 2 MR支持可显著提高一线员工到专家水平

　　程序性任务在诸多职业中都非常常见，如维护、装配或外科手术，其特点是操作员执行预定义的步骤序列来实现特定的目标。由于这通常通常涉及复杂的机器、设备甚至患者，所以它们对正确执行任务提出了最高的要求。

　　诸如微软HoloLens2这样的AR头显已证明可以在程序性任务中提供有效的支持。所以在一份博士论文中，苏黎世联邦理工学院的朱利安·伍夫(Julian Wolf)就根据微软HoloLens讨论了AR和情景感知AR支持系统的设计、功能和对任务性能的影响。作者同时研究了眼动追踪技术的集成，并旨在建立一个共同的描述人类行为、AR和情景感知AR之间的相互作用的预系统模型。

　　概括来说，论文讨论了AR，以及可以根据情况自动调整显示信息的情景感知AR的优缺点。结果表明，情景感知AR支持可以显着改善程序结果，甚至可以将经验不足的操作员的任务表现提高到专家水平。

　　对于传统的信息媒介，信息通常在多个文件或外部屏幕中传递。相反，诸如微软HoloLens这样的AR头显可以直接在操作人员的视场中显示情景信息，而且无需占用操作员的双手。

　　在AR中，显示的信息只会根据用户的手动输入而改变，而情景感知AR有望通过自动调整显示的信息来最好地满足操作员的当前需求，并提供相关反馈，从而进一步改善所提供的支持。所以，确定这两种技术的优缺点是开发支持系统的关键，从而提高任务执行的质量，使程序性任务更安全，并改善结果。

　　以前关于情景感知系统的研究主要集中在人工执行方面，而没有考虑到人类交互的一个重要要素，亦即感知。眼动追踪可以测量感知，并提供对认知过程的深刻见解，所以可能会为情景感知系统带来好处。这对研究非常重要。

　　在名为《Towards Advanced User Guidance and Context Awareness in Augmented Reality-guided Procedures》的博士论文中，苏黎世联邦理工学院的朱利安·伍夫(Julian Wolf)利用了微软HoloLens等工具，并研究了如何设计AR和情景感知AR支持系统的不同概念，它们是如何工作，以及它们如何影响操作员的任务表现等等。

　　作者进一步通过集成眼动追踪和推导合适的系统模型来描述人类行为、AR和情景感知AR之间的关系，从而推进情景感知AR支持。

　　研究人员共提出了三项研究：研究一调查了AR中的情景信息相对于传统信息媒介提供培训指导的好处。21名医学生在物理模拟器进行体外膜氧合ECMO插管。评估包括与知识和处理相关的错误分类以及错误严重程度排序。结果显示，AR明显优于传统指令，同时指出了情景感知AR可能改善的局限性。 研究二探讨了持续提供实时反馈时的有效可视化策略。本研究由4名外科专家和10名住院医师在物理模拟器进行手术。研究结果表明，持续的表现反馈总体上可以对新手和专家操作员之间的任务绩效进行分级，并揭示了特定AR可视化的明显优势和偏好，并为AR可视化如何引导视觉注意力提供了见解。特别是，执行区域周围的显示信息可帮助操作者同时感知反馈和协调手部运动。 研究三调查了眼动追踪和手部追踪在预测和防止操作员错误行为方面的适用性。一项针对记忆卡游戏的研究探讨了这种方法的潜力和局限性。第一个实验有10名参与者，并通过记录参与者的眼睛和手部运动来得出目标预测的方法。第二个有12名参与者，并检验了端到端实现方法的及时性和准确性，结果表明，眼动追踪和手部追踪在防止用户错误的手部动作方面非常有效。

　　朱利安·伍夫表示，本次研究的一个关键结论是，情景感知AR支持可以显着改善程序结果，甚至可以将经验不足的操作员的任务表现提高到专家水平。另外，实时分析手眼协调模式可以提供预测性AR支持和错误预防，这可能最终为操作员执行第一次独立任务提供安全网。

　　对于未来的工作，重要的研究方向包括集成和推进对更复杂程序的预测性AR支持，研究在多种动态视觉刺激环境下的有效可视化策略，以及操作员从最初的培训过渡到独立执行并最终成为专家的有效反馈和支持策略。