科技魔方

微软研究员用HoloLens为视障人士带来社交可能性

AR/VR

2020年02月01日

  (映维网 2020年01月31日)据估计,全球各个年龄段的视障人士总数为2.85亿,其中3900万是盲人。为了向所述人群提供帮助,微软于2016年启动了由美国、英国、中国、日本和印度研究人员通力合作,并旨在探索可以帮助残障人士与周围世界交互的技术的东京计划(Project Tokyo)。四年后,这个项目结出了又一个果实:微软HoloLens头显的改良版本,其配备了可提供周围环境人士信息的算法。

4.jpg

  根据微软的博文介绍,研究小组首先跟踪了具有不同视力水平的运动员和观众从英国到巴西里约热内卢残奥会的旅程,观察所述人员在导航机场,参加运动场馆和进行观光等活动时是如何与他人互动。然后,东京计划团队的机器学习专家开发了上述算法,而这种可提供周围人士信息的算法由与HoloLens对接的PC中的图形处理单元执行。另外,改良版的HoloLens移除了前端透镜。

  固定在HoloLens摄像带上方的LED灯带将追踪最靠近用户的人士,并在识别后变绿,从而告知通信伙伴或旁观者知道他们已被看见或提示他们避让。计算机视觉模型可以检测环境中人员的姿态,从而提供他们位于何处以及相距多远的感觉。另一个模型则分析摄像头的片段,从而识别人员并确定是否需要向系统告知其名字。

  所有信息都通过音频提示传递给佩戴者。例如,如果改良版HoloLens在用户左侧一米远的位置检测到一个人,它会发出一声听起来像是来自左侧大致距离的咔嗒声。如果识别出所述人士的脸部,它将发出另一种声音,并且如果确认为已知的人士,系统将告知其姓名。另外,单独的第二层声音会将用户引导面向所述人士的脸部。

  当HoloLens的摄像头对准所述人士的鼻子时,用户会听到尖锐的喀哒声。如果知识所述人士,系统会向用户告知其名字。用户同时可以要求获取概述,并获取系统已识别人员的姓名的空间读数,并且当有人直接看着用户时,系统可以发出空间警报声。

  微软表示,他们正在使用缩小版技术来帮助盲人和弱视儿童开发社交能力。

  微软正在积极地为改善残障人员的生活而努力。这家科技巨头早前为相关社区带来了旨在帮助弱视用户导航周围世界的移动应用Seeing AI,并在最近推出了使用双耳音频来帮助视障用户构建思维导图并在陌生空间中选择个人路线的Soundscape。

  通过于2018年5月宣布的AI for Accessibility,微软承诺在未来五年内向为残疾人开发AI工具的大学,慈善组织以及其他机构开发提供2500万美元资金。AI for Accessibility旨在通过每个财政季度的种子拨款和后续融资来奖励在工作,生活和人际关系这三个类别中最具前景的候选项目。

+1

来源:映维网

推荐文章