科技魔方

如何用HoloLens 2+Azure Percept DK实现MR遥测管理解决方案

AR/VR

2022年02月25日

  微软日前与Kagool合作演示了一个端到端的现场服务管理解决方案。通过结合Azure Percept DK、人工智能、物联网、Cognitive Services认知服务和混合现实,团队数字化了一个物理乐高挖掘机。

  所述解决方案结合了实时遥测,并集成了完整的端到端现场服务管理解决方案。其中,实时性能监控可以从一个中心位置进行全球分析,从而减少停机时间和维护成本,优化性能,降低TCO并延长asset的寿命。同时,趋势分析可以带来智能维修和预测性维护,并在故障发生之前采取预防措施。

  开发人员在下文介绍了如何使用Azure Percept DK集成端到端现场服务管理解决方案,并利用混合现实将遥测叠加到数字孪生。

  1. 解决方案概述

  下面的架构图涵盖了用于实施现场服务管理解决方案的所有服务。Azure Percept DK正在收集的数据发送到物联网中心,随后自动触发Azure Function以更新Azure Digital Twins(ADT)中的属性。在ADT中,团队在一个数字副本中重建了全球乐高asset部署,精确显示了每个asset的部署位置。Unity将根据使用REST API发送给ADT的自定义查询检索属性,并在3D模型覆盖遥测数据。

  下面这个视频是关于数字孪生如何响应实时Azure IoT接收遥测:

  2. 解决方案的实现

  对于所述解决方案的实现,你首先需要设置Azure Percept DK,创建并配置物联网中心资源,使用Custom Vision训练人工智能模型,以及设置你的Function应用实例,以便在服务之间移动数据。若在入门时需要任何帮助,请查看以下资源:

  Set up the Azure Percept DK

  IoT Hub instance

  Custom Vision instance

  Function app instance

  Azure digital twin instance

  Unity project configured using Mixed Reality Toolkit

  下面是具体的实现步骤:

  将Azure Percept DK接到物联网中心。IoT Hub通过相应地收集和分发数据来充当IoT设备的网关。团队使用提供的向导将Azure Percept DK接到IoT Hub:

  使用Custom Vision创建和训练AI模型,并使用Azure Percept Studio将其部署到设备。例如,团队训练了一个AI对象分类模型来检测不同大理石的颜色,如下图所示:

  创建Azure Digital Twin实例并定义端点。团队采用分层方法,根据每个设备的位置对其进行分组(大陆-地区-城市-乐高asset):

  配置基于事件网格的Azure Function。这将通过IoT Hub接收的遥测自动更新Azure Digital Twin属性。

  将你的function部署到Function App实例。团队使用Visual Studio编写了function运行所需的代码,并使用发布功能进行部署了:

  返回到IoT hub,导航到事件选项卡,创建新的事件网格模式订阅,并选择之前创建的Azure Function作为端点。这是为了确保所有传入消息都路由到正确的端点。创建活动路线后,主页应如下图所示:

  将Unity项目配置为自动更新三维模型的数据。使用Azure Signal R,你可以检测Azure Digital Twins中的属性于何时更新。另外,团队同时使用了强大的Azure Digital Twins API从ADT发送查询和检索元数据。

  配置Unity项目以显示ADT值。为了增强用户体验,团队展示了乐高CAD模型以及一定的GUI元素:

  左面板:列出所有全球部署的asset及其状态

  中面板:来自Azure Digital Twins的实时物联网遥测

  右面板:向SAP(ERP系统)发回工单以更换故障部件

  3. 最后的想法

  上面的示例展示了将Azure Percept DK与HoloLens集成有多么容易。利用这个现场服务管理解决方案,你可以轻松地从世界各地远程监控相关的asset,并预测部件是否即将出现缺陷,以防止任何潜在的停机或损失。这种解决方案可以在人类无法实际到达asset位置的情况下实现。

  这个解决方案的好处众多,例如:

  通过与ERP系统的无缝连接,远程诊断世界各地的性能问题,创建检查订单,部署维护人员,并订购更换部件

  预测可能发生的故障,以及智能地设置维护间隔,减少停机时间并节约成本

  通过持续吸收存储和高速转换大数据,开发基于按使用付费的新商业模式

  根据预设的公差集中监控性能,以识别问题,采取预防措施并减少停机时间

+1

来源:映维网

推荐文章