• 首页
  • 科学成果
  • 基于增强现实的虚拟维修: 西门子能源公司的互联工人解决方案--江涛 博士

基于增强现实的虚拟维修: 西门子能源公司的互联工人解决方案--江涛 博士

2020-11-05

2020年10月15日,增强现实(AR)和远程协作解决方案的提供商Librestream [1]宣布,能源基础设施领域的领导者西门子能源将基于Librestream的Onsight Augmented Reality增强现实平台 [2]作为其互联员工(Connected Worker)解决方案的开发平台(Figure 1)。

 111111.png

Figure 1: “互联工人”解决方案由Librestream的Onsight Augmented Reality平台提供支持,可为全球能源客户群提供即时,响应迅速的服务

根据Librestream的说法[3],Siemens Energy正在为其数以千计的现场服务人员以及外部承包商部署Connected Worker解决方案,而这些承包商共同为成千上万的全球能源和电力客户提供服务。基于Connected Worker解决方案,专家团队可以远程检查、诊断、维护设备(例如工业蒸汽和燃气轮机、陆上和海上石油和天然气平台、工厂仪表及控制装置),一个可能的场景如Figure 2所示。

 222222.png

Figure 2: Siemens Energy的远程专家协作的功能示意图

Librestream指出,基于AR的Connected Worker解决方案能大幅缩短工业现场问题解决时间、提高的生产效率和工人安全性,从而保证工业生产设施长时间正常运行,为客户带来效益。基于AR的Connected Worker解决方案以数字化方式使资产密集型公司的一线工人能够提高生产率和安全性,通过实时远程观察可使“虚拟专家”获得工业现场问题的第一手的资料(而专家不必亲自到达现场)——解决时间的缩短意味着巨大的成本效益。

Connected Worker软件包括完整的Librestream Onsight平台(系统功能框图如Figure 3),包括远程专家协助、数字工作流程程序、工作区文档管理、人工智能功能、专业现场检查硬件。Librestream解决方案还与Microsoft Teams集成在一起,以快速扩展和简化整个Siemens Energy的协作。而西门子能源公司的Connected Worker解决方案包括如下Librestream组件:

针对复杂现场环境优化过的远程专家协作;

集成人工智能(例如基于计算机视觉,利用物联网数据进行目标识别);

数字化的工作流程和文档管理,用于以指导、获取、分发各部门的沉淀知识(Tribal Knowledge);

专业硬件,包括Onsight Hub适配器和Onsight Cube(一种经过认证的热成像可穿戴设备);

与Microsoft Teams等协作系统集成,以简化整个组织的沟通。

 333333.png

Figure 3: Onsight 增强现实平台(Augmented Reality Platform)

西门子能源的Connected Worker目前只处于启动阶段,虽然我们还无法得知其具体细节,但我们可以通过其它类似项目推测Connected Worker方案的大致面貌。西门子能源的Connected Worker解决方案虽然是基于增强现实技术,但从某种程度上它可视为虚拟现实技术中“虚拟维修”应用 [4]的拓展。

虚拟维修是虚拟技术近年来的一个重要研究方向,目的是通过采用计算机仿真和虚拟现实技术,在计算机上真实展现装备的维修过程,增强装备寿命周期,提高各阶段关于维修的各种决策能力,包括维修性设计分析、维修性演示验证、维修过程核查、维修训练实施等,如Figure 4所示。

 444444.png

Figure 4: 虚拟维修

VR在设备维修方面最为典型的应用当属美国哈勃望远镜(HST)的虚拟维修系统。1990年4月,哈勃望远镜进入轨道不久,天文学家发现它的光学系统存在缺陷,因此NASA为执行任务的宇航员建立了虚拟的太空环境(哈勃望远镜(HST)的虚拟维修系统,如Figure 5所示),从中完成各种模拟维修活动。经训练后,HST的维修任务于1993年12月成功完成。这是第一次大规模应用虚拟维修技术完成实际任务,并取得了成功。

 555555.png

Figure 5: 哈勃望远镜(HST)的虚拟维修系统

下面介绍一个沉浸式维修验证系统的案例,如Figure 6所示。该系统主要由:(1)维修任务/场景服务器、(2)沉浸式维修模拟终端、(3)监视/指挥终端、(4)建模管理终端、(5)模型转换处理、(6)维修分析终端、(7)控制/观摩终端等几部分组成,各部分主要功能如下所述。

 666666.png

Figure 6: 沉浸式维修验证系统

(1)维修任务/场景服务器:由任务/场景监控服务器、文件/数据库服务器和相应的管理服务程序组成。作用是管理模型库/场景库/任务库数据、监控维修任务及场景的运行状态、管理用户权限、管理用户维修记录、执行必要的客户端之间的协调处理等。

(2)沉浸式维修模拟终端:由捕捉处理和头盔图像渲染两部分组成,前者由光学捕捉设备、数据衣(或光学标识设备)、数据手套、捕捉处理计算机组成,后者由数据头盔、头盔图形渲染计算机组成。其中,捕捉处理计算机的作用是实时捕捉人体各个部位的方位,转换为人体姿态数据。头盔图形渲染计算机的作用是接收捕捉得到的三维人体姿态数据、结合维修场景的数据,进行三维图形生成(左右眼的图形),并输出给数据头盔。

(3)监视/指挥终端:主要由投影图形渲染计算机、大屏幕立体投影系统及相应的软件组成。作用是接收捕捉得到的三维人体姿态数据、结合维修场景的数据,进行三维立体图形生成,并输出给双通道的立体投影系统,供领导和专家对于维修模拟过程进行检查、评估和指挥。其中立体投影系统由立体投影仪、投影大屏幕、立体眼睛等组成。

(4)建模管理客户端:主要由建模管理计算机、建模管理程序和模型转换程序组成。作用是接收来自CAD/PDM软件的产品三维数字模型和产品结构数据。

(5)模型转换处理:生成模型库数据并存储到服务器。同时,通过选择模型和定义约束,生成维修场景库数据并存储到服务器。通过选择场景和预设维修过程,生成维修任务库数据并存储到服务器。

(6)维修分析终端:主要是维修分析计算机和维修分析软件。本部分的作用是记录虚拟维修过程、维修障碍分析、维修时间分析、维修空间分析等。

(7)控制/观摩终端:由图形渲染计算机及相应软件组成。本部分的作用是控制维修模拟任务的开始/结束/暂停,控制参与模拟和观摩的人员,帮助参与模拟人员的定位,协调有关人员行为,并且提供对于维修场景的实时显示和图形角度变换。本部分可以分为两种运行模式:控制和观摩,前者既能够控制又可实时观看场景;后者只能观看,不能控制场景。

而上述“沉浸式维修验证系统”的主要提供如下服务:

(1)维修任务、场景建立和管理:利用数据接口从产品数据管理系统(PDM)和维修性设计/分析软件中获取产品的数字模型和维修规划数据,构建三维产品模型库、维修场景库和维修任务库。

(2)维修过程模拟和验证:在维修任务场景中,操作人员借助虚拟现实设备,在数字化的三维场景中按照装备维护维修的顺序进行各种模拟操作,并亲身体验维护操作过程。针对既定的维修任务,初步验证其维修规划的合理性,为改进方案和编制维修规程提供依据。

(3)维修可见性、可达性、维修障碍以及维修空间的分析:在虚拟的维护维修场景内,操作者可随意改变头部姿态来考察可见性;操作者通过肢体的运动来考察可达性;通过对人体与三维场景内的装备和设施的几何干涉检查来分析维修障碍;通过计算肢体与装备之间、工具与装备之间的空间距离来分析维修空间是否足够。

(4)综合的维修性初步评估:记录维修模拟过程中的各种关键信息,包括时间、路线、异常情况频度等,对该维修规划的合理性、效率等方面进行初步的综合评估。通过操作者在模拟过程中的亲身体验,如工作的姿态、负荷、相互配合等,初步评估维修人员的感受。

(5)维修训练素材的产生:将三维数字化环境下的维修模拟过程记录下来,形成可以交互式播放的三维动画,可以嵌入到装备的维护维修训练手册中,提高装备维修训练的直观性,并降低训练费用。

借由上述“沉浸式维修验证系统”的功能服务及其硬件构成体系,我们可对西门子能源基于增强现实的Connected Worker互联工人解决方案的系统结构、功能框架有个大致预判。

事实上,从用户群体分布来看,VR或XR(Extended Reality,扩展现实)[5]的应用分为两块,一个是复杂的、需要软件开发的、面向B端(企业级)用户的VR应用系统(西门子能源的Connected Worker即为此类行业应用)。另一个是相对简单的、只需内容制作的、面向C端(普通消费者)用户的VR行业内容。C端应用以内容为主,可以由B端应用移植简化。B端应用主要是在以上基础上加上行业特殊的内容完成的。也就是说,面向行业应用的XR解决方案更多地由传统行业自身通过XR技术进行赋能,从而带动自身的产业升级。而这些面向不同行业应用的XR解决方案的差别,主要是基于不同行业的业务需求,在XR公共技术栈之上采用不同的定制服务。

2020年10月15日Librestream 关于Connected Worker互联工人解决方案的公告是西门子在其整个业务中部署扩展现实(XR)解决方案的几周内的第二次宣布。VinciVR上周表示 [6]:通过与西门子的合作,VinciVR和西门子两家公司已获得马萨诸塞州清洁能源中心的资助,为新兴的海上风电行业开发VR培训模拟。作为一家在技术解决方案领域处于领先地位并在基础设施、能源、自动化和制造业等多个行业深厚耕耘的跨国公司,西门子很可能会在未来的整个运营过程中继续实施XR技术。

参考文献

[1] Librestream, Empowering Service Workers With Augmented Reality. [Online]. Available: https://librestream.com/ (accessed: Oct. 19 2020).

[2] Librestream, Augmented Reality Platform for the Connected Worker - Onsight. [Online]. Available: https://librestream.com/products/ (accessed: Oct. 19 2020).

[3] Librestream, Siemens Energy Selects Librestream to Help Enhance Worker Safety & Productivity Through Remote Services. [Online]. Available: https://librestream.com/company-news/siemens-energy-selects-librestream-to-help-enhance-worker-safety-productivity-through-remote-services/ (accessed: Oct. 19 2020).

[4] H. Eschen, T. Kötter, R. Rodeck, M. Harnisch, and T. Schüppstuhl, “Augmented and Virtual Reality for Inspection and Maintenance Processes in the Aviation Industry,” Procedia Manufacturing, vol. 19, pp. 156–163, 2018, doi: 10.1016/j.promfg.2018.01.022.

[5] B. Marr, “What Is Extended Reality Technology? A Simple Explanation For Anyone,” Forbes, 12 Aug., 2019. https://www.forbes.com/sites/bernardmarr/2019/08/12/what-is-extended-reality-technology-a-simple-explanation-for-anyone/#3e8fe34b7249 (accessed: Oct. 20 2020).

[6] S. Sprigg, Vinci VR and Siemens Gamesa Renewable Energy win grant to develop Virtual Reality training for US Offshore Wind | Auganix.org. [Online]. Available: https://www.auganix.org/vinci-vr-and-siemens-gamesa-renewable-energy-win-grant-to-develop-virtual-reality-training-for-us-offshore-wind/ (accessed: Oct. 20 2020).