基于VR技术的交互界面设计-郑玉洁博士

2024-10-24

摘要:本文根据武器装备综合保障数字化需求,在传统 IETMVR 技术基础上,提出基于VR技术的交互界面设计,通过全三维仿真技术实现装备技术说明、操作培训、维护保养、故障诊断等电子手册。基于VR技术的交互界面设计的主要功能设计和四层架构设计,提出三种技术方案,并采用基于本体的数据建模方法构建数据模型,实现数据模型与数字样机建模仿真引擎的无缝对接。

1. 引言

虚拟现实包括计算机、电子信息和仿真技术。它是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成仿真环境,让用户身临其境。虚拟现实技术利用现实生活中的数据和计算机技术产生的电子信号,将其与各种输出设备相结合,转化为人们可以感受到的现象。这些现象可以是现实中的物体,也可以是我们肉眼看不到的物体其核心特点是沉浸感、交互性和想象力。经过虚拟现实技术1.0--概念萌芽、虚拟现实技术2.0--技术探索、虚拟现实技术3.0--突破发展、虚拟现实技术4.0--产业应用的发展,三维建模技术、三维实景技术、三维音频技术、体感交互技术等虚拟现实关键技术已经攻关成功。该技术已应用于国防军事、教育培训、医疗保健、工业制造、娱乐文化等领域。

虚拟现实系统通常由软件和硬件组成。软件部分包括二维图形、三维建模、VR引擎、VR辅助开发工具等软件,硬件部分包括输入设备和输出设备。它为软件运行提供资源环境,支持三维虚拟环境的构建。输入设备是连接用户和计算机的桥梁。常见的设备有操纵杆、数据手套和运动跟踪器。输出设备通过视觉、听觉或触觉将虚拟环境呈现给用户。

2.1数据驱动的交互界面生成引擎

作为装备维修保障的技术手段,IETM是在信息技术发展和军事需求的牵引下产生和发展起来的。在标准方面,有通用的国际标准体系。这些标准规范对IETM数据进行了规范,主要包括数据模块管理、信息集设计、数据模块需求列表、数据模块编制、插图、多媒体设计、工程业务规则、出版物设计、数据交换等。在标准编码体系中,根据武器装备的结构和功能划分标准编号体系(SNS),主要由系统、子系统、子系统、单元组成。信息生成时,构建数据模块和信息集规则,确定分区和接入点规则,给出文本、插图、多媒体的创建规则。

IETM交互性是指人和计算机利用人机对话获取信息和知识的能力。IETM需要两个过程来实现人机交互。首先是用户与设备之间的交互即用户通过鼠标、键盘和显示屏幕向计算机发出操作指令的过程。IETM系统的界面大小、显示布局、颜色使用、字体样式、显示风格等都要符合人体工程学的要求。二是交互界面与技术信息库中数据的交互,即IETM系统根据交互界面的功能操作指令组织数据显示给用户。交互界面功能包括访问、注释、传输和发布、诊断和预测、图标功能、链接导航和跟踪。交互式可视界面显示有导航面板、文本、对话框、列表、步骤和程序、超链接、警告和注意事项、插图、音频和视频以及动画。

IETM的内容范围因设备特点、复杂程度和业务要求而异。通常包括系统技术规范、操作手册和维护手册。系统技术规范主要描述设备系统的运行目的、组成、战术和技术性能、使用模式、工作原理和技术参数操作手册对装备或子系统及装备的用户知识和操作技能进行说明,帮助操作人员掌握装备的使用方法和操作程序。维护手册是设备维护和修理的指导性技术资料。它按信息类别包括维护大纲、维护程序、故障报告、故障隔离和图解零件目录。

交互界面的五个接口开发接口模块,包括说明、程序、故障、图解零件和维护计划,形成接口模板库。接口引擎可识别并使用这些模板。读取接口模板和IETM数据后,引警将根据这些信息布局接口,并添加控制的事件监听功能。每个生成的接口都对应个接口生成引擎对象。除界面外,引警对象还负责保存界面中用于事件监听的所有控件信息和一些全局变量。

2.2多类信息融合可视化

根据数据模型和定制的界面模板,将这些IETM数据信息叠加到数字原型上,进行可视化表达。表达方式包括多级爆炸图、交互式三维动画、三维技术插图、信息可视化、三维注释、云图、纹理、二维图表、图像和热点。它支持交互式浏览五类电子手册数据,包括说明、程序、故障、图解零件和维护计划。

描述数据集成了三维模型、三维交互动画、文本、图片、语音和视频等各类信息,并提供三维组件结构树、三维交互动画、文本显示、图片编辑和显示、语音和交互显示等可视化界面。程序数据提供可视化界面,如快速制作三维模型拆卸和装配模拟动画管理装配步骤和模拟动画、管理拆卸和装配工具,以及模拟和使用拆卸和装配工具。

故障数据提供了基于故障树的图形检索和导航界面、故障树与场景事件之间的交互响应、常见故障类型(如高温、火灾、断裂和损坏)的效果模拟、故障树与故障处理程序之间的关联映射管理界面。图解零件数据包括图表和产品清单的自动生成和交互式浏览、图表产品清单显示样式的可视化配置、产品结构爆炸图的快速生成和交互式界面。维修计划类数据包括计划创建管理界面、基于三维视图的维修计划可视化检索、维修备件管理界面和维修过程模拟交互操作管理界面。

3. 结论

多类信息融合的可视化方法实现了基于数字样机的多维设备技术状态可视化。采用基于数据驱动的交互界面自动生成方法,实现交互界面的快速生成和应用发布。没有人能拒绝新奇有趣的事物。将VR虚拟现实技术应用到IETM中,不仅能改善他们枯燥的训练,还能吸引他们的注意力,提升他们的学习兴趣。

与传统的IETM相比,“VR+手册”能让用户更加形象、生动地观察和控制设备,了解设备的内部结构和技术机理,提高设备的维护和支持效率,使设备桌面级虚拟培训成为现实。“VR+手册”可用于培训和训练。它不仅可以缩短培训周期,提高培训质量,还可以节省资金和真实设备的损耗,使操作人员和维修保障人员不再受时间、场地和环境的影响。它还为操作人员提供了一种新的培训方式,能有效解决设备培训成本效益低的问题。由于“VR+手册”采用的是虚拟现实技术因此在使用过程中存在以下弊端:第一,佩戴者会感到头晕恶心,舒适度较差。比如眼镜不透气,镜片起雾,人的大脑和神经系统受到影响,造成头晕。二是电线束缚,容易被电线绊倒。三是用户体验成本相对较高,购买力不足。