虚拟现实技术核心特征与现实应用-赵继涛博士

2021-01-15

在2011年8月于美国Rapid City举行的SC 24全会上,将“虚拟现实”(Virtual Reality, VR)技术的范围扩大至“虚拟现实/增强现实/混合现实”(VR/AR/MR),最终使用“虚拟现实连续统一体”(VR Continuum)一词来描述上述技术[1]。虚拟现实技术可以被定义为“试图完善存在于另一环境中的全方位,感官上的错觉的硬件和软件系统的总和”[2],此处所指的环境是借助计算机技术人工搭建的虚拟环境。虚拟现实技术的概念提出于二十世纪6、70年代,并于90年代开始形成与发展[1]。拟现实技术已经在技术培训、生产装配、影音娱乐等多个领域获得应用,解决了部分难题。浸入式体验、用户存在和人机交互被视为虚拟现实技术的核心特征[3],目前虚拟现实技术面临的难题主要集中于环境建模、表现技术和人机交互三大方面。

一、 环境建模

虚拟现实建模涉及数字图像处理、计算机图形学、多媒体技术、传感与测量技术、仿真与人工智能技术等多学科。它包括几何建模技术、运动建模技术、物理建模技术和模型管理技术。

1.1、 几何建模技术

几何建模技术包括形状建模和外观建模。形状建模指借助计算机辅助设计(Computer Aided Design, CAD)技术建立虚拟对象的三维模型,通常可分为线框模型、表面模型和实体模型三种。构成模型的点的数量由线框模型至实体模型的逐渐增加,故其数据量也逐渐增加,但模型的精确度和细节也随之完善。故大多数模型为了兼顾细节的丰富和数据量的精简,均只建立虚拟环境的表面模型。

外观建模指将模型的颜色、材质、纹理、光泽等属性附加至已建立的形状模型上。这些细节以多边形的形式添加,但由于VR系统在运行时对于实时性的要求很高。当同时加载视野内的所有细节时,若主机的计算及渲染性能不足,系统的实时性便难以保证。因此,如何在模型细节不缺失的前提下保证系统实时性便成为一个研究热点。

1.2、 运动建模技术

几何建模仅仅完成了静态模型的建模,在VR系统中还要包含用户主体与虚拟对象的动态关系,如位置变化、碰撞、变形等。在虚拟环境中体现用户主体与虚拟对象的位置关系需要建立适当的三维坐标系,通过对数据点进行坐标变换来实现用户观感的变化。碰撞检测基于已确定的位置关系,线框模型和表面模型的数据量相对较少,故其碰撞检测也较为费时,难以保证实时性,在实际应用中易出现“穿模”现象。虚拟对象的实时变形建立在碰撞检测的基础上,实时变形的实现方法是当下的研究热点之一,已面世的VR产品中少有包含实时变形功能的产品,其变形效果大多使用动画的形式呈现。

1.3、 物理建模技术

为使虚拟对象模型更加接近现实,通常需要配置环境的重力、惯性及虚拟对象的弹性模量、表面硬度的表面硬度等物理参数。建立物理模型之后,当用户与虚拟对象进行交互时便能够感受到对象的重量、表面硬度等。但由于目前虚拟环境向用户主体信息反馈手段的匮乏,还无法实现重量、硬度、弹性等物理量的反馈,故物理建模的研究进展较少。 

1.4、 模型管理技术

由于虚拟环境中包含的模型数量多,难以同时加载,因此建立一个能够根据用户主体使用情况进行逐步加载的模型管理系统便十分必要。如模型管理系统的性能不足,便会出现模型缺失的问题。

二、 表现技术

虚拟现实技术最重要的特征是沉浸性(Immersive),为了使用户主体能够得到接近真实的体验,恰当的表现技术是十分必要的。

目前已问世的VR系统均需使用可穿戴增强现实设备来帮助用户产生沉浸感,可穿戴增强现实设备通常指头戴式数字头盔(head-mounted display, HMD),头戴式数字头盔可分为光学透视式(optical see-through, OST)头盔和视频透视式(video see-through, VST)头盔[1]。光学透视式头盔通常被用于增强现实(augmented reality, AR)系统,具有代表性的是Google glass增强现实眼镜。视频透视式头盔通过在隔绝外界光线的封闭环境下展示高帧率、高分辨率的虚拟环境,使用户主体在虚拟环境中获得沉浸式的、身临其境的感受。目前,相对于光学透视式头盔,视频透视式头盔的技术门槛更低,应用范围更广。因此,有大量的厂商推出了视频透视式头盔产品,如HTC作为最早一批进入VR设备制造领域的厂商,推出了vive系列VR眼镜,其特点是为头盔提供配套的耳机及手柄,但vive系列是外接式头显设备,其本身运算能力不足,需要外接主机才能供用户使用;Pico推出了Neo系列VR眼镜,特点是设备本身植入了骁龙845处理器,能够在不外接主机的情况下运行一些大型的VR软件。除了传统的移动设备制造商外,一些互联网企业也推出了VR设备,如爱奇艺推出的“奇遇2pro”,由于是视频网站自身推出的产品,其对爱奇艺网站提供的VR资源进行了专门的适配。

目前已问世的可穿戴式现实设备在使用时,其自身重量仍会使用户有额外感受,如HTC vive pro重500g,Pico Neo 2重320g,作为参考,日常佩戴的眼镜重量为20至80g。因此,VR显示设备自身重量是影响用户沉浸感的重要因素之一,如何实现VR显示设备的轻量化和小型化仍是一个需要解决的问题。

  image.pngimage.png

a) HTC vive pro                          b) Pico Neo 2

图1 视频透视式头盔 

三、 人机交互技术

虚拟现实技术的另一个特点是交互性,为了使用户能够与虚拟环境中的对象进行交互,VR设备制造商均会提供与显示设备配套的成对的交互设备。这些交互设备大多被设计为手柄的样式。交互设备内部设置有陀螺仪、位置传感器、速度传感器及加速度传感器等元件,并配以具有推拉、抓握等不同功能的按钮。通过这些传感器及按钮,系统便能够在虚拟环境中展示用户肢体的相对位置及动作,实现用户与虚拟对象的交互。但由于相关动作反馈技术的匮乏,手持式交互设备的交互细节不够完善,如抓握等动作只能通过按钮而非用户的实际抓握动作来实现,因此在虚拟环境中进行抓握等动作时会降低用户的沉浸感。

手持式交互设备只能实现用户上肢与虚拟对象的交互,对于一些需要实现用户全身交互的场景,可采用飞行时间(time-of-flight, TOF)相机或动作捕捉相机采集。但由于需要采集和筛选大量视频信息,因此使用采集视频来实现人机交互的方法难以保证交互的实时性,会使用户产生动作的滞后感,并带来眩晕感。

因此,研发能够为用户提供力、温度、触感、气味反馈的新型交互设备也是虚拟现实技术的研究方向之一。

四、 应用场景

作为一种新兴技术,虚拟现实技术已经在技能培训、制造装配、数字医疗、建筑建造、游戏娱乐和高等教育等多个方面获得了应用。

文献[4]介绍了虚拟现实技术在建筑业中的应用,通过为建筑工人配备增强现实设备,并通过视觉识别在视界中添加安全提醒,能够有效降低安全事故的发生[4]。文献[5]中利用Unity3D引擎,构建了包含机械臂、减速器等器材的虚拟机械实验室系统,可用于机械类学生的教学和实训。在提高教学效率的同时避免了实际实践中存在的安全隐患[5]。文献[6]使用大型地理数据分析的方法,开发了基于虚拟地理场景的地理信息系统(Geographic Information Systems, GIS),填补了GIS与实际地理间的空白[6]。文献[7]建立了使用虚拟现实技术的室内装修模型,使用户能够直观地感受设计方案,缓解了客户决策不理智、双方信息不对称等装修难题,减少了装修过程中的返工和材料浪费[7]。

除上述文献外,虚拟现实技术还有许多其他应用。如美国军队研发了名为STE的VR模拟培训项目,使士兵在踏入战区前能够在统一的虚拟系统中提前熟悉环境。我国军队和武警也使用了类似的虚拟现实系统进行反恐训练和飞行训练。华为公司在2019华为开发者大会上发布了Cyberverse平台,该平台基于增强现实技术,能够利用用户手机本身的摄像头和芯片,实现厘米级的空间定位,并在摄像头获取的图像中实时添加文字、图片及动画等要素。目前该平台已在上海南京路及敦煌莫高窟等地点获得应用,为游客提供导览及帮助服务。娱乐方面,《Beat Saber》作为最早的VR游戏之一,已在Steam平台获得了39856条评价,好评率达96%。同时哔哩哔哩、爱奇艺等网络视频平台也针对VR设备推出了相关视频资源。

五、 总结与展望

近年来,虚拟现实技术已经取得了显著进步,其用户需求和应用场景都更加清晰。本文从环境建模、表现技术、人机交互及应用场景四个方面简要介绍了虚拟现实技术的研究现状及仍需解决的问题。

虚拟现实技术最核心的特征是浸入式体验,一切相关技术和功能都应向着提高用户浸入式体验的方向发展。而虚拟现实设备体积大、重量大,虚拟环境模型的真实性不足和人机交互的丰富度低、实时性差都是制约用户体验的因素。如何解决这些问题,增强用户的浸入式体验将成为虚拟现实研究领域的热点。

总的来说,虚拟现实技术的理论研究、系统开发和应用推广等方面取得了重大进展,随着移动互联网技术和通信技术的发展,虚拟现实技术的应用范围将更加广阔。

参考文献

[1] XIAO J, ZHOU Y, ZHOU Z. Survey on Augmented Virtual Environment and Augmented Reality[J]. SCIENTIA SINICA Informationis, 2015, 45(2): 157–180.

[2] BIOCCA F, DELANEY B. Immersive Virtual Reality Technology[J]. Communication in the age of virtual reality, 1995.

[3] WALSH K R, PAWLOWSKI S D. Virtual Reality: A Technology in Need of IS Research[J]. Communications of the Association for Information Systems, 2002, 8.

[4] LI X, YI W, CHI H L, WANG X Y, CHAN A. A Critical Review of Virtual and Augmented Reality (VR/AR) Applications in Construction Safety[J]. Automation in Construction, 2018, 86(November 2017): 150–162.

[5] 林木, 张永春, 单丽君. 基于强化学习和虚拟现实技术的机械仿真教学系统研究[J]. 中国设备工程, 2020(22): 228-229.

[6] LÜ G N, BATTY M, STROBL J, STROBL J, LIN H, ZHU A X, CHEN M. Reflections and Speculations on the Progress in Geographic Information Systems (GIS): A Geographic Perspective[J]. International Journal of Geographical Information Science, 2019, 33(2): 346–367.

[7] 汪文新.虚拟现实技术在室内设计装修中的应用[J].居舍,2020(33):20-21+47.