基于虚拟现实技术的沉浸感分析与实现-张铸博士

2021-01-14

虚拟现实(Virtual Reality)集计算机图形学、人机接口技术、多媒体技术、传感技术和网络技术等多类前沿科学技术为一体,其基本表现方式是计算机模拟虚拟环境从而给人以环境沉浸感。如今,技术创新的层次已逐步升级到生态圈构建领域,VR材料、VR生产与VR应用已经成为高层次、高标准、高水平的未来转型基础,未来虚拟现实形态将由“技术功能的应用”上升到“生态圈的协同创新”。其技术特征的研究一般集中于三个方面,即构想性、沉浸感和交互性研究。构想性:实现虚构的场景生成,是物理层面的虚拟影像;沉浸感:在虚构场景的基础上实现近乎真实的知觉体验;交互性:实现虚拟环境的实时可控和反馈。沉浸感是由良好的交互和恰当的构想所构建出来的。

一、沉浸体验

从技术层面来说,沉浸感意味着计算机显示器能在多大程度上供一个全面、广泛、立体、生动的现实幻觉。而从心理学的观点出发,认为沉浸感是一种心理状态,在这种状态下,用户会感觉到一种与现实世界隔绝的感觉[1]。如图一所示根据传输方式和人为因素对信息的传输进行分类其中,增强现实(Augmented Reality)和虚拟现实的最本质区别是现实世界的感官体验是否参与,而不考虑沉浸感的参与或显示机制。因此,在虚拟现实语境中,虚拟现实指的是真实存在于所呈现的环境中的主观体验。存在感在个体认知的强弱是衡量沉浸感的一个重要指标,许多研究表明,存在感与人的行为表现是正相关的[2]。比如对比年轻人和老年人,年轻人强烈的存在感表现在更好的保持精神集中、更好的精神运动能力、更强的空间记忆。而在虚拟现实的环境中,存在感或许会被削弱,比如在一个受限的环境下进行虚拟现实的测试,或者对真实环境有很强依赖性的虚拟现实都会削弱参与和的存在感,显然,这会影响到用户在虚拟现实中的沉浸感。因为个体认知是主观的,个体认知和个体存在的关系预示着如果要创造一个高沉浸感的环境,就必须要对个体的认知进行最优评估,这样才能找到个体最适合的沉浸状态。而虚拟现实不只是针对个体,目前的虚拟现实设备并不能做到为每一个用户量身打造一个专属于自己的沉浸模式,但或许能够在未来能够实现[3]。

“晕3D”对虚拟现实的应用和推广是一个潜在的局限性。恶心、头疼和失去方向感确实会在虚拟现实的体验中产生,这些不良反应的出现可能会严重阻碍VR技术在对这些症状敏感的人群中的适用性。

虽然虚拟现实存在着“现实”与“虚拟”的混合,但它总是可以作为一个集合术语被称为混合现实(Mediated Reality)。这些例子包括VR生成的虚拟环境完全叠加在相关的物理世界上,或者广泛的AR应用。如图2所示,特别是,在MR的连续体中,AR生成了一个RV混合环境,其中大部分的视觉感觉来自真实世界,而虚拟元素的贡献较少。在增强虚拟(AV)中,真实和虚拟的比例可以被还原,这是本文没有讨论的问题。

image.png

image.png

二、沉浸感的实现

高沉浸式体验有以下几个特点:全方位、交互反馈。复杂的软硬件结合把数字世界和物理世界的信息综合起来,能让用户体会到高度身临其境的、整体的和真实的体验。虚拟现实系统软件是一套集设计开发于一体用于维持虚拟的“临场感”,呈现给用户的数据都是经过筛选的,通常包括是硬件、软件和算法。硬件包含处理器、显示器、传感器和输入/输出设备,而软件和算法指的是如何实现VR场景,输入设备是用户与虚拟世界交互的手段。它们将用户的动作信号发送给系统,通过输出设备向用户提供实时的反馈。带有VR引擎的计算机用于处理VR与用户交互的信息,并提供设备的输入/输出接口。例如,更强大的处理能力和强大的图形加速器,或者通过高速通信网络互连的分布式计算机系统,可以实时计算和生成图形模型、对象渲染、光照、贴图、纹理、仿真和显示。下面从光影实时模拟、空间碰撞检测的角度对实现沉浸式虚拟现实的实现现进行阐述。

2.1 光影实时模拟

光影实时模拟是新一代计算机虚拟现实技术三维场景中的环境模拟技术延伸,它不仅包括全局光照技术,实时渲染技术,而且将运用新的实时渲染技术及其粒子系统对现实中的光影变化进行仿真,使三维虚拟场景中的光影视觉感受更加真实。光影实时模拟中的渲染技术是解决虚拟漫游场景中光照效果是否产生真实感的核心技术之一。光影实时模拟中渲染技术可分为非实时渲染和实时渲染[4]。

1.非实时渲染:一般是设定光源和场景物体的材质属性参数值,通过图形系统中的渲染器辅助工具,把光源对物体的光照效果直接输出成纹理贴图,在显示的时候不对物体进行光照计算,只进行贴图计算。非实时渲染可以借助复杂的高效果的工具,对场景进行精细的长期的渲染,然后在浏览的时候直接利用这些以前渲染的数据来绘制,从而可以在保证渲染速度的同时获得很好的渲染质量。其缺点是,不能很好的处理动态的光影和变化的材质,在交互性比较强预渲染的计算速度很快,多用于大型场景的光影环境模拟,典型技术方法是阴影贴图技术,纹理烘培技术。

2.实时渲染:通过硬件图形加速卡完成光影仿真计算过程。实时渲染就是每一帧都不预先设定,在场景变幻的同时针对当时实际的光源和材质属性参数进行光照计算。实时渲染的每一帧都是根据实际环境变化计算出来的,可以对用户的输入做出相应的反应,提供丰富的用户交互,典型方法有:光栅化技术、光线跟踪技术、光能传递技术。

2.2 空间碰撞检测

用户与虚拟现实系统中场景交互的准确性和实时性是考察用户在虚拟场景中视觉沉浸感的重要指标。随着虚拟场景复杂度的不断提高,碰撞检测逐步成为一个难点和热点问题,其准确性和实时性之间的矛盾越来越突出,无法同时满足。但对于虚拟现实的沉浸感而言,这两方面是缺一不可的。碰撞检测的实时性能够首先保证视觉效果的真实性,而碰撞检测的精确性,能够给出正确的反馈信号,作用于用户的外部设备,而这其中,外部设备根据碰撞检测得到的信号正确而实时的动作,反作用于用户,又可从感觉和视觉方面进一步提高沉浸感。

目前,国内外许多专家和学者已经针对碰撞检测问题开展了很多有重要价值的研究工作,其研究可分刚体和软体的碰撞检测,刚体的碰撞检测又可分为基于物体空间的和基于图像空间的两大类碰撞检测算法[5]。其中基于物体空间的碰撞检测算法又可划分为基于层次包围盒的碰撞检测算法和基于空间分解的碰撞检测算法,它们都是碰撞检测领域应用最为广泛的算法。

三、总结

本文从虚拟现实的沉浸感为出发点,对沉浸感这一概念作出了分析,并介绍了如何实现或提升沉浸感的方法,文中有许多尚待解决的问题,比如如何通过技术方法解决“晕3D”问题、如何将光影实时模拟推广至民用产品当中。

参考文献

[1]郭际,易魁.虚拟现实产业生态圈的技术创新、系统特征与运行机制[J/OL].企业经,2020(12):77-86[2020-1211].

[2] Jaziar Radianti, Tim A. Majchrzak, Jennifer Fromm, Isabell Wohlgenannt, A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda, Computers & Education, Volume 147, 2020, 103778, ISSN 0360-1315,

[3]Nick Corriveau Lecavalier, Émilie Ouellet, Benjamin Boller & Sylvie Belleville (2020) Use of immersive virtual reality to assess episodic memory: A validation study in older adults, Neuropsychological Rehabilitation, 30:3, 462-480, DOI: 10.1080/09602011.2018.1477684

[4]范闯. 虚拟漫游中光影实时模拟技术与沉浸感幻觉生成[D].哈尔滨工业大学,2009.

[5]刘秀玲. 虚拟现实交互控制视觉沉浸感关键技术的研究与实现[D].河北大学,2010.