2020年,虚拟现实的若干典型应用--江涛博士

2020-10-02

2016年针对下一代智能计算平台,国内外兴起一场史无前例的虚拟现实技术浪潮。虚拟现实很可能成为智能手机之后下一代个人计算及通信平台。虚拟现实是由计算机视觉、仿真技术、人机交互等多种信息技术演变发展而来的新型计算机技术。通过将视觉与现实世界隔离开,借助显示设备,使人能够穿越沉浸于一个完全的虚拟世界。虚拟现实和增强现实作为提供连接数字世界与真实场景的纽带,已成为沉浸式数字应用的核心技术之一,在相关设备的支撑下,沉浸式数字应用必将呈现爆炸式增长。

虚拟现实技术的分类

目前,VR技术主要分为桌面式、分布式、沉浸式和增强式四种,如Table 1所示 [1]:

Table 1: VR的技术分类

 3.png

近期出现的消费级的VR设备包括输入和输出两个部分,并按照输出部分可分为如下3种[2]: 

1) 轻量级VR(例如,手机盒子)。即依托移动设备的头戴式VR,无独立的计算与存储配件及显示设备,沉浸效果较差,但成本较低,易携带。代表产品就是三星与Oculus合作推出的Gear VR with Controller [3].

 1.png

Figure 1: 三星和Oculus合作推出的Gear VR

2) 基于PC的VR(或VR头盔)。是将 PC 作为计算和存储平台,VR头盔通过有线连接到PC平台,结构较复杂,但具备独立的显示屏,沉浸感较好。最主要的三款代表性的产品Oculus Rift S头盔(Figure 2)[4]、HTC Vive头盔(Figure 3)[5]、PlayStation VR头盔(Figure 4)[6]。

 2.png

Figure 2: Oculus Rift S头盔

4.png

Figure 4: PlayStation VR

3) 独立式VR(或一体机)。内置CPU/GPU、显示屏等部件,能够独立运行。迄今尚未成熟,但有望成为未来的主流设备形态。输入设备目前主要包含: 动作捕捉器、位置跟踪器、眼动仪等。其代表性产品除了国外的Oculus、HTC、索尼三巨头外,国内的一些产品的表现也可圈可点,譬如,Pico neo 2(Figure 5)[7]、爱奇艺的奇遇2 Pro、NOLO X1 VR等6自由度的VR一体机。

 5.png

Figure 5: Pico Neo 2,头手6DoF VR一体机

VR的典型应用

VR的典型应用场景,根据其面向群体的不同,可以分为面向消费者的VR应用、面向生产者的VR应用。

面向消费者的VR应用

游戏VR

游戏是 VR 技术重要突破口,也是以最轻松的方式认识和学习新事物的一种良好渠道。目前,以头戴式设备( HMD) 为主的沉浸式游戏模式已掀起了业界热潮。已有不少公司发布了各类虚拟现实游戏及相关设备,从根本上改变了传统的键鼠/手柄操作模式。其中,HTC VIVE在音乐演奏游戏上的成果获得较强吸引力[8],如Figure 6所示:

 6.png

Figure 6: If You Want to Escape with Me LIV实机演示

HMD 这种即时跟踪,能够通过调整用户游戏视角,完善游戏体验的模式,弥补3D游戏沉浸感的不足。虽然多数游戏依然处于探索阶段,但随着时间的推移,VR/AR游戏势必受到为数众多年轻人的推崇与追捧。

影视类VR

在影视娱乐方面,VR技术的应用场景经历了本地视频改造、VR动画展示、及借助 360°全景摄像、双目摄像等设备, 通过拼接算法制作UGC影视等多个过程。在电影领域,更多地采用VR技术拍摄的影片进入大众视野。

数字科技馆/博物馆

在数字科技馆/博物馆方面,最初,从参与者通过键盘鼠标操作浏览预制的虚拟场景展物,转变为利用 3D 眼镜等可穿戴设备实现人机互动,以更好地体验“身临其境”的感觉。部分学者认为,以3D VR为基础,通过简单的展现和描述物品的模式不如传统网站以叙事的方式更有利于对文化内容的学习和理解。然而最终,通过建立云端3D虚拟展览馆,借助虚拟人物和游戏的方式营造文化遗产的学习环境,这种方式赢得了专家的肯定。在增强交互性的同时,也达到传播知识的目的。

目前,国内外已建立了一系列大型虚拟博物馆,如阿伽门农博物馆、大英博物馆、奥运博物馆等。这些场馆的出现成功解决了实体博物馆时间、空间、交互的限制,有效缩短了展品的更新周期,是检验新技术,促进国际性交流、学术研究的重要科普方式。

面向生产者的VR应用

科学计算:工程仿真的结果可视化

西门子的STAR-CCM+是一个完整的多物理场解决方案,利用连续介质力学数值技术(computational continuum mechanics algorithms),不仅可以进行流体分析,还能够解析结构应力/电磁场,其目标是具备可以解析任何连续体力学场的功能。从v13.02版本开始,其内置的Simcenter STAR-CCM+ Virtual Reality功能可以让用户以身临其境的方式,便捷地对基于力学、热力学等的仿真结果进行直观地观察,从而能更好地理解其物理意义,加深科学洞见、加速产品开发进程。譬如,对于带有内部冷却通道的涡轮叶片,我们可以以第一视角对网格划分情况进行检查,以预判网格质量是否足以产生正确的数值仿真结果(如Figure 7)。

  7.png    8.png

Figure 7: Simcenter STAR-CCM+ Virtual Reality,以第一视角查看网格和结构体内部情况

我们可以3D打印出零件模型,但我们却无法查看机械零件的。工程软件借助于VR可以实现“飞梭浏览”功能,这使我们可以快速了解这些内部通道的复杂性,而所有这些检视工作大约只需一两分钟。虽然用传统的鼠标也能老牛拉破车地处理这些工作,但虚拟现实技术给科学计算的可视化结果插上了翅膀,让我们能够“春风得意马蹄疾,一日看尽长安花”——而这更有助于捕捉转瞬即逝的科学灵感,发现设计中潜藏的问题——相信每一个科研工作者都有此体会。

军事心理训练

VR 技术具有沉浸感、临场度(Presence)和交互特性。沉浸感也称感觉运动沉浸(Sensorimotor Immersion),指物理刺激作用于感官系统的程度、及运动系统对输入刺激的敏感性。沉浸感与虚拟环境中的感觉运动的神经通道、感觉刺激的真实程度和运动刺激输入的易反应性(如头部和身体的运动)有关[9]。而VR技术的沉浸感可以通过人类的心理行为机制[10]、心理生理机制[11, 12]、认知神经机制[13, 14]等对人类的心理进行干预,这些也是虚拟现实军事心理训练的科学基础。

因此,在军事心理学领域中,VR技术广泛应用于心理选拔、心理培训以及心理治疗中[15]。该技术以其独特的优势将在未来战争中发挥越来越重要的作用。《世界国防科技年度发展报告(2017)》指出:“虚拟训练已成为军事技术训练的重要手段,将加速走向战场,并上升为实现国家战略的主要动力。”

也正是由于VR技术通过构造的虚拟环境来触发人的生理和心理的反应 [9],能模拟军事情境中高危、高压和不可逆的战场情境,同时极大程度上保证军人安全,可使军事心理训练实现逐级升高、条件可控、可重复操作,因此VR技术已广泛用于军事训练中。美军已广泛开展基于VR技术的心理训练体系,如高压力认知功能评估与增强的“VRCPAT”训练系统[16]、应激接种/管理训练[17–19]、心理弹性“STRIVE”训练系统[20–22]、创伤后成长“BRAVEMIND”训练系统等[23]。

我军VR技术在心理训练领域中的应用尚处于理论建构阶段[24]。在习主席提出的“实战化”军事训练要求下,需要依托VR技术平台,搭建符合我军军事需求和作战样式的VR刺激库、建立多维的评估体系、探索军事心理训练作用机制、建立VR军事训练示范平台并推广,通过心理训练强健我军军人的心理素质,从而为提升我军实战化条件下的战斗力生成已成为亟待解决的重要课题。

结束语

过去几年,VR在理论研究、关键技术创新、应用拓展等方面取得了突破性成果。未来,随着VR技术的不断进步,在电子商务、电视直播、社交等领域,有望突破时空约束。用户可通过“数字虚拟化身”的表现来改善性格,甚至进行“全球购物”,给用户带来更充沛的临场感。为实现上述目标期许,在一些关键技术与理论支撑上,后续研究仍然面临着巨大的挑战。

参考文献

[1]徐硕, 孟坤, 李淑琴, 丁濛, and 邬丽君, “VR/AR应用场景及关键技术综述,” 智能计算机与应用, vol. 7, no. 06, pp. 28–31, 2017.

[2]EDNChina, VR爆棚:三种形态和三大关键指标是什么?-EDN 电子技术设计. [Online]. Available: https://www.ednchina.com/article/10572.html (accessed: Sep. 28 2020).

[3]Oculus, Gear VR Powered by Oculus: A Portable VR Device | Oculus. [Online]. Available: https://www.oculus.com/gear-vr/?locale=zh_CN (accessed: Sep. 28 2020).

[4]Oculus, Oculus Rift S: VR Headset for VR Ready PCs | Oculus. [Online]. Available: https://www.oculus.com/rift-s/ (accessed: Sep. 28 2020).

[5]HTC, 找到适合你的高端虚拟现实设备| VIVE™. [Online]. Available: https://www.vive.com/cn/product/#vive%20series (accessed: Sep. 28 2020).

[6]PlayStation, PlayStation VR | PlayStation. [Online]. Available: https://asia.playstation.com.cn/chs-cn/psvr/ (accessed: Sep. 28 2020).

[7]Pico, Pico,A New Reality | Pico VR一体机 | 探索虚拟现实新世界. [Online]. Available: https://www.pico-interactive.com/neo2.html (accessed: Sep. 28 2020).

[8]LIV, 【Beat Saber】If You Want to ESCAPE with Me LIV实机演示_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili. [Online]. Available: https://www.bilibili.com/video/BV1dW41137ZM?from=search&seid=4177068583089805813 (accessed: Sep. 28 2020).

[9]C. J. Bohil, B. Alicea, and F. A. Biocca, “Virtual reality in neuroscience research and therapy,” Nat Rev Neurosci, vol. 12, no. 12, pp. 752–762, 2011.

[10]D. P. Wood et al., “Virtual reality graded exposure therapy with arousal control for the treatment of combat related posttraumatic stress disorder: a follow up case series,” Studies in health technology and informatics, vol. 199, pp. 141–145, 2014. [Online]. Available: https://pubmed.ncbi.nlm.nih.gov/24875708/

[11]M. E. Costanzo et al., “Psychophysiological response to virtual reality and subthreshold posttraumatic stress disorder symptoms in recently deployed military,” Psychosomatic medicine, vol. 76, no. 9, pp. 670–677, 2014, doi: 10.1097/PSY.0000000000000109.

[12]A. K. Webb, A. L. Vincent, A. B. Jin, and M. H. Pollack, “Physiological reactivity to nonideographic virtual reality stimuli in veterans with and without PTSD,” Brain and Behavior, vol. 5, no. 2, e00304, 2015, doi: 10.1002/brb3.304.

[13]K. B. Highland et al., “Catecholamine responses to virtual combat: implications for post-traumatic stress and dimensions of functioning,” Frontiers in psychology, vol. 6, p. 256, 2015, doi: 10.3389/fpsyg.2015.00256.

[14]S. D. Norrholm et al., “Baseline psychophysiological and cortisol reactivity as a predictor of PTSD treatment outcome in virtual reality exposure therapy,” Behaviour research and therapy, vol. 82, pp. 28–37, 2016, doi: 10.1016/j.brat.2016.05.002.

[15]唐元凯, 沈兴华, 郑兴锋, and 夏照帆, “虚拟现实技术在军事心理学研究中的应用,” 解放军预防医学杂志, vol. 36, no. 10, pp. 1358–1360, 2018.

[16]T. D. Parsons, C. Courtney, A. A. Rizzo, C. Armstrong, J. Edwards, and G. Reger, “Virtual reality paced serial assessment test for neuropsychological assessment of a military cohort,” Studies in health technology and informatics, vol. 173, pp. 331–337, 2012.

[17]S. Popović, M. Horvat, D. Kukolja, B. Dropuljić, and K. Cosić, “Stress inoculation training supported by physiology-driven adaptive virtual reality stimulation,” Studies in health technology and informatics, vol. 144, pp. 50–54, 2009. [Online]. Available: https://pubmed.ncbi.nlm.nih.gov/19592729/

[18]S. Bouchard, O. Baus, F. Bernier, and D. R. McCreary, “Selection of key stressors to develop virtual environments for practicing stress management skills with military personnel prior to deployment,” Cyberpsychology, behavior and social networking, vol. 13, no. 1, pp. 83–94, 2010, doi: 10.1089/cyber.2009.0336.

[19]F. Pallavicini, L. Argenton, N. Toniazzi, L. Aceti, and F. Mantovani, “Virtual Reality Applications for Stress Management Training in the Military,” Aerospace medicine and human performance, vol. 87, no. 12, pp. 1021–1030, 2016, doi: 10.3357/AMHP.4596.2016.

[20]K. J. Reivich, M. E. P. Seligman, and S. McBride, “Master resilience training in the U.S. Army,” The American psychologist, vol. 66, no. 1, pp. 25–34, 2011, doi: 10.1037/a0021897.

[21]A. Rizzo et al., “Virtual reality goes to war: a brief review of the future of military behavioral healthcare,” Journal of clinical psychology in medical settings, vol. 18, no. 2, pp. 176–187, 2011, doi: 10.1007/s10880-011-9247-2.

[22]A. '. Rizzo and R. Shilling, “Clinical Virtual Reality tools to advance the prevention, assessment, and treatment of PTSD,” European journal of psychotraumatology, vol. 8, sup5, p. 1414560, 2017, doi: 10.1080/20008198.2017.1414560.

[23]G. M. Reger et al., “Randomized controlled trial of prolonged exposure using imaginal exposure vs. virtual reality exposure in active duty soldiers with deployment-related posttraumatic stress disorder (PTSD),” Journal of consulting and clinical psychology, vol. 84, no. 11, pp. 946–959, 2016, doi: 10.1037/ccp0000134.

[24]陈永科 and 芮杰, “虚拟现实技术在战时心理训练系统的应用研究,” 兵器装备工程学报, vol. 38, no. 06, pp. 161–164, 2017.