虚拟现实与增强现实的应用调研-李迁博士

2021-01-15

虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术等多种技术的集合,是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实主要包括模拟环境、感知、自然技能和传感设各等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的虚拟现实应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势,或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入做出实时响应,分别反馈到用户的五官。传感设备是指三维交互设备。

而增强现实技术是在虚拟现实技术的基础上发展起来的,通过科学技术模拟仿真,生成一种逼真的视、听、力、触和动等感觉的虚拟环境,运用各种传感设备使用户“沉浸”在该环境中,将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,实现用户和环境直接进行自然交互,使计算机系统提供的信息与用户对现实世界的感知结合起来,从而实现对现实的“增强”,是一种全新的人机交互技术,具有虚实结合、实时交互的特点。这项技术有数百种可能的应用,其中游戏和娱乐是最显而易见的应用领域。

1. 虚拟现实与增强现实在教育类的应用

将虚拟现实与增强现实应用于教学类出版物,可以为读者及学生创造一种体验和沉浸的学习环境,达到知识建构的目的。它不仅可以表达纸质平面难以表达的状态如立体与动画,还能增加纸媒的娱乐性和互动性,是对主流教学形式的丰富和补充,为教学形式的多样化提供了更多可能。大大减少纸媒的内容,缩小篇幅,降低印刷成本,提高产品附加值。用户将不再需要光盘这类载体,只需移动终端即可实现跨媒体阅读。将教育、科技类资源应用增强现实技术来出版,实现在移动互联环境下,将云计算、物联网、感知技术、流媒体等技术集大成,实现跨媒体阅读。用户只需用在移动终端扫描纸质图书的图片,即能在移动终端上显示纸书上没有的3D 影像、音频、视频等拓展内容,这就大大减少了纸媒的内容,缩小了篇幅,降低了印刷成本,也就提高了产品附加值。

2. 虚拟现实与增强现实在教电影制作中的应用

利用虚拟现实技术在电影创作过程中,以多种感官元素支持沉浸感知,通过声音与画面的多重设计,便可以引发用户的视觉沉浸。所谓视觉沉浸,是用户依赖虚拟影响的沉浸感知,在细腻的立体画面中难以觉察场景画面的区别。在利用沉浸引导之后,融入感官体验的维度更加契合观影心理。观影者以自身角度衡量电影主题所呈现的故事线,从不同角度选择前进的方向,是虚拟现实技术为现代影视作品提供的全新设计维度。但在虚拟场景的设计中,其虚拟现实技术导入并不存在虚拟空间,观影体验如果脱离符合视觉逻辑的内容,则会降低观影体验的构想性效果。反之,当虚拟场景的设计完全与现实场景的真实性高度契合,也相当于扩宽了虚拟世界与真实世界的环境联系,是增强虚拟感知效果的构想冲击。诸如,在设计魔法火球时,设计效果应是由火焰包裹球状物,需要从内至外产生内焰到外焰的视觉感知,火球周围也需要被照亮。

运用虚拟现实技术之后,可以采用全景无死角的摄制模式,继而并不需要刻意躲避摄影器材的拍摄视线。而借助增强现实技术,即便在电影拍摄角度出现严重偏差时,也可以通过后期制作将完全不同时间、空间拍摄的现实信息进行无缝对接的视频剪辑。诸如由星皓影业有限公司制作的《西游记女儿国》便是利用增强现实技术之后,由水下虚拟场景代替演员实景拍摄。综合运用抠像、跟踪、合成等关联技术,虽然演员并未在水底进行录影摄制,但后期制作效果并未产生丝毫视觉逻辑偏差。诸如《霸王别姬》中段小楼与程蝶衣两位主角在强烈的明暗灯光辅助下才能突出人物性格及故事背景的情节因素。此时需要运用多组镜头的组合,或多部灯光设备的混合运用。引入增强现实技术后,数字化的制作方式更为便捷。在不利于增加灯光设备的条件下,融入不同基调的色彩处理模式,可以有效调整饱和度、色差、冷暖灯光或明暗灯光的对比。诸如在《北京遇上西雅图》的车体场景内,直接增加灯光辅助设备并不容易,而为了突出色泽反差的效果,后期制作融入了增强现实技术,进而通过冷暖色泽的对比效果,烘托了观影主体,并强烈吸引了观影者的关注度。在《攻壳机动队•新剧场版》的预告片中,制作方为了激发观影者的想象空间,在部分镜头中仅保留了部分视角内容,而另一部分视角则采用绿场取缔。这样的制作方式在最大限度上控制了观众的视角,同时也为观众创造了不同的想象空间。在《火星救援》中也运用了类似的拍摄方案,镜头前宇航服头盔为现实摄影角度,头盔外为虚拟场景,双向构图后控制了观众的第一视线,相当于将观众与影片主角的视线进行了融合,在一致性较高的拍摄角度中寻找到相同的影片观赏角度,对于突出构想性特征具有辅助性作用。

3. 虚拟现实与增强现实在5G时代的应用

5G网络具有高速率、广连接、低时延三大特点。国际电信联盟ITU颁布的技术标准为5G确定的八大主要性能指标,其中,速率提升和万物互联两项,从一定程度反映了虚拟现实与增强现实的发展是离不开5G高速网络的。使虚拟现实/增强现实游戏体验更加完善可以通过应用5G网络实现,在不久的将来,5G网络新技术将成为虚拟现实、增强现实产业赖以发展的通信技术。5G网络能够按照业务需求分配网络和计算资源,边缘计算支撑固定网、移动网业务发展,如车联网、虚拟现实、视频优化加速、监控视频分析等,将部分云数据中心的计算业务分给边缘计算服务器,进行局部聚焦实时、短周期数据的分析。然后,根据移动边缘计算服务器提供的丰富计算资源和存储资源,缓存的音频/视频内容,合并位置信息以确定推送内容,并将其发送给用户,从而更好地支撑本地业务的实时智能化处理与执行。例如,当获取了增强现实信息(用户位置及摄像头视角)后交由就近的具有计算分析能力的移动边缘服务器进行分析处理,从而减少了将数据传输至数据中心分析处理后再回传的时延。移动边缘计算在增强现实中的应用如图1所示。

 image.png

图1 移动边缘计算在增强现实中的应用

对虚拟现实产业来说,把大流量的图像背景渲染限制在网络边缘,大大减少了对主干传输的压力。此外,通过用户面网关下沉、应用边缘化等方法大大减少了网络时延,更好地满足虚拟现实业务需求,推进虚拟现实创新应用的开展,为虚拟现实产业应用带来巨大的发展空间,进一步提高虚拟现实应用的交互性和沉浸感,让虚拟现实技术从传统的文娱行业向各垂直行业应用拓展。移动边缘计算应用边缘化降低时延如图2所示。

image.png 

图2 移动边缘计算应用边缘化降低时延

虚拟现实与增强现实在教学上的应用对于教育领域中实现技术开发与实践都具有重要的现实意义,对于教育教学政策制定、政策实施具有重要的借鉴意义。综合运用增强现实技术与虚拟现实技术也是现代影视作品不断创新的创作方向,将有助于改变摄影模式和观影方式,并为观影者提供完全不同的体验效果。当5G时代到来之后,虚拟现实/增强现实在传输方面的屏障将被打破,困扰虚拟现实/增强现实技术在移动端应用的难题将会迎刃而解。虚拟现实/增强现实技术情景体验为了更具有真实感,需要十分细致的纹理与质感,在5G网络下这种需求很容易实现。基于5G中网络切片和边缘计算这两项关键技术,可以满足虚拟现实/增强现实在诸多场景中的模型应用,并让运营商以低成本为用户提供服务。