5G网络引领VR技术的未来发展-李庆普博士

2021-07-15

  5G网络引领VR技术的未来发展

  摘要:虚拟技术VR的机会即将到来,未来一年将迎来VR的高速发展期。本文通过回顾和分析VR的发展进程,客观指出VR发展与应用推广的网络瓶颈。通过分析虚拟技术VR实现所需要的技术支持,进一步指出5G网络对VR发展的促进作用。目前5G+VR的应用领域及方向,进一步展望了5G高速通信技术下VR技术的高速发展态势。

  关键词:虚拟现实技术,发展历程,VR的实现,5G+VR

  1 虚拟现实技术(VR)概况

  虚拟现实技术VR(Virtual Reality),又称“灵境技术”、“虚拟环境”,起源于20世纪30年代,却受限于当时的技术无法得到发展与普及。在21世纪高新技术高速发展的大环境下飞速发展。VR系统集中了计算机图形、仿真、人工智能、感应、显示、网络等各项技术的高新成果,把采集来的现实生活中的各项数据,经过计算机系统转化成电子信号,再输送到各种输出设备,进而使其转化为人们能够感知到的视觉、触觉、听觉等现象。这些展现的虚拟现象可以是现实中真实存在的,也可以是想象中的虚拟的物体,模拟生成一个虚拟的三维空间世界,可以让体验者有身临其境的感觉。

  虚拟现实技术虽然起源于20世纪,但是由于之前实现此技术所需要的技术硬件设备大,耗费资金较多,一直只能应用在飞行员模拟飞行以及军事模拟训练等场景。直到最近电子设备硬件性能的迅速提高,许多公司开发出低功能耗高频处理器、高分辨率、高刷新率显示屏幕、精巧准确的重力感应和陀螺仪传感器等设备,VR技术才能依靠计算机和智能手机开始在大众人群传播。与此同时,VR应用对网络的运行要求也提出了更高的标准。正在高速发展的5G技术满足了今后流量1000倍以上的增长需求,可以说未来5G网络会让VR技术的大部分应用成为现实。

  2 虚拟现实技术(VR)的发展历程

  虚拟现实技术(VR)经过半个世纪的发展,大致可以分为以下四个阶段:

  第一个阶段:概念萌芽阶段,20世纪50年代之前。虚拟现实技术(VR)构想的萌芽出现在20世纪30年代,但是受限于当时技术的发展。虚拟现实构想最早出现在1935年科幻小说家温鲍姆(S.G. Weinbaum)发表的短篇科幻小说中,他描述了小说主人公皮格马利(Pygmalion)在戴上特制护目眼镜后进入另一个世界的奇特体验。1929年Edward Link 以有声形动态模拟技术设计的用于训练飞行员的模拟器,是涵盖虚拟现实思想的阶段。

  第二个阶段:技术探索阶段,20世纪50年代至70年代。借助于当时的机械、声光、电子等技术,Morton Heilig在1962年开发创建了一个名为Sensorama的设备,可在五部短片同时进行多种感官(听觉、视觉、味觉、嗅觉)的体验;1968年Ivan Sutherland 成功研制出带跟踪器的头盔立体式显示器(HMD);1972年Nolan Bushell开发出第一个交互式电子游戏Pong。

  第三个阶段:突破发展阶段,20世纪70年代至90年代。虚拟现实技术发展速度加快,光学技术和其他触觉设备同步发展,这让用户在虚拟空间中移动和交互成为现实。Jaron Lanier 于1985年创办VPL Research 研究几种虚拟现实设备,例如数据手套、眼镜电话、音量控制等,使得虚拟现实广为人知。1987年Jim Humphries 设计研发了双目全方位监视器(BOOM)的最早原形。同年兰尼尔(J.Lanier)首次提出“虚拟现实”术语。作为视觉编程实验室创始人,他致力于研发数据手套和可视电话头戴式显示器等虚拟现实设备,这也是第一家出售虚拟护目镜和手套的公司。

  第四个阶段:产业应用阶段,20世纪90年代至今。1991年日本世嘉株式会社(SEGA)发布SEGA VR虚拟现实耳机街机游戏和家用游戏机,通过使用液晶显示屏幕、立体声耳机和惯性传感器,系统可以追踪体验者头部运动并进行游戏反馈;同年发布的Virtuality游戏,其中包含头盔和外骨骼手套,这是第一个三维虚拟系统;1994年SEGA VR-1运动模拟器街机,能够跟踪头部运动并绘制立体的3D图像;1999年Philip Rosedale 创建林登实验室,重点研究使电脑用户完全沉浸于360度虚拟现实中的硬件设备。进入21世纪后,得益于图形处理、动作捕捉等其他相关技术突破,虚拟现实技术研究进入高速发展阶段。2007年,谷歌开通了地图街景功能,将街道图像与地图合并,自然显示街道级实景图像。为方便用户导航,谷歌公司于2010年推出3D立体模式街景图像。虚拟现实在这个阶段迅速进步,理论和技术同步跨越幅度较大。在2012年,谷歌公司上市虚拟现实眼镜设备“Google Glass”,Oculus公司发布虚拟现实头戴式显示器“Oculus Rift”。2014年,三星公司Gear VR与谷歌公司Google Cardboard先后问世,虚拟现实设备可获得性增强,用户更广泛地探索虚拟现实技术可能性。此后到2016年,宏达(HTC)公司开始对外销售HTCVive。虚拟现实头戴式显示器设备领域最具竞争力的领先产品出现,行业发展竞争势头突显,2016年也被视为虚拟现实技术发展的关键一年。2018年,沃尔玛公司开始尝试使用虚拟现实技术进行员工培训,未来将投资17,000个Oculus耳机,使虚拟现实培训成为所有单位的标准。虚拟现实技术应用领域不断拓展,社会和经济价值得到深度挖掘。

  3 虚拟现实技术(VR)的实现

  VR并非单一技术,而是众多高新技术的集合。这些技术有的已经发展成熟,有的却还是处于初步发展阶段。

  (1)对用户意图的捕捉:这是一种输入方式,类似于用户通过鼠标、键盘和计算机交流,VR技术可以通过用户的手势和其他肢体动作实现人机交互,也可以看做是机器对用户需求的再度理解。目前绝大部分VR设备都是头戴式的,用户只通过头部运动就可以对虚拟世界进行控制。

  (2)对人物的捕捉:主要体现为对用户面部表情和肢体动作的捕捉,重现用户的外貌、情绪等。比如说未来在召开会议时可以在人员不亲自到场的情况下,其他参与者通过VR设备观察到其一举一动及喜怒哀乐等状态。目前微软的Kinect 已经可以对用户的表情做出识别。在对用户的行动分析处理方面,英国南安普顿大学的技术处于世界领先水平。通过光学设备捕捉人物的各种动作,在过滤掉无用信息后,被观测者运动部位骨骼、关节的运动角度、幅度都可以被测量。而且测量的数据可以非常精确的刻画被观测者的动作。

  (3)对环境的捕捉:为了在虚拟现实世界中重现真实的世界,对拍摄视频和几何捕捉技术要求很高。这两种技术都要运用到图像处理。经过对设定对标点、图像的校正、全景的拼接和色彩平衡等处理后,现实场景可以在虚拟现实世界中被完全还原。其中图像的校正尤为重要。因为VR设备使用时,图像需要先经过双凸镜片才会入到人眼,这个过程中图像经过折射会发生扭曲。而为了展现更类似于真实场景的图像,图像需要先经过畸变处理,保证其经过双凸镜之后到达人眼时更便于人类认知。

  (4)VR实时服务:旨在实现本地和异地人物动作场景同步。虚拟现实VR设备通过采集用户的信息,在虚拟的环境中重现人物动作,同时将采集的动作上传到云端,再通过云端传送到异地VR设备实现人物动作在各个设备上的同步。而虚拟场景信息则与云端实时交互以达到同步。

  要实现以上VR服务最大的瓶颈就是需要解决超高速数据流的传输能力。比如说仅传输高清场景所需要的网络宽带。假设单幅场景图像由1920×1080个像素组成,而每个像素占用24个比特,则单幅场景图像由1920×1080×24个比特组成。一般情况下人眼看到的场景每秒由25帧组成,则传送场景每秒所需要传输的数据量为1920×1080×24×25,约1.244Gbps。如果单纯考虑到宽带,传送场景则可以通过编码技术对数据流进行压缩。

  实现实时VR服务的另一个瓶颈则是对时延的要求,这就对网络宽带提出了更高的要求,即1Gbps以上。在现有的LTE技术中,传输时间间隔为1ms,系统最小往返时间约为10ms,也并不能满足VR实时服务对时延的要求。5G技术正好能够满足实时VR服务对网络宽带和时延的要求。现有研究成果表明,5G网络技术的峰值传输速率现在已经能够达到10Gbps。而在时延方面的发展趋势,5G网络技术传输时间间隔和系统最小往返时间将控制在10-25μm和0.1ms之内。5G网络的高速发展为VR打下了坚实的基础,助力VR高速发展成为现实。

  4 5G+VR应用领域

  5G(第五代移动通信技术)是目前最新的蜂窝移动通信技术,它采用了比传统2G/3G/4G/WIFI网络更高频段的毫米波频谱,结合了大幅度提高频谱效率的Massive MIMO技术、正交频分复用技术OFDM、空分多址技术SCMA、同时同频全双工CCFD、3D波束赋形、D2D(同基站下终端与终端可直接通信,无需经过基站)技术。

  4.1 5G+VR直播

  VR产业链已经准备齐全,在基于现在5G高速网络、成熟的移动场景下高清晰VR应用解决方案已经非常广泛的被使用,以超清VR直播为例,方案如下图。

  

李庆普-5G网络引领VR技术的未来发展.png


  超高清VR直播系统主要由VR全景摄像编码一体机、5G基站、5GCPE、CDN、光猫+5GWIFI、VR头显几部分组成。各部分的功能和作用下所述:

  VR全景摄像编码一体机:360度全景摄像机可无盲点拍摄覆盖所处场景,配备6-8个鱼眼摄像头,拥有360度全景视场(Field of View, FOV),并对全景视频图像进行合成、编码成VR视频流,并将VR视频流推送到电信CDN。

  5GCPE:Customer Premise Equipment,可以对5G信号进行二次中继,发出WIFI信号,让周围的各类移动终端和设备,可以通过WIFI接入5G高速网络。

  5G基站:5G网络核心设备,提供无线覆盖,实现有线通信网络与无线终端之间的无线信号传输,5G网络现阶段主要工作在3000-5000MHZ频段,由于频率越高,信号传播过程中的衰减也越大,所以5G网络的基站密度将更高。

  CDN: Content Delivery Network(内容分布网络),构建在现有网络基础上的智能虚拟网络,通过中心平台的负载均衡、内容分布、调度等技术,将用户访问请求调度到部署在各地的边缘服务器,使用户就近获取所需内容。例如VR直播视频流,提高用户访问响应速度和命中率。

  光猫+5GWIFI:新一代光猫支持5G频段千兆WIFI,可为超高清VR直播提供稳定的数据传输通道。

  VR头显:虚拟现实头戴式显示设备,将人对外界的视觉、听觉封闭,引导用户产生一种身在虚拟环境中感觉。其显示原理是使用左右眼屏幕分别显示左右眼的图像,通过一个偏心自由曲面透镜,使影像变成类似大银幕画面,同时使人眼获取这种带有差异的信息后在脑海中产生立体感。

  4.2 5G+VR培训

  当今社会商业运营快速而多变,各个领域的工作人员需要不断的适应,学习,改变才能跟上社会进步的节奏。

  逼真的VR环境模拟极大程度上加深了培训的沉浸感,可以让培训的技巧和思维在关键时候发挥作用,有利于帮助VR培训更有效率的完成规范化培训。VR培训不仅仅能加快学习技能的进度,还能帮助企业和员工将现实技能与工作角色、岗位进行更优的分配。

  4.3 5G+XR混合现实

  随着5G网络的高速发展和大面积普及,图形处理和运算将更多地在网络上处理、实时光线追踪、可变比例着色(VRS)等强大的新图形技术可利用云端强大的运算能力进行渲染,使用基于视频透视的混合现实能让使用者在沉浸式虚拟环境中操作实物界面,转变培训、模拟以及虚拟原型构建方式。混合现实能够用逼真的图像取代全息图像,让使用者能够控制所看到的每个像素。

  5 结束语

  随着科技的不断进度,VR从开发到发展,再到广泛被应用,经历了四个阶段。这四个阶段明确展现了VR技术的独特的技术特点和对网络的要求。要想实现VR对用户意图的捕捉、对人物的捕捉、对环境的捕捉,特别是要想实现VR的实时服务都离不开网络。无论是VR直播,VR培训,XR都已经在5G高速网络的助力下被广泛普及应用。借助5G网络商用所带来的大宽带和低延时,未来VR将突破宽带瓶颈,摆脱试用阶段,进入大规模商用阶段。

  参考文献

  [1]孟优悠.VR发展 你的机会来了[J].成才与就业,2018(Z1):48-49.

  [2]杨东.5G带动VR的发展及应用研究[J].通信与信息技术,2020(06):44-46.

  [3]张哲铭. 5G技术下的VR发展趋势[A]. TD产业联盟、《移动通信》杂志社.面向5G的LTE网络创新研讨会(2016)论文集[C].TD产业联盟、《移动通信》杂志社:中国电子科技集团公司第七研究所《移动通信》杂志社,2016:3.

  [4]袁丽平.基于5G的VR/AR在高等教育教学的应用[J].现代信息科技,2020,4(18):190-192.

  [5]徐硕,孟坤,李淑琴,丁濛,邬丽君.VR/AR应用场景及关键技术综述[J].智能计算机与应用,2017,7(06):28-31.

  [6]惠东坡.国外电视媒体VR应用的主要问题及发展趋势[J].电视研究,2020(02):91-93.

  [7]王仁浩.VR发展历史及其在教育领域的应用初探[J].流行色,2019(01):92+94.

  [8]程贵锋,陈学亮.2020年VR发展有望重回快车道[J].通信世界,2020(06):34.

  [9]张量,金益,刘媛霞,牛丽.虚拟现实(VR)技术与发展研究综述[J].信息与电脑(理论版),2019,31(17):126-128.

  [10]曹凡.国内外VR技术研发现状综述[J].中国科技信息,2019(05):36-37.