引言

近年来，虚拟现实（virtual reality, VR）、混合现实（mixed reality, MR）、增强现实（augmented reality, AR）在学术界和工业界引起极大的关注，业界也将这三种技术统称为扩展现实Extended Reality (XR)。其中，VR提供一种革命性的下一代沉浸式娱乐交互方式，而MR和AR有很大的希望能够使用户从单一的智能手机屏幕中摆脱出来，增强用户的观感体验。本质上讲，VR、MR以及AR都是数字内容与现实混合的结果，不同之处在于与现实混合的比例差异。MR和AR都是需要用户周围的真实环境共同实现，其中，AR更关注真实世界的元素，而MR中虚拟的元素起主导性的作用。因此，AR和MR的眼镜和穿戴设备不需要将外部世界完全隔离，仅需要覆盖用户当前视角的数字内容部分，为了使用户感觉真实，AR和MR需要构建环境的3D模型，然后将虚拟的元素放到合适的位置以防止出现遮挡的现象。与之相反的，VR则是百分之百虚拟的模拟体验，它是利用计算机技术模拟产生的三维空间的虚拟世界。VR借助头戴式显示器（head mounted display, HMD）完全覆盖用户的视场角（field of view, FoV）然后通过屏幕播放的内容变化相应地反馈用户眼睛以及头部运动。

基于场景理解的AR是目前使用的最广、最有前景的AR展现形式。2016年日本任天堂公司推出的Pokemon Go手游是使用的AR技术。玩家可以通过手机屏幕在现实环境里发现精灵，然后进行捕捉或者战斗。由于AR本质上是把虚拟的东西叠加到真实世界，因此物体识别和场景理解在AR应用中起着至关重要的作用，直接关系到最终呈现效果的真实感。

MR依赖HMD强大的3D渲染能力和交互感知能力，实现全息影像与现实生活的水乳交融，在医学应用中，3D器官影像能够直接帮助医生与患者沟通，展示病灶的位置和治疗方法；在建筑规划中，设计师可以将各种设计灵感在现实世界可视化，展示建筑风格与部署，更好的促成商业合作。目前MR应用比较成熟的设备则是Microsoft推出的 Hololens和Magic Leap 公司推出的 Magic Leap One。

与AR和MR相比，VR因其革命性的交互方式受到更为广泛地关注和普及，VR体育直播/大型活动直播、VR旅游、房产视频点播/直播、UGC（user generated content）VR游戏点播/直播、VR会议、VR直播等应用得到广泛应用和推广。据预测，到2025年，VR应用市场将达到300亿美元。最近，包括苹果、谷歌、Facebook、YouTube等IT公司也纷纷布局VR市场。作为目前最为普及的VR应用，VR视频利用360度全景视频（360-degree Video）在HMD中构建了一个三维空间的虚拟世界，依靠强大的沉浸感（immersion）、交互性（interaction）和构想性（imagination）等特征为人们带来革命性的视觉交互体验，然而这种全新体验的代价是更高的传输带宽、更高的视频码率以及更低的延迟要求。

1、XR当前面临的主要挑战

1、1 内容制作

由于AR主要是虚拟元素与现实世界的叠加，因此其内容制作相对简单，然而VR和MR其内容制作则对拍摄设备、图像处理等方面要求门槛较高，因此当前大部分的内容制作则由专业的内容制作公司提供，这也一定程度上限制了XR的普及与发展。

VR视频内容制作需要用全景摄像机即多镜头摄像机拍摄各个方向的图像内容并进行图像拼接。目前市场上全景摄像机的镜头数量从两个到十几个不等。如果要生成双目全景视频，则每个方向上至少覆盖两个镜头。而有些全景摄像机还配置了激光雷达等深度测量设备。要生成分辨率更高的 VR 视频，则需要更高分辨率的摄像机或者更多摄像机镜头。如何降低高分辨率全景相机的成本是当前VR发展面临的一个挑战。此外，如何借助计算机图形（computer graphic）生成的类似于3D动画的VR版本，与全景拍摄相比，其最大的优势是节奏控制和调度方便，尤其是辅以各种贴图、渲染和光效，其视觉效果到达以假乱真，是未来VR实现六自由度和自由视点的一个巨大挑战。

与VR类似的，在MR中，需要大量依赖计算机图形将数字影像与现实环境融为一体，并且要求系统能正确处理虚拟物体与真实物体之间的遮挡关系。目前包括Hololens和Magic Leap One在内的MR设备在全息影像处理与显示方面仍处在探索与研究阶段，如何利用光场产生与自然光无缝融合的数字光，让数字影像与现实环境融为一体，始终是MR内容制作与显示阶段中一个具有挑战性的难题。

1.2 GPU/CPU处理能力

无论是VR还是MR都需要借助高性能的GPU实现为图像的实时渲染和处理，因此都对GPU有极高的要求，HTC的VIVE在使用是需要借助高性能的主机实现图像渲染；同样的在使用 Magic Leap One 时，需要通过数据线将头戴设备 Lightwear与高性能的便携主机Lightpack 连接起来协同工作。高性能的GPU/CPU对于降低图像渲染、处理延迟是有利的，然而随着XR内容质量以及对处理延迟的不断提高，GPU/CPU处理能力则成为图像渲染、处理延迟的关键瓶颈。

2、网络传输能力

2.1 无线网络的满足移动性需求

当前XR（尤其是VR）的内容主要是本地内容播放或者有线的内容传输为主，一方面由于目前HMD硬件渲染能力的限制，大部分VR视频首先在具有渲染能力的电脑进行视频渲染，然后通过高清多媒体接口（high definition multimedia interface, HDMI）线传输至HMD进行播放，这一定程度限制了VR的应用场景。另外，目前市场上有诸如Samsung Gear 和 Google Cardboard的移动VR设备，利用智能手机进行VR视频渲染，实现了HMD的无线效果，这一定程度上解决了有线HMD的场景限制问题，但智能手机渲染处理能力以及分辨率不足的问题也同样影响用户的体验。目前XR视频传输仅能满足用户基本的XR体验，距离随时随地高质量的XR体验的行业应用需求还存在巨大的差距，其无疑限制了XR的发展与普及，解决XR内容的实时无线传输则是满足XR移动性的关键，尤其是随着5G网络的不断普及与应用，如何利用5G网络助力XR的发展是当前业界关注热点。

2.3 高数据率与低延迟的需求

VR的终极目标是无法分辨出合成的虚拟世界与现实世界的界线，而不断增加VR系统的分辨率以达到人眼的分辨率水平；使人们摆脱有线的连接自由移动是朝着这一终极目标前进的重要的一步。未来5G三大应用场景：增强型移动带宽（enhanced mobile broadband, eMBB），大连接物联网（massive machine-type communication, mMTC），超可靠、低延迟通信（ultra-reliable low-latencycommunications uRLLC）。而无线虚拟现实、混合现实、增强现实作为非常特殊的应用，同时对大带宽和超可靠、低延迟都有极高的要求：在低延迟的约束条件下（VR的延迟MTP要求20毫秒之内，MR的延迟要求则在5毫秒），以每秒数千兆比特（Gigabits）的数据发送给用户终端。众所周知，低延迟与高可靠是相互矛盾的两种要求，超可靠需要分配用户更多的资源来保证传输成功率，但这会导致其他用户延迟增加。显然，想要实现无线VR/AR的互联，需要智能的网络设计来满足可靠的、低延迟以及不同网络场景的无缝支持。

3.未来可能的技术突破点

(1)高度集成的显示设备(HMD)

当前XR的显示设备与图像渲染及处理设备并是完全集中到一个设备中的，而是通过HMDI互联的，这种并不能满足轻量化、移动性的要求。当前包括Facebook、Magic Leap在内的公司等都在高度集成的HMD上进行了不断的探索和改进，相信随着芯片集成技术的不断发展，无线网络能力、环境感知能力、图像渲染和处理能力以及显示能力终将集成到轻量化的HMD中，在满足移动性的同时，为用户提供实时的高质量的XR体验。

(2)基于计算机图形技术内容渲染与制作

随着 XR 内容质量（分辨率）的提升，图像显示计算量呈指数增长，一方面需要集成电路芯片领域持续地提升计算力降低单位计算能力成本，另一方面也需要 XR 领域图形算法的持续改进与优化，以降低 XR 图像生成的计算量，并且提供高质量的基于计算机图形技术的XR内容，降低XR内容制作的成本。

(3)基于D2D通信的XR内容传输

XR高带宽的需求无疑给有限的频谱资源带来巨大的压力。利用D2D用户间可以直接进行数据传输，避开蜂窝无线通信，不占用频带资源大幅度提升了频谱的利用率；相邻用户之间进行资源共享，可以提供更好的用户体验。借助D2D通信提升XR内容传输的效率、保证用户的QoE可能是未来XR应用场景中一个可行的解决方案。

(4)基于5G移动边缘计算的缓存转码机制的XR内容传输

移动边缘计算（mobile-edge computing, MEC）是近几年研究关注的热点，它通过距离用户更近的部署，使得用户高运算量的任务卸载成为可能。在XR视频传输过程中，由于用户终端功率及运算能力的有限，将解码、渲染等高运算量的任务卸载到MEC是解决XR头戴式显示器轻量化问题的可行方案。同时，如何利用基于MEC的内容缓存以及转码机制进行自适应传输，解决低延迟的问题，是未来工作的一个重要方向。在未来的应用中，多用户请求多个视频内容的场景，利用有限的MEC存储空间以及计算能力进行合理的内容缓存和转码更加具有挑战性。

结束语

本文概述了XR近年来发展中面临的主要挑战，并给出未来可能的技术突破点，总之，XR未来的发展机遇与挑战并存，随着不断成熟的视频编码技术、计算机图形技术以及无线传输技术，XR应用一定往交互性更强、内容更丰富、使用更便捷的方向发展，使人们随时随地都能进行身临其境的交互体验，为人们的生产与生活带去更大的便利与满足。