6G技术下沉浸式云XR的展望-滕达博士

2021-10-21

扩展现实(XR)是虚拟现实(VR)、增强现实(AR)、混合现实(MR)等的统称。云化XR技术中的内容上云、渲染上云、空间计算上云等将显著降低XR终端设备的计算负荷和能耗,摆脱了线缆的束缚,XR终端设备将变得更轻便、更沉浸、更智能、更利于商业化。

面向2030年及未来,网络及XR终端能力的提升将推动XR技术进入全面沉浸化时代。云化XR系统将与新一代网络、云计算、大数据、人工智能等技术相结合,赋能于商贸创意、工业生产、文化娱乐、教育培训、医疗健康等领域,助力各行业的数字化转型。

未来云化XR系统将实现用户和环境的语音交互、手势交互、头部交互、眼球交互等复杂业务,需要在相对确定的系统环境下,满足超低时延与超高带宽才能为用户带来极致体验。现有的云VR系统对MTP时延的要求不高于20ms,而现有端到端时延则达到了70ms。面向2030年及未来,基于云化XR的总时延将至少低于10ms。根据虚拟现实产业推进会测算, 虚拟现实用户体验要达到完全沉浸水平,角分辨率需达60 ppd,帧率不低于120 Hz,视场角不低于130°,每像素12 bit,且能够在一定程度上消解调焦冲突引发的眩晕感,按压缩比100计算,吞吐量需求约为3.8 Gbps。通常,XR 技术通过强大的机器利用移动计算,并创造我们通过护目镜或眼镜等可穿戴设备访问的体验。不过,在未来,XR 技术可能还包括我们可以走进去体验 XR 房间。XR 将在 AR/MR/VR 范围内为 6G 产生许多杀手级应用。由于无法为数据速率密集型 XR 应用提供极低的延迟,即将推出的 5G 系统仍无法提供完整的沉浸式 XR 体验来捕获所有感官输入。真正身临其境的 AR/MR/VR 体验需要一种联合设计,不仅要整合工程(无线、计算、存储)要求,还要整合源自人类感官、认知和生理学的感知要求。最小和最大感知要求和限制必须考虑到工程过程(计算、处理等)中。为此,一种新的身体体验质量 (QoPE) 概念需要测量将来自人类用户本身的物理因素与经典的 QoS(例如,延迟和速率)和 QoE(例如,平均意见分数)输入合并。影响 QoPE 的一些因素包括大脑认知、身体生理和手势。

虚拟现实和增强现实是 XR 的两种类型,但也存在其他一些类型。回顾一下:

增强现实是使用计算机生成的特征或感觉增强现实世界对象的过程。Instagram 上的面部过滤器就是一个例子。虚拟现实是对现实世界的全感官模拟。它通常使用耳机、手套或其他道具让用户感觉他或她沉浸在模拟世界中。混合现实是虚拟现实和增强现实的结合,其中物理和数字对象共存。会议室中一个人的全息图是混合现实。沉浸式现实是我们有时听到的一个术语,指的是 VR 或 MR。它只是指创建无缝的 XR 现实到用户无法区分的程度。

1. 现在和未来的 XR 功能

扩展现实已经非常流行和广泛使用,即使我们没有意识到。许多应用程序出现在娱乐中,例如 Instagram 过滤器或Pokémon GO现象。尽管如此,其他人还是在各个行业中找到了许多应用,包括零售、营销、房地产、卫生保健、军队、教育、工程等。这项技术的普及意味着它可能会继续成为我们生活的一部分。但是,它目前也受到我们的无线技术的限制。特别是,扩展现实存在以下问题:

实施成本高:大多数形式的 XR 需要并不总是存在的基础设施。高资源消耗:要创建无缝的虚拟体验,计算机需要访问大量数据和计算资源。网络漏洞:越来越多的研究表明,XR 特别容易受到数据黑客攻击。为了创建一套真正可持续和实用的扩展现实技术,必须解决这些缺点。而6G的发展可以解决以上问题。在 6G 讨论中的众多话题中,技术本身的性质将如何改变是“信息物理融合”这个听起来简洁的概念。该术语首次出现在NTT Docomo 的白皮书中,指的是在网络空间和物理空间之间以零延迟传输和处理数据。进一步细分,它是通过使用可穿戴设备实时传输思想和行动。这可能看起来有点牵强,但实际上已经存在类似的技术。将思想转换器件,或脑机接口,是一种技术,可以让严重瘫痪病人操纵屏幕上的信息。尽管仍处于研究状态,但它表明“信息物理融合”是完全可能的。一些研究人员认为,6G 可能使科学家最终能够利用脑机接口。

2. XR 在 6G 中的其他可能性

5G 将显着提升扩展现实,但我们可能要到 6G 才能看到真正非凡的东西。然而,特别令人感兴趣的是托管扩展现实资源的智能网络的作用。结合起来,这些技术可能会产生非常强大的 XR 应用。其中一些可能包括:

多感官体验:研究表明,无与伦比的数据访问能力以及以零延迟从中得出推论的能力最终将为我们带来真正身临其境的 XR 体验。一些全球品牌将其用于娱乐,而另一些则将其用于教育。远程医疗:远程病人护理的做法被称为远程医疗,6G 可能会让 XR 更容易做到。无法与医生接触的患者不仅可以访问医疗保健资源,而且 XR 将使患者筛查更容易。植入物:允许用户以心灵感应方式进行交流的植入设备在科幻小说中出现了很长一段时间,但 6G 可能会使它们成为现实。这将意味着根据需要或需要随时随地访问网络。

3. 用 6G 扩展关于现实的想法

由于当前无线技术的限制,扩展现实 (XR) 具有大量未开发的潜力。这就是为什么支持者对 5G 及更高版本如此兴奋的一个重要原因。尽管许多人认为 5G 最终将使 XR 具有可持续性,但我们怀疑它需要 6G 才能彻底利用其功能。

尽管如此,随着新技术的出现,扩展现实将继续在力量和复杂性方面取得进展。许多新发表的关于 6G 性质和特征的论文都提到了它,这表明 6G 将在 2030 年代及以后在我们的世界中发挥核心作用。

 

参考文献:

1.Saad, W., Bennis, M., Chen, M.: A vision of 6G wireless systems: applications, trends, technologies, and open research problems. IEEE Netw. 34(3), 134–142 (2020)

2.White Paper on 5G evolution – on the path to 6G. Rohde & Schwarz (2020)

3.Bennis, M., Debbah, M., Poor, H.V.: Ultra-reliable and low-latency wireless communication: tail, risk, and scale. Proc. IEEE. 106(10), 1834–1853 (2018)

4.Chatzopoulos, D., Bermejo, C., Huang, Z., Hui, P.: Mobile augmented reality survey: from where we are to where we go. IEEE Access 5, 6917–6950 (2017)

5.Chen, H., et al.: Ultra-reliable low latency cellular networks: use cases, challenges and approaches. IEEE Commun. Mag. 56(12), 119–125 (2018)

6.Nagata, S., Wang, L.H., Takeda, K.: Latency reduction toward 5G. IEEE Wirel. Commun. 24(3), 2–4 (2017)

7.Hyoungju, J., et al.: Ultra-reliable and low-latency communications in 5G downlink: physical layer aspects. IEEE Wirel. Commun. 25(3), 124–130 (2018)

8.Parvez, I., Rahmati, A., Guvenc, I., Sarwat, A.I., Dai, H.: A Survey on low latency towards 5G. IEEE Commun. Surv. Tutor. 20(4), 3098–3130 (2018)

9.3GPP. Study on latency reduction techniques for LTE (Release 14), TR 36.881 (2016)

10.3GPP. Service requirements for the 5G system, TR 22.261 v16.0.0 (2017)

11.Hu, F., Deng, Y., Saad, W., Bennis, M., Aghvami, A.H.: Cellular-connected wireless virtual reality: requirements, challenges, and solutions. IEEE Commun. Mag. 58(5), 105–111 (2020)

12.Chen, M., Saad, W., Yin, C.: Virtual reality over wireless networks: quality-of-service model and learning-based resource management. IEEE Trans. Commun. 66(11), 5621–5635 (2018)