• 首页
  • 科学成果
  • 5G网络助力XR-边缘计算与XR视频智能转码--杨军超 博士

5G网络助力XR-边缘计算与XR视频智能转码--杨军超 博士

2020-11-05

1.   引言

近两年,5G网络在全球已陆续实施和商用,然而5G网络在推广和实施过程中并非一帆风顺。普通消费者方面,5G网络的需求尚未完全激发,与4G网络的优势不没有有完全体现,缺少典型应用的引导和激发。运营商方面,仍未出现典型的“杀手级”应用推动5G网络的实施与建设(例如,4G时代的移动支付与小视频应用极大的推动了4G网络的推广与实施)。显然,就目前看来,XR(VR/AR)是推动5G网络实施和发展的最具前景和市场的典型应用。

当前XR(尤其是VR)的内容主要是本地内容播放或者有线的内容传输为主,一方面由于目前HMD硬件渲染能力的限制,大部分VR视频首先在具有渲染能力的电脑进行视频渲染,然后通过高清多媒体接口(high definition multimedia interface, HDMI)线传输至HMD进行播放,这一定程度限制了VR的应用场景。另外,目前市场上移动VR设备,利用智能手机进行VR视频渲染,实现了HMD的无线效果,但智能手机渲染处理能力以及分辨率不足的问题也同样影响用户的体验。目前XR视频传输仅能满足用户基本的XR体验,距离随时随地高质量的XR体验的行业应用需求还存在巨大的差距,其无疑限制了XR的发展与普及,解决XR内容的实时无线传输则是满足XR移动性的关键,尤其是随着5G网络的不断普及与应用,如何利用5G网络助力XR的发展是当前业界关注热点。

未来5G三大应用场景:增强型移动带宽(enhanced mobile broadband, eMBB),大连接物联网(massive machine-type communication, mMTC),超可靠、低延迟通信(ultra-reliable low-latencycommunications uRLLC)。而无线虚拟现实、混合现实、增强现实作为非常特殊的应用,同时对大带宽和超可靠、低延迟都有极高的要求:在低延迟的约束条件下(VR的延迟MTP要求20毫秒之内,AR的延迟要求则在5毫秒),以每秒数千兆比特(Gigabits)的数据发送给用户终端。众所周知,低延迟与高可靠是相互矛盾的两种要求,超可靠需要分配用户更多的资源来保证传输成功率,但这会导致其他用户延迟增加。显然,想要实现无线VR/AR的互联,需要智能的网络设计来满足可靠的、低延迟以及不同网络场景的无缝支持。

2.   基于5G移动边缘计算的缓存转码机制的XR内容传输

移动边缘计算(mobile-edge computing, MEC)是近几年研究关注的热点,它通过距离用户更近的部署,使得用户高运算量的任务卸载成为可能。在XR视频传输过程中,由于用户终端功率及运算能力的有限,将解码、渲染等高运算量的任务卸载到MEC是解决XR头戴式显示器轻量化问题的可行方案。同时,如何利用基于MEC的内容缓存以及转码机制进行自适应传输,解决低延迟的问题,是XR内容传输的一个重要研究方向。

 11111.png

如图所示为我们提出的基于5G移动边缘计算的缓存转码机制的XR内容传系统示意图,主要包括三大部分:XR内容服务器、移动边缘计算(mobile-edge computing, MEC)服务器以及5G异构云接入网(H-CRAN)。系统具体描述如下:

XR内容服务器主要负责存储压缩编码后的VR视频。基于分片(Tile)的压缩编码,XR视频在空间上分割成可独立解码的Tile,其中Tile的索引表示为 。通常,在内容服务器中,为了自适应传输,各Tile均生成多个版本的码率,表示为 ,其中 和 分别表示第t个Tile最小和最大的压缩码率。各Tile码流在时间粒度上被分割成块(Chunk),其中,基于Tile的压缩编码示意图如下。

 22222.png

移动边缘计算服务器位于H-CRAN的边缘,其能够进行提前的XR内容缓存和实时的转码。当位于H-CRAN范围内的用户终端请求XR视频内容时,请求的数据将从移动边缘计算服务器返回。其中,XR视频的所有Tile仅最大码率的版本缓存到移动边缘计算服务器。移动边缘计算中的实时转码模块通过实时转码模块为用户提供合适的Tile版本,即选择合适的量化参数(quantization parameters, QPs)进行转码,然后进行传输。

利用MEC进行提前内容缓存和实时转码,将内容推到更接近用户终端的MEC服务器,进而降低端到端的延迟。H-CRAN考虑若干微基站部署在一个宏基站范围内,微基站和宏基站分别通过前向回程和回程连接到中心化的基带池。远端射频单元仅作为射频的收发器,负责基本的射频功能。基带池负责上层协议及基带处理。系统采用软件定义网络技术,支持控制信息与数据分离,即控制信息通过g-NB宏基站传输,数据通过接近用户的远端射频单元(remote radio heads, RRH)传输。

3.   结束语

XR的终极目标是无法分辨出合成的虚拟世界与现实世界的界线,使人们摆脱有线的连接自由移动是朝着这一终极目标前进的重要的一步。显然,基于MEC的缓存转码机制能够显著的提升XR用户的体验,推动XR大发展。在未来的5G网络中,在多用户请求多个XR内容的场景时,利用有限的MEC存储空间以及计算能力进行合理的内容缓存和转码则将具有挑战性,也是我们未来研究的一个重要方向。

参考文献

[1]Y. He, S. Gudumasu, E. Asbun. Segment scheduling method for reducing 360 video streaming latency[C]// Applications of Digital Image Processing XL. San Diego, USA, 2017: 32.

[2]L. Battle, R. Chang, M. Stonebraker. Dynamic Prefetching of Data Tiles for Interactive Visualization[J]. 2016: 1363-1375.

[3]Y. Liu, J. Liu, A. Argyriou, S. Ci. MEC-Assisted Panoramic VR Video Streaming Over Millimeter Wave Mobile Networks[J]. IEEE Transactions on Multimedia, 2018, 21(5): 1302-1316

[4]F. Duanmu, E. Kurdoglu, Y. Liu. View direction and bandwidth adaptive 360 degree video streaming using a two-tier system[C]// IEEE International Symposium on Circuits and Systems. Baltimore, MD, USA, IEEE, 2017: 1-4.

[5]X. Zhang, R. Yu, Y. Zhang, Y Gao. Energy-efficient multimedia transmissions through base station cooperation over heterogeneous cellular networks exploiting user behavior[J]. IEEE Wireless Communications. 2014, 21(4): 54-61.

[6]J. Chakareski. Vr/Ar Immersive Communication: Caching, Edge Computing, and Transmission Trade-Offs[C]. 2017 ACM Workshop on Virtual Reality and Augmented Reality Network. Los Angeles, CA, USA, 2017: 36-41.

[7]C. Ozcinar, A D. Abreu, S. Knoor. Estimation of optimal encoding ladders for tiled 360 VR video in adaptive streaming systems[C]// The IEEE International Symposium on Multimedia. San Jose, CA, USA, IEEE, 2017.

[8]H. Ma, K G. Shin. Multicast video-on-demand services [J]. ACM SIGCOMM Computer Communication Review, 2002, 32(1):31–43.

[9]M. Yu, H. Lakshman, B. Girod. A framework to evaluate omnidi-rectional video coding schemes[C]. 2015 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Fukuoka, Japan, 2015:31–36.

[10]A. Zare, K. K. Sreedhar, V. K. M. Vadakital. HEVC-compliant viewport-adaptive streaming of stereoscopic panoramic video[C]// Picture Coding Symposium. Nuremberg, Germany, IEEE, 2017:1-5.