摘要

虚拟现实（Virtual Reality，简称 VR），是一种基于 可计算信息的沉浸式交互环境，最早应用于军事模拟 ； 随着计算机技术的日益发展，现在虚拟现实技术的应用 已经遍及商业、医疗、工程设计、娱乐、教育和通信等诸 多领域。 目前在我国虚拟现实技术多应用在城市规划、大型 工程漫游、数字化酒店、展会、博物馆展示系统等领域[1]。在这些领域虚拟现实技术所表现出的效果比起其他技 术要优秀许多[2]。但是国内的虚拟现实产品普遍存在画面 效果不好的缺陷，这严重制约了产品的浸没感，降低了 虚拟现实产品的质量水平。要想使我国虚拟现实产业更 上一层楼，必须在生产过程中采取新的技术流程，改变这个现状。

1. 虚拟现实技术发展现状

 1.1虚拟现实技术

虚拟现实是一项综合集成技术，涉及计算机图形 学、人机交互技术、传感技术、人工智能等领域 ；它使用 计算机生成逼真的三维视、听等感觉，使人作为参与者 通过适当装置[3]，自然地对虚拟世界进行体验和交互作 用 ；具有浸没感（Immersion）、交互性（Interactivity）、 构想性（Imagination）等基本特征。

1.2虚拟现实技术的应用

虚拟现实技术拥有非常广阔的应用前景，它开始于军事领域的需求[4]，现在， 已经遍及到商业、医疗、工程设 计、娱乐、教育和通信等诸多领域。 随着互联网的数据传输能力的不断增强，越来越多的商家选择使用虚拟现实技术在互联网上宣传和展示自己的产品[5] ；由于虚拟现实技术可以让消费者在虚拟 环境中按照自己意愿多角度的了解和接触商品，越来越 受到用户的欢迎。 数字娱乐业提供娱乐休闲用途的虚拟现实环境，网 络游戏的虚拟社区更是一个虚拟的社交环境，玩家在虚 拟的环境里完成任务，体验快乐，相互交流思想。 商业宣传和通信娱乐是当前虚拟现实技术应用最 活跃的领域，也成为了当前虚拟现实技术在民用市场快速发展的最大推动力。

 1.3 虚拟现实技术在国内的应用情况和部分存在的问题

 虚拟现实技术目前在国内市场发展迅猛。国内虚拟 现实企业的工作平台大多使用 vrp、virtools 和 quest3d， 主要用来开发工业仿真评测、工程仿真评测和商业展示 项目。

在商业展示领域里，我国的虚拟现实项目中存在的 问题我认为主要在于画面效果太差，商品展示中不但要 把产品功能介绍给顾客，更要把产品美观时尚的外观信 息传达给大家，这样才能打动顾客 ；比如建筑漫游，如 果顾客从漫游画面中看不出小区的美观舒适，肯定很难 提起兴趣购买住房。 画面效果为什么不好呢？由于国内的虚拟现实企 业刚刚起步，很多企业制作的虚拟现实场景没有光影变 化，很多企业制作三维虚拟场景就是使用三维软件建个 模型然后随便贴上纹理贴图就结束了，这样构造的虚拟 环境中没有正确的光影变化，画面缺乏层次，画面不真 实，视觉效果怎么可能会好呢？

2. 360∘视频图像介绍

传统的光学摄影全景照片，是把90∘至360∘的场景(柱形全景)全部展现在一个二维平面上，把一个场景的前后左右一览无余地推到观者的眼前，更有所谓“完整”全景(球形全景)，甚至将头顶和脚底都“入画”了，如图1所示。随着多媒体技术的发展，一种名为虚拟现实的新技术应运而生，这种技术可以通过实时演算为用户提供沉浸式的虚拟世界仿真系统。虚拟现实的360∘视频图像能够表示完整的球面信息，这些信息会以二维数据的形式存放在存储介质中，但从球面数据投影至二维数据时极易引入畸变以及像素冗余。因此，对于虚拟现实的360∘视频序列，直接使用传统的二维编码器进行压缩编码难以获得令人满意的效果。如何设计畸变和像素冗余更少的投影方式，如何获得更好的重建图像质量是这个领域的研究重点。

图1：360∘视频图像

3. 360∘视频技术存在的问题

360∘视频通过一组相机阵列进行拍摄，经过投影拼接而成，其内容包含了当前场景360∘的全部视频信息。360∘视频在播放时能够根据用户视角进行实时投影渲染，为了让用户观看拥有较高清晰度的投影图像且在观看过程中不易晕眩，需要360∘视频具有4k及以上的分辨率和120Hz刷新率。分辨率的增长以及视频刷新率的加倍使得360∘视频的数据量呈现指数式增长，而通信传输技术及数字存储技术发展相对缓慢，迅速增长的视频数据为这两个行业带来了极大挑战。360∘视频通常以经纬图这样二维数据的形式存放在存储介质中，可直接使用传统二维视频编码体系对经纬图进行压缩编码，但由于经纬图中物体的运动规律与形变较传统二维视频图像大相径庭，因此传统编码技术并不完全适用于360∘视频，压缩效率没有得到最大限度的发挥。有效提升360∘视频的压缩效率能够为企业降低传输、存储以及运营的成本。如今，国内和国际编码标准小组已经将360∘视频纳入未来的工作范畴，众多的高校与企业一同参与到360∘视频的编码优化及编码标准算法的研究工作中。

受限于实时网络可用带宽及设备可用存储空间，360∘虚拟现实视频内容的服务质量及播放体验难以满足人们的需求。如何在有限的网络带宽限制下，尽可能将编码码率进行合理分配以提升整体编码效率是码率控制(Rate Control, RC)研究的关键问题。编码器在进行编码时可以根据不同的编码帧类型和编码场景选择使用不同的编码参数进行编码，码率控制的核心是研究如何找到最合适的编码参数集合，使编码器的编码结果符合预设的目标码率，同时获取尽可能高的视频图像质量。码率控制仅干预视频编码的参数选择，不属于编码标准范畴，在解码端并不能感知到码率控制的存在，但由于在实际应用过程中，视频数量多且杂，直接使用参考软件进行编码可能会出现码率不稳等问题。因此，码率控制在实际应用显得至关重要，自码率控制诞生以来就被各国的学者广泛且深入地研究。如何建立控制更精确、具有更强适应性的控制模型，以及在现有模型控制精度的基础上提升重建视频图像的质量是视频编码领域当下及未来的研究热点。对于360∘虚拟现实视频，直接使用传统码率控制算法就可以得到精准的控制效果，传统的码率控制算法一般基于视频内容信息、运动矢量及预测残差分布等编码信息进行比特分配建模，而360∘除了拥有传统视频序列的特点外，还存在虚拟现实视频特有的与位置相关的像素冗余。因此，直接沿用传统的码率控制模型必然无法达到最优的编码结果。如何将360∘虚拟现实视频的编码优化方法与码率控制模型相结合，有针对性地优化360∘视频的码率分配对360∘视频编码技术的发展和码率控制技术的进步具有重要的研究意义。

图2：混合编码框架

4. 360∘视频编码技术的研究现状

如图2所示的混合编码架构主要通过三类技术减少视频图像信息中的各类冗余。

1. 架构中有基于视觉、角度、光流等分析方法的帧内预测方式，这类预测方式能够分析图像内的纹理信息，通过尝试使用不同角度等预测模式来减小空域冗余，更有利于量化和编码。

2. 架构中会将已经完成压缩编码的图像反馈至编码端，用作后续图像编码的帧间预测环节，帧间预测的常用方法是先使用基于像素块的运动估计算法完成整像素的匹配，然后再使用运动补偿算法寻找亚像素的精确匹配。通过在已编码帧中的匹配像素块来尽可能消除视频图像序列中存在的时域冗余。

3. 架构中的熵编码器能够通过建立上下文模型，对视频编码中产生的编码符号以及变换系数进行无损压缩，尽可能消除符号和信号的统计冗余。

VR360视频内容经过采集拼接后可以表示一个完整的球面图像，但球面信息不能直接用于存储及压缩。因此，研究人员期望通过投影(projection)的方式将三维场景展开至一个或多个二维平面如图3所示。投影图像需要满足两个条件：一、投影图像要保证囊括了所有球面信息。二、投影图像要尽可能避免引入过多的图像的畸变，造成图像质量损失。

1. 等距柱状投影(Equirectangular Projection, ERP)，即常见的经纬图投影。该投影会把视频球面映射至一张2:1的矩形平面，这种投影方式具有良好的兼容性和易于实现及存储等优良性质，但在投影转换的过程中，由于会将不同纬度的环状球面信息投影在等宽的矩形中，因此会造成像素冗余和像素拉伸的情况，冗余和拉伸现象从赤道向两极逐渐变大。

2. 立方体投影(Cubemap Projection, CMP)，也称正六面体投影。该投影将球面投影至外接正六面体，然后将6个面拼接至一起成为一幅图像[6]。目前正六面体模型已作为一种常用的投影方式应用与360∘视频图像的投影中。

3. 八面体投影(Octahedron Projection, OHP)，该投影将视频球面投影至8个等边三角形，然后对三角形进行拆分拼接。该投影的三角形合理布局可以获得较高的压缩效率但直接进行图像渲染复杂度较高。

4. 二十面体投影(Icosahedron Projection, ISP)，该投影方式与八面体投影类似，但二十面体的投影面由二十个三角形组成。紧密的投影布局可以获得很好的压缩效率，投影引入的失真较小。但多次投影引入了较高的复杂度，在视频的实时渲染方面也带来了较大困难。

5. 球面分隔投影(Segmented Sphere Projection, SSP)，沿45∘的纬度线将球面切分成为南、北、中三个部分，分割后的南北两个部分球面信息较少，将其分别投影至两个较小的正方形区域。视频信息丰富的中部区域，按照球面投影的方法，将该部分投影成为一个矩形。三部分投影结束后拼接在一起得到最终用于编码压缩的图像。值得一提的是，球面投影和正六面体投影在投影过程中需要进行插值操作造成大量像素冗余，产生一定量的非信息承载像素。球面分隔投影无论是在赤道部分还是两极部分的投影面积都与实际球面面积近似，可以有效减少像素冗余情况。但与其他投影方式相同，由于将三个部分进行了物理上的分隔，可能导致物体在投影图像中的运动不连续，影响帧间预测的准确度。

6. 

正方体棱台投影(Truncated Square Pyramid, TSP)。TSP投影根据棱台方向划分了高分辨率区域与低分辨率区域。这种投影方式非常适合与人眼跟踪技术相结合以实现区域切换方案，对当前关注区域的内容传输质量较好的高分辨率视频图像，其余的投影区域传输较低质量的低分辨率视频图像，这种投影方式能够有效减小传输码流大小，减小带宽占用。

图3：图像投影的方式

结束语 

虚拟现实技术在一些领域获得了比较成熟的实际 应用，尤其是在商业和娱乐业这些民用项目，更是成为 了虚拟现实技术发展的重要推动力。近年来虚拟现实在 我国也发展迅猛，如果国内企业能努力提高虚拟现实产 品的画面品质，将会使我国的虚拟现实技术在民用领域 的发展上升到一个新的高度。

参考文献：

[1] 陆春雨，基于Virtools的双人联机协作系统的研究[D]，北京北京林业  大学，2019.11.

[2] 薛涵，基于VIRTOOLS的汽车驾驶仿真系统研究[D]，哈尔滨， 哈尔滨  工程大学计算机应用技术专业，2017.02.

[3] 刘贤梅，虚拟现实技术及其应用[M]，大庆，大庆石油学报， 2002.6

[4] 爱迪斯股份有限公司，optimization[M],2014.

[5] Epic, Epic次世代游戏中游戏场景的设计和制作流程 [M],2017.12.