关于VR技术标准与规范综述(一)-丁茹博士

2022-11-17

虚拟现实不仅是一个完整的技术体系,还是一个极具市场潜力的战略新兴产业,其推广和应用将对未来社会生活和传统产业产生颠覆性影响。虚拟现实产业发展强劲,仅以头盔显示器为例,2016年全球出货量就达1 280万台。扩张行业规模与市场速度暴涨的同时,不可避免地出现了一些问题,包括硬件产品形态各异、关键参数模糊不明,体验感差、舒适感差,设备之间无法互联互通,虚拟现实内容稀缺、制作成本过高,内容呈现方式多样,数据量庞大、实时网络传输困难等,这些问题成为制约虚拟现实大规模产业应用的关键因素。在“逐利”的本质驱动下,产业活跃着大量概念炒作、混淆视听者,整个产业链发展就像带着锁链在跳舞,其主要原因在于目前虚拟现实产业标准规范严重缺失,影响了虚拟产业的快速健康发展。

标准问题已经引起了国际各方的关注,目前国际上已经开展相关标准化活动的有ISO/IECJTC1/SC24(国际标准化组织/国际电工委员会第1联合技术委员会第 24分委会:计算机图形、图像处理和环境数据表示)以及ISO/IECJTC1/SC29(国际标准化组织/国际电工委员会第 1联合技术委员会第29分委会:音频、图像、多媒体和超媒体信息),SC24和SC29建立了联合工作机制,共同推动增强现实连续统一体概念及参考模型(ARC)的相关标准,另外,也有大公司和一些非官方的组织在考虑虚拟现实的标准化问题,例如,谷歌、微软等科技巨头通过培养VR产业生态加强在VR标准领域的影响。

国内方面,音视频编码标准(Audio Video coding Standard,AVS)工作组已启动虚拟现实音视频编解码技术研发,吸引了北京大学、清华大学、中国科学技术大学等科研院校及华为、腾讯、乐视、爱奇艺、暴风等知名企业,共同就虚拟现实内容表示、虚拟现实内容生成与制作、虚拟现实内容编码、虚拟现实交互、虚拟现实内容存储、虚拟现实内容分发和虚拟现实显示等关键技术进行探讨,有望推出我国自主知识产权的AVS虚拟现实标准。但总体上,我国在虚拟现实和增强现实软硬件标准上还有较大差距,应尽快启动虚拟现实标准化工作研究,建立虚拟现实技术标准体系,规范行业发展。本节课主要介绍虚拟现实标准规范的建设思路、内容与路径等。

一、建设思路

标准体系是一定范围内的标准按其内在联系形成的有机整体,也可以说标准体系是一种由标准组成的系统。按照目前我国现行的《中华人民共和国标准化法》对标准体系层级的划分,虚拟现实标准体系属典型的行业标准体系,是虚拟现实产业发展一项重要的基础性工作,具有重要的保障和引领作用。

虚拟现实标准体系按照“三步法”原则建设完成。

第一步,通过研究各类虚拟现实应用系统,提取其共性抽象特征,构建由生命周期、系统层级和功能体验组成的三维虚拟现实系统架构,从而界定虚拟现实标准化的内涵和外延,识别虚拟现实现有和缺失的标准,认知现有标准间的交叉重叠关系。

第二步,在深入分析标准化需求的基础上,综合虚拟现实系统架构各维度逻辑关系,将虚拟现实系统架构的生命周期维度和系统层级维度组成的平面自上而下依次映射到功能体验维度的五个层级,形成芯片配件、硬件设备、软件工具、内容制作、行业应用等五类关键技术标准,与基础共性标准和重点行业标准共同构成虚拟现实标准体系结构。

第三步,对虚拟现实标准体系结构分解细化,进而建立虚拟现实标准体系框架,指导虚拟现实标准体系建设及相关标准立项工作。

(一)虚拟现实系统架构

虚拟现实系统架构通过生命周期、系统层级和功能体验三个维度构建完成,可形式化表示为:系统架构={生命周期,系统层级,功能体验},主要解决虚拟现实标准体系结构和框架的建模研究,如图1所示。

image.png

图1 虚拟现实系统架构

1.生命周期

生命周期是由设计、研发、生产、销售、服务等一系列相互联系的价值创造活动组成的链式集合,可形式化为:生命周期={设计,研发,生产,销售,服务}。生命周期中各项活动相互关联、相互影响。

2.系统层级

系统层级自下而上共五层,可形式化为:系统层级={芯片配件,硬件设备,软件工具,内容制作,行业应用}。虚拟现实系统层级体现了虚拟现实产业生态的复杂性和层次性。

(1)芯片配件层级包括主控芯片、GPU芯片、RFID芯片、高清视频编解码芯片、高性能显卡、惯性传感器、速度/加速度传感性、各种视觉/听觉/触觉/力觉传感器、定位器、机械设备电动/液压配件等,是支撑虚拟现实系统研发应用的最底层的物质技术基础。

(2)硬件设备层级包括头盔显示器、VR一体机、数据手套、数据衣、人体运动捕捉、眼动仪、三维扫描仪、视音频设备等。

(3)开发工具层级包括视频采集、三维重建、投影拼接、物理反馈、三维建模、图形渲染、开发工具等软件工具。

(4)内容制作层级实现三维建模、全景照片、VR视频、VR电影、VR游戏、VR新闻、VR直播等虚拟现实内容。

(5)应用系统层级由各行业不同应用领域根据特定需求进行虚拟现实系统的设计研发和传播应用。

3.功能体验

用户体验指以用户为中心,满足VR系统3I(沉浸、交互、构想)特点的所有VR系统要素或产品的体验,包括基本功能体验、人机交互体验、虚实融合体验、分布共享体验和商业模式体验等五层,可形式化为:功能体验={基本功能体验,人机交互体验,虚实融合体验,分布共享体验,商业模式体验}。

(1)基本功能体验是指用户使用包括三维模型、全景照片、VR视频/素材、VR外设产品、VR设计文案/文档在内的内容或VR应用集成系统时对其基本功能的认知和体验。

(2)人机交互体验是用户使用各类VR输入/输出设备时所形成的操作复杂度、舒适度等体验,由于“眩晕症”的问题,这类体验受到了很大重视。

(3)虚实融合体验是指随着技术的发展实现虚实融合交互的MR,以提供用户更好的沉浸感体验。

(4)分布共享体验是指通过有线、无线等通信技术将分布在不同地域的虚拟现实系统连接起来,实现分布式的虚拟环境,用户可以在这个分布式虚拟环境中达成人与系统、人与人之间的交互体验。

(5)商业模式体验包括线上的APP商店、分发网站、网上影院、VR社交网站、众筹平台和线下的VR体验店、主题公园等商业和服务模式。

(二)虚拟现实标准体系结构

虚拟现实标准体系结构包括“基础共性层”、“关键技术层”、“内容制作与系统研发层”、“用户体验层”及“行业应用层”等五个主要组成部分,它主要反映标准体系各组成部分间的相互关系。虚拟现实标准体系结构图如图2所示。

具体而言,基础共性层包括基础技术、安全与可靠性、行业管理、检测评价和媒体传播等五部分,位于虚拟现实标准体系结构图的最底层,其研究的基础共性标准支撑着标准体系结构。关键技术层又分为芯片配件、硬件设备、软件工具三部分。内容制作与系统研发层位于整个标准体系结构的中间,与虚拟现实系统研发应用联系最为紧密,在标准体系框架中起到承上启下的作用。功能体验层和行业应用层位于标准体系的上层,面向用户和行业的具体需求,对基础共性标准、关键技术标准和内容制作与系统研发进行细化和落地,指导推进虚拟现实产业发展和在各行为推广应用。

image.png

图2 虚拟现实标准体系结构图

(三)虚拟现实标准体系框架

标准体系框架主要反映标准体系的总体组成类别和层次结构关系,是对标准体系的概括。虚拟现实标准体系框架由虚拟现实标准体系结构向下映射而成,是形成虚拟现实标准体系的基本组成单元,如图3所示。

image.png

图3 虚拟现实标准体系框架