关于VR和AR的发展研究-郑玉洁博士

2022-04-28

一、引言

VR是指虚拟现实技术,虚拟现实技术是仿真技术的一个重要方向,是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术、网络技术、等多种技术的集合。是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。

AR技术是增强现实的简称,一种实时计算摄影机影像的位置及角度,加上相应图像的技术,将真实世界信息和虚拟世界信息无缝集成的技术。AR技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,包含了多媒体三维建模、场景融合等技术与手段。

二、VR和AR增益

业内人士表示,VR、AR有望成为继智能手机之后的消费电子热点,仍处渗透早期的汽车电子行业发展空间较大,智能汽车供应链赛道将成为消费电子供应链企业未来重要的成长驱动力。

GDC大会举办方UBM一共调查了2700多名游戏开发者。根据该最新报告,开发者对研发AR/VR游戏的兴趣进一步减少,这已经是连续5年的负增长。在2022年的GDC调查报告中,10%的开发者表示正在为VR头显开发游戏,2%的开发者表示正在为AR头显开发游戏。无论是开发者当前感兴趣的平台,还是当前研发面向的平台,还是未来下一个项目考虑的平台,AR和VR平台在过去五年的综合情况都是在下滑。

AR技术和服务供应商Nextech AR Solutions Corp.本周宣布,它已作为贡献者成员加入Khronos Group,该组织是一个由创建3D、AR/VR以及元宇宙的先锋公司组成的开放联盟。作为Khronos工作组的积极成员,Nextech现在将与其他科技公司合作,创建和定义行业标准。该探索小组将共同研究创建标准和准则,以制作和分发产品的实时3D表示,从而使它们能够在所有平台和设备上得到真实和一致的体验,如移动、网络和AR/VR解决方案。据Nextech称,随着3D成为产品制造商、零售商和广告平台的主导媒介,该行业的主要参与者现在正在研究如何通过优化行业工作流程来扩大生产规模,以降低成本,实现虚拟产品的广泛传播。

AR方面,外媒爆料Meta XROS停摆消息系误传;高通与微软合作将推出定制AR芯片;苹果AR/VR头显或为三块屏组合;ThirdEye发布AR眼镜Razor MR;DigiLens公布新AR光学模组CY Vision发布眼球追踪AR HUD;松下发布AR HUD 2.0系统。Meta已取消了代号为XROS的AR/VR操作系统项目。据悉,该项目成立于2017年,共有300多人参与开发。对此,Meta VR工程副总裁Gabriel Aul表示:Meta仍然在投资开发AR/VR专属操作系统,我们并没有缩小AR/VR团队,目前也在积极招人扩大团队。高通在CES 2022期间宣布将与微软合作设计定制的AR芯片和集成软件平台,目的是扩展和加速AR技术发展,为下一代AR眼镜带来低功耗、轻量化、沉浸式的设计。

VR方面,索尼公布PS VR2头显公布部分细节,公布一款独占游戏;松下发布XR1短焦VR头显MeganeX和两款配件;佳能推出VR通话应用Kokomo。

目前,大多数VR技术被广泛应用于游戏领域。而汇丰预计,2021年-2030年,VR应用程序的结构将会发生巨大反转:从以游戏占主导变为以社交占主导。用户体验感方面,近期开设的VR线下体验馆不再局限于固定位置,用户可以带着轻量的VR眼镜,在上百平米的开阔场地中进行自由奔跑、射击等类似CS组队的对抗游戏。另据中国信通院数据显示,2020年全球VR终端出货量达到近567万台,预计该数据到2024年将达到3375万台,年复合增长率达56%。值得注意的是,当下人们对元宇宙的探索仍处于早期阶段,一些概念股靠“蹭”元宇宙大火的背后,尚无实质性业务。且此时,VR技术的发展离我们进入理想中的元宇宙世界同样遥远。

三、前景展望

现有的VR影像,和“假VR”最大的区别,就是沉浸感。戴上头盔,你会完全进入那个虚拟的场景中。要做到这一点就得骗过我们的眼睛,这其实还是挺难的——最重要的是清晰度得够。VR头盔的显示屏离人眼很近,单张图像最低分辨率宽度至少要达到1080像素,才能将就看;要产生立体纵深感,左右眼渲染的图像得不一样,乘以二就是2160像素。这还只是视野范围内的图像,你要是一转头,视野边界外的图像也得渲染进来,范围至少要扩大到3024X1680像素。VR眼镜保证不晕的最低刷新率要求是每秒90帧,这么一算每秒的运算量就得达到4.5亿像素。如果开两倍的抗锯齿,就得达到每秒9亿像素。目前最好的民用显卡,也就刚刚满足这个数量级的运算量。这带来的问题就是,想买一套像样的VR设备,投资会比较高,目前一套头盔加上配置足够的电脑,至少需要2万块钱。而要让图像更清晰,以至于完全看不出来像素点,图像分辨率还得长宽各乘以3,那就多了9倍的运算量,目前最好的显卡也达不到。伴随而来的就是数据的传输问题,这么大的数据量,目前的无线网络传输速度是远远达不到的,所以无论是哪家的头盔,都要拖着长长的数据线。当然你会说,建筑业不像游戏业,不需要那么真实炫酷的体验,运算量低点,分辨率粗糙点也没关系。确实如此,即便是比较粗糙的VR技术,带来的沉浸感,也足够用户对建筑进行空间体验,这也是为什么VR在游戏业成长放缓,而在建筑业却不断升温的原因。

不过话说回来,低分辨率带来的不适感也确实存在,VR设备本来就会让人产生晕动症——也就是图像变了,身体没动,大脑就会本能的产生眩晕,而更低的分辨率则会加剧这种眩晕感。图像运算和数据传输这两点技术障碍,会随着硬件的迭代更新而得到解决,目前VR的发展进入了瓶颈,但未来更快、更小的移动显卡,和5G网络技术的到来,都会让VR再度迎来爆发期。

而对于AR,比如项目的土建已经施工完成,在安装机电设备的过程中,用移动设备观看现场,可以把未来需要安装的机电设备模型投射到画面中,指导现场施工,还可以随时观看施工进展是否符合BIM设计。再比如改造项目,可以用手机来扫描现场,AR程序能通过投射的方式给你一双「透视眼」,看到地下和墙壁后面的管道,来进行精确的开挖。当然这些投射的模型是BIM提供的。

还有对模型信息的投射。AR可以投射的不仅是图形,文字和表格信息也不在话下。它所依赖的设备也不仅仅是手机或者掌上电脑,像微软的Hololens、国产的meta 这样的增强现实眼镜,都是专门为AR技术开发的设备。这类头显设备都带有前置传感器,可以识别场景和穿戴者的手势,也可以通过编写程序,把施工现场的工序做法、施工问题、构建属性等信息投射到眼前,不仅可以用于施工阶段,还可以用于后期运维。在这类应用中,BIM模型中的信息就为AR程序的编写提供了有力的支持。需要知道的是,这些硬件产品虽然已经逐步进入商业市场,但应用层面还不是很成熟。比如对空间的识别精度不够,对遮挡物的处理能力不足等问题。不过随着硬件的计算能力和软件的更新迭代,这些问题都将逐渐得到解决。你可能还见过一种AR的应用场景,就是用摄像头对着一张平面图纸,可以在显示器上看到图纸中的建筑变成了3D,还能随着图纸的位置变化进行旋转。虽然看起来比较炫酷,但除了带来感官上的新意,实际生产力可能还比不上一段普通的施工模拟动画。你可别觉得这是建筑业中才有的黑科技,实际上这种小品级的技术很普遍,在淘宝搜索“儿童AR动物卡片”,几十块钱就能享受类似的AR技术。

所以,不仅是在游戏和建筑领域,医疗和其他领域对VR和AR的需求也很高,VR和AR前景一片光明。