VR技术在定位中的应用-李社博士

2021-10-12

摘要:近年来,我国虚拟现实技术随着5G技术、传感器技术以及民用图形处理器的发展而快速发展,教育、交通、商业、娱乐、工业等领域对虚拟现实的需求与日俱增。虚拟现实技术是一门崭新的综合性信息技术,其中的定位技术是决定用户沉浸感和交互感的关键技术,是虚拟现实技术的重要依托。因此,需要着重对虚拟现实技术的定位技术进行总结。首先介绍了虚拟现实和定位技术;其次详细分析对比了目前虚拟现实系统中使用的典型定位技术,介绍了这些技术的原理、相关研究成果以及它们在虚拟现实中具体的运用场景;然后介绍了目前市场上主流的虚拟现实定位设备,继而讨论了虚拟现实定位技术使用的定位算法;最后介绍了虚拟现实定位技术目前存在的问题和今后的发展方向。

关键词:计算机应用技术;虚拟现实;定位技术;定位算法;虚拟现实设备

 

一、引言

虚拟现实系统是一种具有3I特性(Immersion,Interaction,Imagination)的现实模仿应用系统。随着近年来虚拟现实技术的快速发展,其已被广泛运用于医疗、交通、教育、娱乐、军事、考古等行业中。随之而来,用户不再满足于简单地通过鼠标、键盘这种原始的方式进行交互,一种全新的革命性交互方式已经出现。当前人机交互主要依靠wimp 交互范式[1],而在现实世界中的交互主要通过人的五感(味觉、视觉、听觉、嗅觉和触觉)来进行。虚拟现实旨在完全模拟现实世界的交互,但是当前由于技术限制,只能通过虚拟现实设备以隐喻的方式来获取交互信息,精度较差。目前主流的虚拟现实设备提供商提供的产品包括两个定位器、两个手柄、一个头显,定位器用来捕捉头显的位置,手柄用来捕捉手的位置,头显用来传输3D 场景,捕捉头部定位和方向。其中,定位器和其使用的定位技术在虚拟现实定位系统中起到了至关重要的作用。

物体在三维现实空间中的位置、方向、位移信息以高精度、低延迟、低计算复杂度的方式提供给虚拟现实系统,继而展现在虚拟空间中。以捕捉人的头部动作为例,如果捕捉的头部转动角度和头部所在的三维空间位置越精确,头部转动角度和头部所在的三维空间位置传送得越快,则人越没有眩晕感,越能够沉浸在虚拟空间中。目前,主要的三维目标定位技术是利用摄像机以及传感器、激光、红外等对物体进行测距和定位。在过去30多年的发展中,总体来说,国外虚拟现实技术包括定位技术都较为成熟,社会接纳度高,而国内的研究尚处于发展中期。随着5G的普及和商用GPU的迅猛发展,如今虚拟现实技术正被应用于越来越多的领域,在不久的将来,虚拟现实可能重塑人类的生活方式。

二、定位技术

二.1、室内空间中的虚拟现实定位

目前,室内空间中物体的定位算法有临近信息法、代数积分法、几何特征法等。通过使用这些算法,产生了蓝牙定位技术、超声波定位技术、红外定位技术、激光定位技术、可见光定位技术、W-i Fi 定位技术等[2]。不同定位技术的对比如图1所示。

图片1.png 

图 1 室内空间中的虚拟现实定位技术

二.2、红外定位技术

红外定位技术通过在空间中布置多个红外线发射器,并在目标物体上布置红外反射点来捕捉反射影像,从而确定用户在空间中的位置[3]。下面主要以HTC VIVE的定位系统灯塔(Lighthouse)为例介绍红外定位技术。HTC VIVE 有两个基站,每个基站有一个红外LED 阵列和两个转轴互相垂直的转速为10ms 一圈的红外激光发射器。基站在工作时以20ms为一个工作周期,在周期开始时红外LED 闪光,前10ms内X轴的旋转激光扫过整个空间,Y轴不发光;后10ms 内Y轴的旋转激光扫过整个空间,X轴不发光。在基站的LED 闪光之后基站就会同步信号,然后光敏传感器可以测量出X轴激光和Y轴激光分别到达传感器的时间。这个时间就正好是X轴和Y轴激光转到这个特定的光敏传感器的角度的时间,此时可计算得出传感器相对于基站的X轴和Y轴的角度。由于分布在头显和控制器上的光敏传感器的位置是已知的,通过各个传感器的位置差就可以计算出头显的位置和运动轨迹。Polona等[4]通过使用HTC VIVE 的定位器和逆向运动学技术,构造了一个虚拟现实实时追踪系统,其有效降低了延迟,提高了精确度和可信度。Adrian等[5]从感光元件的放置位置和校准方面对Valve 公司基于红外定位的steamVR追踪技术进行了改进,降低了头显设备和追踪设备的费用。HTC VIVE 设备目前的问题在于其手柄的形状、大小是固定的,无法给虚拟现实中的用户提供真实的握感。Chang等[6]改进了HTC VIVE 手柄。该实验团队通过对现实中的物体增加Leap Motion传感器和IMU(Inertial MeasurementUnit)传感器的方式来获取现实中物体的位置和方向,然后将其表现在虚拟空间中,从而使用户可以在虚拟空间中具有真实感受。Xu等[7]构造了一个相对便宜,但能监控精确位置和方位的信息系统。在该系统中,廉价的红外摄像机被固定在天花板上。环境中的每个用户都佩戴一个红外LED 模块。LED 模块中任意两个红外LED之间的距离均与其他模块不同。研究人员利用立体视觉理论和识别算法可以实时地识别出每个用户,得到他们的精确位置和方向。该系统在价格和性能之间取得了很好的平衡。Liu等[8]搭建了汉长安城虚拟现实系统平台。该系统对汉长安城的主要建筑进行了建模,并在HTC VIVE的头戴式设备中重建了真实场景。然后利用Kinect-sdk获取骨骼关节的位置信息,并用四元数描述关节的旋转。其采用双四元数线性混合蒙皮算法对三维角色模型进行自动蒙皮。最后通过人体姿态识别算法,实现了用户与汉长安城的交互控制。红外定位技术借助红外线的物理特性实现物体在空间中的定位,它的优点在于定位精度高、延迟低,缺点在于造价昂贵。

二.3、可见光定位技术

可见光定位技术属于光学定位技术的一种,由空间内位置已知的LED阵列作为位置参考点,LED将位置信息进行编码调制并在照明的同时发送光信号,移动的接收端作为位置未知的目标点先通过其携带的光检测器来接收解调光信号,然后通过光信号信息计算信号传输耗费的时间、到达角度以及强度,再由相的定位算法获得移动目标坐标[9]。可见光定位流程如图2所示。

图片2.png 

图 2 可见光定位流程

索尼Play Station VR采用的是可见光主动式定位技术,在头显上安装彩色LED灯,利用双目视觉原理计算拍摄到的彩色LED灯的位置信息,通过区分颜色来实现多目标跟踪。但是,与使用红外定位的Oculus Rift一样[10],这种技术的定位范围受限于两个摄像头的视觉大小,并且存在遮挡问题,同时还会受自然光线的影响,这些因素可能导致定位错误甚至失败。

可见光定位技术的优点在于VLC(Visible Light Communications)的工作频段是可见光频谱,不存在电磁波辐射,可直接应用在一些禁止电磁波辐射的区域,如手术室、加油站等。相比WiFi基站,发光二极(LightEmittingDiode,LED)在现实生活中的布局密度大,多径干扰小。为了满足照明需要,室内LED 通信的信噪比高。LED除了可用于实现室内定位系统,还可以满足高速率的通信要求。LED的定位精度高,基于LED的室内定位可以达到厘米级别的定位精度。

三、虚拟世界中物体的定位

在分布式虚拟现实系统中,随着虚拟现实渲染技术的发展,需要传输的数据量越来越大,导致用户看见的虚拟现实图像产生卡顿。针对这一问题,Zheng等[11]使用基于SCP模型的推算定位方法,提前预判出虚拟现实中物体的位移,只有在现实中本体位移超过阈值时才通过网络进行传送,从而有效减少了传送数据包的数量,减轻了网络负载。Wang等[12]通过摄像机拍摄的图像在三维空间中模拟出地理环境,利用虚拟世界中摄像机拍摄景物的位置来反推现实中物体的空间坐标。虚拟世界中的物体定位与现实中物体定位的区别在于,虚拟世界中物体的位置和方向是通过模拟计算得到的,用于辅助现实需求;而现实中物体的定位技术是借助可见光或不可见光以及蓝牙、WiFi、电磁波等信号定位物体,并映射到虚拟空间中。

四、虚拟现实定位技术在移动平台的使用

目前移动平台主要指智能手机。Lee等[42]通过标记和手机内置的摄像头实现了手的信息捕捉,并将其转化为矩阵,通过矩阵在虚拟现实中画出手。这一探索有助于虚拟现实技术更好地应用于医疗领域中的手眼协同的治疗中。Zayer等[13]借助手机话筒和麦克风等设备,使用基于Doppler shifts方法的Stereo Track技术,通过声音的到达时间来判断距离,从而进行定位,降低了CPU的计算复杂度,降低了延迟和移动VR 的开发成本。Fang等[44]提出了一种基于视觉惯性的移动AR/VR实时运动跟踪方法,利用手机的惯性传感器的高频和无源输出,实现了移动AR/VR姿态的实时性捕捉。此外,为了缓解视觉惯性融合过程中的抖动现象,实验人员建立了一种自适应滤波框架,通过平衡抖动和延时实现了6自由度运动的实时跟踪,增强了传统的基于视觉的运动跟踪的鲁棒性,使其在遇到运动模糊时具有更好的移动AR/VR性能。Chiu等提出了一种基于云计算的移动增强现实交互系统(Mobile Augmented Reality Interactive System),包括用于图像目标跟踪的maris-i(image)和用于手部运动跟踪的maris-h(hand)。maris-i采用基于特征的mean-shift 算法估计图像目标的位置,具有小区域特征检测的实时性。maris-h为指尖和手背跟踪提供了两种跟踪模式。为增强交互操作的用户体验UX),首先利用粒子滤波技术估计手背和指尖的中心位置,根据手或指尖模型计算每个粒子的权重;然后在指尖跟踪模式下,利用基于水平集的轮廓演化方法估计指尖轮廓。此外,研究人员还提出为maris实现一个云架构,以降低设备端的内存需求和计算复杂度。实验结果表明,maris-i和maris-h分别在图像和手部运动跟踪方面优于现有的其他方法。Berrie等提出了一种低成本的虚拟现实游戏系统,该系统以智能手机为显示和处理单元,以其后置摄像头为主要传感器。

 

五、发展趋势和方向

通过分析市场研究报告可以发现,目前市场主流VR设备是HTC VIVE Oculus Rift[14],因此在未来的VR定位技术发展方向上HTC和Oculus两家公司具有主导性。HTC VIVE使用的定位技术是激光定位技术。在激光定位技术中,激光扫描到的反光板与环境中已知位置的反光板的匹配问题是关键的研究方向。除此之外,在近期的研究中,地图重构算法、闭环检测算法、融合定位算法等都是激光定位的研究热点。Oculus Rift使用的定位技术是红外定位技术。在红外定位技术中,信标成像是关键点。针对信标成像进行软硬件计成为了研究热点。红外定位技术下一步将通过对算法的优化和硬件的研发来使其应用领域得到一定的扩展,在结合传统技术的基础上进一步提高了定位精度和用户体验。由于所有定位技术都具有固有的局限性,采用融合定位的方式融合多种定位技术的优势以提高定位精度和可靠性成为一种发展趋势。融合定位通常可分为两种形式:基于贝叶斯滤波的融合定位和基于机器学习的融合定位。随着VR定位系统的发展,在娱乐行业中,VR电影将超越IMAX和3D电影,给电影产业带来革命性的改变,使受众产生身临其境的感觉。在导航中,三维地理信息系统将传统的GIS 与虚拟现实结合,组成逼真的地图场景,以提升用户的导航体验。从规范化角度来说,现在VR定位系统在软件和硬件这两方面都缺少统一的标准,因此未来会出现与个人电脑和智能手机一样的全世界统一的标准。从定位所需的内容方面来说,未来VR硬件设计会从人的视觉、听觉、嗅觉和触觉出发,采集人类最基础的感官信息,设计新的能够代替wimp的交互范式。在定位精度方面,由于虚拟现实高沉浸感的需求,定位精度会向厘米级、毫米级发展。目前虚拟现实主要在室内使用,而室内定位精度高于室外定位精度。随着基础设施的不断完善,虚拟现实应用的室外定位精度将会接近室内定位精度。

 

 

 

参考文献

[1] ZHANG F J,DAI G Z,PENG X L.A review of human-computer interaction in virtual reality[J].Science in China: Information Science,2016,46(12):1711-1736.

[2] KHALAJMEHRABADI A,GATSIS N,AKOPIAND.Modern WLAN Fingerprinting Indoor Positioning Methods and Deployment Challenges[J].IEEE Communications

[3] WU J,LIU X J,PANG T,et al.Summary of the status quo of virtual reality and research on key technologies[J].Guangdong Communication Technology,2016,36(8):40-46.

[4] CASERMAN P,GARCIA-AGUNDEZA,KONRAD R,et al.Real-time body tracking in virtual reality using a Vive tracker [J].Virtual Reality,2019,23(2):155-168.

[5] NG A,CHAN L,LAU H.A low-cost lighthouse-based virtual reality head tracking system[C]∥2017International Conference on 3D Immersion (IC3D).Brussels:IEEE,2017:1-5.

[6] CHANG Y K,HUANG J W,CHEN C H,et al.A lightweight and efficient system for tracking handheld objects in virtual reality[C]∥Proceedings of the 24th ACM Symposium on Virtual

Reality Software and Technology Article.Tokyo:ACM,2018:1-2.

[7] XU W,WANG B,JIANG Y.Mult-i target indoor tracking and recognition system with infrared markers for virtual reality[C]∥Electronic and Automation Control Conference (IAEAC).Chongqing:IEEE,2017:1549-1553.

[8]LIU X X,FENG X Y,PAN S J,et al.Skeleton Tracking Based on Kinect Camera and the Application in Virtual Reality System[C]∥ The 4th International Conference on Virtual Reality

(ICVR2018).Hong Kong,2018:21-25.

[9]WU N,WANG X D,HUQ Q,et al.High-precision indoor visi-ble light positioning method based on mult-i LED[J].Journal of Electronics & Information Technology,2015,37(3):727-732.

[10]TAN C T,LEONG T W,SHEN S,et al.Exploring Gameplay Experiences on the Oculus Rift[C]∥Proceedings of the 2015Symposium on Computer-Human Interaction in Play(CHI

Play ’15).2015:253-263.

[11]ZHENG Y,LI S K,HU C J,et al.Calculating positioning in distributed VR system [J] .Computer Research and Development,1999(2):59-64.

[12]WANG Y Z.Research on the combination of target location andvirtual reality in virtual geographic environment[D].Fuzhou:Fuzhou University,2013.

[13]LEE F W D I Y.position tracking add-on for mobile AR/VR[C]∥ SIGGRAPH ’17 ACM SIGGRAPH 2017 EmergingTechnologies.Los Angeles:ACM,2017:1-2.

[14]LI X X.Virtual Reality Special Report[R].China:Shanxi Securities,2019.