定位技术在虚拟现实中的应用-乔牧博士

2021-04-06

一:简介

近年来,我国虚拟现实技术随着5G技术、传感器技术以及民用图形处理器的发展而快速发展,教育、交通、商业、娱乐、工业等领域对虚拟现实的需求与日俱增。虚拟现实技术是一门崭新的综合性信息技术,其中的定位技术是决定用户沉浸感和交互感的关键技术,是虚拟现实技术的重要依托。虚拟现实系统是一种具3I特性(Immersion,Interaction,Imagination)的现实模仿应用系统。随着近年来虚拟现实技术的快速发展,其已被广泛运用于医疗、交通、教育、娱乐、军事、考古等行业中。

随之而来,用户不再满足于简单地通过鼠标、键盘这种原始的方式进行交互,一种全新的革命性交互方式已经出现。当前人机交互主要依靠wimp交互范式,而在现实世界中的交互主要通过人的五感(味觉、视觉、听觉、嗅觉和触觉)来进行。虚拟现实旨在完全模拟现实世界的交互,但是当前由于技术限制,只能通过虚拟现实设备以隐喻的方式来获取交互信息,精度较差。如图1所示,目前主流的虚拟现实设备提供商提供的产品包括两个定位器、两个手柄、一个头显,定位器用来捕捉头显的位置,手柄用来捕捉手的位置,头显用来传输3D场景,捕捉头部定位和方向。其中,定位器和其使用的定位技术在虚拟现实定位系统中起到了至关重要的作用。

image.png

图1:虚拟现实设备


二:定位技术

2.1室内空间中的虚拟现实定位

目前,室内空间中物体的定位算法有临近信息法、代数积分法、几何特征法等。通过使用这些算法,产生了蓝牙定位技术、超声波定位技术、红外定位技术、激光定位技术、可见光定位技术、W-iFi定位技术等。


2.1.1红外定位技术


红外定位技术通过在空间中布置多个红外线发射器,并在目标物体上布置红外反射点来捕捉反射影像,从而确定用户在空间中的位置。下面主要以HTC VIVE的定位系统灯塔(Lighthouse)为例介绍红外定位技术。HTC VIVE有两个基站,每个基站有一个红外LED阵列和两个转轴互相垂直的转速为100ms一圈的红外激光发射器。基站在工作时以20ms为一个工作周期,在周期开始时红外LED闪光,前10ms内X轴的旋转激光扫过整个空间,Y轴不发光;后10ms内Y轴的旋转激光扫过整个空间,X轴不发光。在基站的LED闪光之后基站就会同步信号,然后光敏传感器可以测量出X轴激光和Y轴激光分别到达传感器的时间。这个

时间就正好是X轴和Y轴激光转到这个特定的光敏传感器的角度的时间,此时可计算得出传感器相对于基站的X轴和Y轴的角度。由于分布在头显和控制器上的光敏传感器的位置是已知的,通过各个传感器的位置差就可以计算出头显的

位置和运动轨迹。Polona等通过使用HTCVIVE的定位器和逆向运动学技术,构造了一个虚拟现实实时追踪系统,其有效降低了延迟,提高了精确度和可信度。Adrian等从感光元件的放置位置和校准方面对Valve公司基于红外定位的

steamVR追踪技术进行了改进,降低了头显设备和追踪设备的费用。HTCVIVE设备目前的问题在于其手柄的形状、大小是固定的,无法给虚拟现实中的用户提供真实的握感。Chang等改进了HTCVIVE手柄。该实验团队通过对现实中的物体增加LeapMotion传感器和IMU(InertialMeasurementUnit)传感器的方式来获取现实中物体的位置和方向,然后将其表现在虚拟空间中,从而使用户可以在虚拟空间

中具有真实感受。Xu等构造了一个相对便宜,但能监控精确位置和方位的信息系统。在该系统中,廉价的红外摄像机被固定在天花板上。环境中的每个用户都佩戴一个红外LED模块。LED模块中任意两个红外LED之间的距离均与其他模块不同。研究人员利用立体视觉理论和识别算法可以实时地识别出每个用户,得到他们的精确位置和方向。该系统在价格和性能之间取得了很好的平衡。Liu等搭建了汉长安城虚拟现实系统平台。该系统对汉长安城的主要建筑进行了建模,并在HTCVIVE的头戴式设备中重建了真实场景。然后利用Kinect-sdk获取骨骼关节的位置信息,并用四元数描述关节的旋转。其采用双四元数线性混合蒙皮算法对三维角色模型进行自动蒙皮。最后通过人体姿态识别算法,实现了用户与汉长安城的交互控制。红外定位技术借助红外线的物理特性实现物体在空间中的定位,它的优点在于定位精度高、延迟低,缺点在于造价昂贵。


2.1.2可见光定位技术


可见光定位技术属于光学定位技术的一种,由空间内位置已知的LED阵列作为位置参考点,LED将位置信息进行编码调制并在照明的同时发送光信号,移动的接收端作为位置未知的目标点先通过其携带的光检测器来接收解调光信号,然后通过光信号信息计算信号传输耗费的时间、到达角度以及强度,再由相应的定位算法获得移动目标坐标。索尼PlayStationVR采用的是可见光主动式定位技术,在头显上安装彩色LED灯,利用双目视觉原理计算拍摄到的彩色LED灯的位置信息,通过区分颜色来实现多目标跟踪。但是,与使用红外定位的OculusRift一样,这种技术的定位范围受限于两个摄像头的视觉大小,并且存在遮挡问题,同时还会受自然光线的影响,这些因素可能导致定位错误甚至失败。


可见光定位技术的优点在于VLC(VisibleLightCommunications)的工作频段是可见光频谱,不存在电磁波辐射,可直接应用在一些禁止电磁波辐射的区域,如手术室、加油站等。相比WiFi基站,发光二极管(LightEmittingDiode,LED)在现实生活中的布局密度大,多径干扰小。为了满足照明需要,室内LED通信的信噪比高。LED除了可用于实现室内定位系统,还可以满足高速率的通信要求。LED的定位精度高,基于LED的室内定位可以达到厘米级别的定位精度。


2.1.3 激光定位技术


激光器扫描一周的过程中,理论上可以计算得到激光器距离所有反光板的距离,同时根据感测时间和扫描周期,利用三角公式计算得到任意两块反光板之间的距离。研究者通过将测量得到的距离与离线理论值进行比较来匹配每个反光板的编号与位置信息。对于扫描一周过程中因障碍物等因素未检测到的反光板,研究者在考虑数量的基础上对匹配方法进行一定的修正,最终计算得到激光器所处的位置。Patel等评估了在六面体空间,即在有1~5面墙的情况下激光发射器以不同角度发射时基于激光的虚拟现实定位系统的表现。结果显示,随着墙的数量的增加,基于激光的虚拟现实定位系统的效果变差。此实验使用了刺猬追踪器,如图2所示。

image.png

图2:刺猬算法


2.1.4 惯性传感器定位技术


惯性传感器包括陀螺仪、角速度计、加速度计、重力感应器等。加速计可以测得三轴加速度的大小和方向;磁力计可以测得方向以及当前的距离方位,也就是与东西南北各个正方向之间的夹角;陀螺仪可以测得设备自身的旋转角度;重力感应器完成从重力变化到电信号的转换。在定位时将这些传感器固定在待定位目标上,利用它们测量待定位目标的运动物理量,如加速度、角速度等,然后对

加速度进行二重积分得到待定位目标的位移量,对角速度进行积分得到待定位目标的运动方向,最后结合待定位目标的初始位置,即可计算出待定位目标的位置。Jian等设计了一种基于惯性传感器的人体运动三维姿态估计及重建的方法。


在虚拟现实系统中,惯性定位方法常与光学或电磁学定位技术配合使用,在单独使用惯性方法进行定位测量时,需要知道待定位目标的初始姿态,并且利用加速度和角速度求解位移和方向时存在累积误差,因此基本只用它进行方向测量。

虚拟现实中一般使用惯性传感器进行辅助定位,但是惯性传感器也有其天然优势,例如抗干扰能力强、设备无线化、不怕遮挡、适用范围广等。



2.1.5 电磁定位技术


电磁定位系统一般由4部分组成,即控制器、发射源、接收器、计算单元。控制器负责控制产生电磁信号,发射源负责发射电磁信号,接收器负责接收电磁信号,计算单元负责通过定位算法和接收到的电磁信号计算出位置。磁传感器探

测得到的空间位置磁场变化,能反映出传感器与磁场发射源的相对位置和方向的变化。磁传感器将采集的信号根据磁场耦合关系计算处理即可得出目标的6个自由度。例如,通过控制三轴正交磁场源来对电流强度进行激励,使最大磁感应强度矢量在空间中旋转。


2.1.6 超声波定位技术


超声波指声音频率高于20kHz的可以通过媒介来传播的声波。超声波可以在气体、固体、液体等各种媒介中进行良好的传播。虚拟现实中利用超声波进行定位需要用到超声波传感器。超声波传感器的性能可以从以下工作频率、波束角、可检测距离、额定电压、灵敏度、工作温度等方面来衡量。工作频率指超声波传感器能产生的或者能接收的超声波频率。波束角指超声波传感器所能检测的范围大小。可检测距离指超声波传感器发射的超声波有效传输的最远距离,它的大小取决于超声波传感器的功率和压电晶片本身材料的属性。额定电压指超声波传感器的最大工作电压。灵敏度分为发射灵敏度和接收灵敏度,分别指在超声波传感器上加1V电压时在距其1m处产生的声压和把超声波传感器放在1μPa声压处

在压电晶片上产生的电压,它的大小取决于压电晶片自身。工作温度指超声波传感器正常工作的温度范围。Yang等设计了一种新颖的超声波三维空间定位系统,并将其运用于虚拟现实系统中,提供了一种在虚拟现实系统中的精确定位方式。 

2.1.6 WiFi定位技术


基于WiFi定位的方法可以分为两类,即基于RSSI(ReceivedSignalStrengthIndication的定位方法和不基于RSSI的定位方法。其中,不基RSSI的定位方法有TOA(TimeofArrival),TDOA(TimeDifferenceofArrival),AOA(AngleofArrival)等。TOA方法即利用信号从发射源到接收源的传播时间,再通过恒定的信号传播速率来计算距离,但其精度往往受到信号的反射和衍射的影响,应用时间和空间稀疏等技术可以减小反射和衍射造成的多径影响。不基于

RSSI的定位方法中,需要特殊定制的WiFi模块获取数据,并不能在任意智能设备上进行。基于RSSI的定位方法可以分为基于指纹定位的方法和基于三角定位的方法。指纹定位需要定义指纹特征向量,并构建指纹数据库,然后根据定位请求来进行指纹数据的匹配,即相似度的计算。也就是说,在定位

之前首先采集尽量多位置点的WiFi信号强度存入数据库,然后将需要定位的终端设备的信号强度与之进行对比,从而求解出坐标。

image.png

图3三边测量定位法原理图


2.1.7 蓝牙定位技术


虚拟现实中蓝牙定位技术方案目前有两种。一种是诺基亚公司推出的HAIP

室内定位解决方案。如图三所示,该方案采用三角定位技术,首先在室内固定若干个使用阵列天线技术的定位节点,在待定位目标上固定蓝牙标签。工作时,蓝牙标签按周期向外发射独特格式的数据报文,定位节点将多个阵元接收到的数据报文传送至定位服务器,结合定位节点各阵元的坐标算出到达角,进而得到待定位目标的坐标。另一种是苹果公司提出的iBeacon。RSSI值会随着目标距离基站的远近而发生变化。因此,该方案通过RSSI值的变化来判断目标距离iBeacon设备的远近。目标进入iBeacon的覆盖范围内,就可以接收到iBeacon的广播信号。目标接收到广播信号后会被唤醒并识别iBeacon信号,然后将对应iBeacon的ID以及信号强度等发往定位服务器。服务器端接收到信息后,根据iBeacon的ID和信号强度计算目标所在的位置。Wu

等设计了一种集成iBeacon室内定位的文化旅游虚拟导览系统。 

三 定位设备


3.1 VR设备

3.1.1 PC+头显+手柄+定位装置

PC+头显+手柄+定位装置的方式通过高性能主机完成计算和渲染,再通过传输线将3D图像信息传输到头显,最后使用定位设备完成对头显和手柄的定位。这种配置的优点是图像渲染平台稳定高效,计算能力强大;其缺点是价格昂

贵,行动能力受到传输线长度的限制。HTCVIVE和OculusRift都支持这种配置方式,其中HTCVIVE所用的Lighthouse技术属于激光定位技术,OculusRift所用的定位技术是红外主动式光学技术。


3.1.2 手机+头盔


手机+头盔的配置方式通过手机完成计算和图像渲染,并通过手机屏幕来显示图像,而头盔只负责固定手机和增强效果。这种配置的优点在于具有移动性,价格相对较低,其缺点是VR效果差,无法提供精准的定位。三星GearVR和暴

风魔镜支持这种配置方式。


3.1.3 一体机


一体机直接将图像渲染和计算功能集成到头盔中,同时集成了陀螺仪、光学镜片等感应设备。这种配置的优点在于具有更强的移动性,价格合理;其缺点在于计算能力不足,不能支持大型VR系统且续航能力不足。灵境小黑、暴风魔王

等支持这种配置方式。


四 发展趋势和方向


通过分析市场研究报告可以发现,目前市场主流VR设备是HTCVIVE和OculusRift,因此在未来的VR定位技术发展方向上HTC和Oculus两家公司具有主导性。HTCVIVE使用的定位技术是激光定位技术。在激光定位技术中,激光扫描到的反光板与环境中已知位置的反光板的匹配问题是关键的研究方向。除此之外,在近期的研究中,地图重构算法、闭环检测算法、融合定位算法等都是激

光定位的研究热点。


OculusRift使用的定位技术是红外定位技术。在红外定位技术中,信标成像是关键点。针对信标成像进行软硬件设计成为了研究热点。红外定位技术下一步将通过对算法的优化和硬件的研发来使其应用领域得到一定的扩展,在结合传统技术的基础上进一步提高了定位精度和用户体验。由于所有定位技术都具有固有的局限性,采用融合定位的方式融合多种定位技术的优势以提高定位精度和可靠性成为一种发展趋势。融合定位通常可分为两种形式:基于贝叶斯滤波的融合定位和基于机器学习的融合定位。随着VR定位系统的发展,在娱乐行业中,VR电影将超越IMAX和3D电影,给电影产业带来革命性的改变,使受众产生身临其境的感觉。在导航中,三维地理信息系统将传统的GIS与虚拟现实结合,组成逼真的地图场景,以提升用户的导航体验。从定位所需的内容方面来说,未来VR硬件设计会从人的视觉、听觉、嗅觉和触觉出发,采集人类最基础的感官信息,

设计新的能够代替wimp的交互范式。在定位精度方面,由于虚拟现实高沉浸感的需求,定位精度会向厘米级、毫米级发展。目前虚拟现实主要在室内使用,而室内定位精度高于室外定位精度。随着基础设施的不断完善,虚拟现实应用的室外定位精度将会接近室内定位精度。