虚拟现实系统之硬件输入设备——丁茹博士

2021-12-29

众所周知,虚拟现实系统需要使用一些特殊的硬件设备,才能让用户通过视觉、听觉、触觉、嗅觉等多种感官感受到逼真的虚拟世界,并通过自然动作和虚拟世界进行交互。输入设备是虚拟现实系统中的重要组成部分。目前市面上常见的输入设备有三维跟踪定位设备、数据手套、数据衣、三维鼠标、三维扫描仪等。

(一)数据手套

数据手套是一种穿戴在用户手上,可以实时获取用户手掌、手指姿态的数字设备,它可以将手掌和手指伸屈时的各种姿势转换成数字信号传送给计算机,通过软件编程,可进行虚拟场景中物体的抓取、移动、旋转等动作,也可以利用它的多模式性,作为一种控制场景漫游的工具。

数据手套的出现为虚拟现实系统提供了一种全新的交互手段,目前的产品已经能够检测手指的弯曲,并利用磁定位传感器来精确地定位出手在三维空间中的位置。这种结合手指弯曲度测试和空间定位测试的数据手套被称为“真实手套”。在虚拟现实系统中,应用程序会将用户的手部姿态信息与虚拟场景中的一个手部模型进行绑定。这样,这个虚拟的手部模型就能够受到用户的实时控制,并与用户真实手的运动状态保持一致,用户的感觉就好像这个虚拟的手部模型就是自己真实的手,可以在虚拟世界中完成物体的抓取、移动、装配、操纵等控制,如图 1所示。数据手套的出现使得用户可以通过自然的手势和虚拟世界交互,从而增加了用户体验的真实感和自由度。数据手套还具有体积小、重量轻、操作简单等特点,因此得到了广泛的应用。

在实际应用中,数据手套上不但配有识别手掌、手指姿势的传感器,还必须配有空间位置跟踪器,用于检测手部整体在三维空间中的方位。目前已经有多种数据手套产品,它们的区别主要在于采用的传感器不同。


图片76.png 


图1 数据手套使用效果

1.5DT公司的传感器数据手套

5DT公司的传感器数据手套包括5个传感器和14个传感器两款,图2所示的是14个传感器款的。5个传感器的每个手指1个传感器,测量使用者的手指弯曲位置,14个传感器的每个手指2个传感器,手指之间还各有一个传感器,不仅测量使用者的手指弯曲位置,还可测量手指之间的夹角,能够很好地区分每根手指的外围轮廓。系统通过一个RS-232接口,或无线通信模块(最远支持20 m距离)与计算机相连。手套为可伸缩的合成弹力纤维制造,可以适合不同大小的手掌,还有左手和右手型号可供选择。


图片77.png 


图2 14个传感器数据手套(有线/无线)

2.CyberWorld P5 Glove虚拟现实数据手套

CyberWorld公司生产的CyberWorld P5 Glove虚拟现实数据手套(图3)是一款采用独特弯曲传感器和远程跟踪技术的交互产品,可用于使用者与3D游戏及虚拟现实环境的实时互动。P5 Glove采用五根手指独立测量的方式,解析度为0.5°(0~90°范围),刷新率为60Hz,它的优势如下所述。

· 符合人体工程学原理的设计,产品重量仅为4.5盎司(约127g);

· 第一款广泛的虚拟现实3D交互产品;

· 鼠标模式与任何应用兼容;

· 六自由度追踪(XYZ轴、摇摆、倾斜及滚动),可确保逼真动作;

· 提供弯曲传感器和光学跟踪技术;

· 即插即用方式,可与PC的USB端口直接连接;

· 配有防剐擦、防反射镜头的红外控制接收器;

· 可在不同环境中使用。

图片78.png

目前专业版P5数据手套可以有效地提升PC游戏体验,用户可以真实地在视频游戏中舞动宝剑,穿越在线房间,或从屏幕上拾起物体,P5的强大功能让用户能够以前所未有的方式体验到如同身临其境的3D虚拟游戏。未来CyberWorld公司将研发应用于更多虚拟现实领域的数据手套。


图3 CyberWorld P5 Glove虚拟现实数据手套

(二)人体运动捕捉设备

人体运动捕捉是记录人体运动信息以供分析和回放的技术。捕捉的数据既可简单到记录躯体部件的空间位置,也可复杂到记录脸部和肌肉群的细致运动,目的是把真实的人体动作完全附加到虚拟场景中的一个虚拟角色上,让虚拟角色表现出真实人物的动作效果。运动捕捉系统是一种用于准确测量运动物体在三维空间运动状况的高技术设备。它基于计算机图形学原理,通过排布在空间中的数个视频捕捉设备将运动物体(跟踪器)的运动状况以图像的形式记录下来,然后使用计算机对该图像数据进行处理,得到不同时间计量单位上不同物体(跟踪器)的空间坐标。从应用角度来看,运动捕捉设备主要有表情捕捉和肢体捕捉两类,从实时性来看,运动捕捉设备可以分为实时捕捉和非实时捕捉两类。

运动捕捉技术的出现可以追溯到20世纪的70年代末,当时的迪士尼公司在《白雪公主与七个小矮人》影片中试图通过“临摹”高速拍摄真实演员动作的连贯相片来提高动画角色的动作质量,可惜结果不尽如人意,动作的确很逼真,但缺乏卡通性和戏剧性,最后迪士尼放弃了这一动画制作方法。

当计算机技术开始应用于动画制作时,纽约计算机图形技术实验室的Rebecca Allen就设计了一种水银镜子,将真实舞蹈演员的表演姿势投射在计算机屏幕上,作为数字舞蹈演员动画关键帧的参考。此后,运动捕捉技术吸引了越来越多研究人员和开发商的目光,并从实验性研究逐步走向了实用化和商业化。随着计算机软硬件技术的飞速发展,目前在发达国家,运动捕捉已经得到广泛的应用,成功地应用于影视特效、动画制作、虚拟现实、游戏、人体工程学、模拟训练、生物力学研究等许多方面。

人体运动捕捉设备一般由传感器、信号捕捉设备、数据传输设备和数据处理设备四部分组成,根据传感器信号类型的不同,可以将运动捕捉设备分为机械式、声学式、电磁式和光学式四种类型。随着技术的发展,目前光学式运动捕捉设备的使用越来越多,它利用图像识别技术进行运动分析,从而直接识别出表演者身体关键部位并测量其运动轨迹,例如,根据人体轮廓特征提取运动信息,或者利用有网格的背景来简化处理过程,其原理如图4所示。光学式运动捕捉的优点是运动者活动范围大,无电缆、机械装置的限制,使用方便;其采样速率较高,可以满足多数高速运动测量的需要,但是设备的价格也很昂贵。

图片79.png

 

图4 光学式人体运动捕捉设备

目前,在虚拟现实游戏及增强现实体验中,比较常见的还有微软公司为Xbox36开发的Kinect交互设备。该设备的光学部分包括红外线发射器和红外线/VGA摄像头组两个主要部件。红外线发射器发出一道“红外激光”覆盖整个Kinect的可视范围;摄像头组接收反射光线来识别用户姿态,其中红外摄像头识别图像的“深度场”,VGA摄像头识别图像的“颜色场”,然后系统使用图像处理技术从这两幅图像中分析出人体的运动姿态。图5展示了Kinect的应用场景。

图片80.png

 

图5 Kinect的应用场景

近期推出的新款Kinect综合了计算机视觉、机器自主学习、语音识别、面部表情识别、数字信号处理等技术,能够更精确地进行骨架跟踪,更精确地进行关节和肢体活动的映射,当用户活动上半身时,能把从臀部到背部、再到手指的一系列的运动识别出来,最后融为一个完整连续的动作反映到游戏中。不仅仅是动作,它还能“理解”移动中人的表情和声音,最多同时“认出”6个人,这些新的特点使开发者们可以基于Kinect能感知的语音、手势和体验者的感觉信息,带来前所未有的互动性体验。图6是新款Kinect的外观。

图片81.png


图6 新款Kinect


(三)数据衣

数据衣(Data Suit)是一种轻量级、便携式的人体跟踪设备,可以实现对全身运动的识别。同数据手套的原理类似,该设备将大量传感器配置在紧身衣上,通过对四肢、腰部、各关节等人体部位进行检测,实现用户运动轨迹的跟踪和记录。目前数据衣已大量应用于虚拟游戏、电影特效等商业领域。

图7是一套XSens MVN数据衣,以独特的微型惯性传感器(MTx)和无线Xbus系统为基础,结合生物力学原理开发而成。它采用了16个微型惯性运动传输传感器,可以进行6自由度(3个平移参数、3个旋转参数)的人体动作捕捉,无须外部照相机和发射器等装置,避免了信号阻挡或标记物丢失而造成的误差,同时也降低了外接线路对用户行动的限制。Xsens MVN产品拥有两个硬件配置MVN Link(有线版)和MVN Awinda(无线版)。以专用软件MVN Studio实时记录数据、查看动态捕捉效果。MVN独特之处在于不受光线的影响,具有超长的捕捉范围。新版Xsens MVN动作捕捉系统在母公司FairChild国际芯片大厂协助之下,采用了新型的核心传感器技术,使得最新版捕捉系统无论是硬件设备还是软件功能方面均得到大幅的提升,如双脚同时离地、跳跃、爬楼等,骨骼数据实时录制无任何漂移现象,如图7所示。


图片82.png 


图7 XSens MVN数据衣

(四)三维扫描仪

三维扫描仪又称为三维数字化仪或三维模型数字化仪,是一种先进的三维模型建立设备,它是当前使用的对实际物体三维建模的重要工具,能快速方便地将真实物体的立体参数信息转换为计算机能直接处理的数字信号,为实物数字化提供了有效的手段。三维扫描仪可以显著降低手动建模的成本和误差,特别适用于不规则的三维模型,因此在三维建模方面有着重要的应用价值,现已广泛应用于工业设计、文物保护、游戏开发等众多领域。

三维扫描仪扫描的是物体表面每个采样点的三维空间坐标,输出的是包含物体表面每个采样点的空间坐标和色彩信息的数字模型文件,可以直接导入AutoCAD、3ds Max等建模软件。根据工作原理可以将三维扫描仪分为接触式和非接触式两种,另外还有一类基于机器视觉的三维扫描仪。例如,用相机拍摄多张光照不同的照片,利用光学原理综合多张照片中的光学模型计算出物体的三维模型。根据工作场景不同,三维扫描仪还有机载、车载、地面等的区别。图8展示了几种不同三维扫描仪及其应用场景,具体介绍如下所述。

(a)为机载三维扫描仪,它是集激光扫描、全球定位系统、惯性导航、摄影测量等多种技术于一体的新兴空间测量技术,能够快速、精确地获取地表三维空间信息,是继GPS技术后的又一大技术革命。

(b)是车载三维扫描仪,用于在地面获取较大场景时使用,在汽车移动过程中,快速获取高精度定位定姿数据、高密度三维点云和高清连续全景影像数据,通过统一的地理参考和摄影测量解析处理,实现无控制的空间地理信息采集与建库。

(c)是地面三维扫描仪,主要用于对建筑物进行测量和建模,包括激光测距系统和激光扫描系统,同时也集成CCD和仪器内部控制和校正等系统。在仪器内,通过一个测量水平角的反射镜和一个测量天顶距的反射镜同步、快速而有序的旋转,将激光脉冲发射体发出的窄束激光脉冲依次扫过被测区域,测距模块测量每个激光脉冲的空间距离,同时扫描控制模块控制和测量每个脉冲激光的水平角和天顶距,最后按空间极坐标原理计算出扫描的激光点在被测物体上的三维坐标。


(d)为便携式三维扫描仪,它是Creaform 生产的EXAscan™手握式高分辨率激光扫描仪。


 图片83.png

图8 三维扫描仪及其应用场景

(五)眼动仪

眼动仪是一类记录眼球运动轨迹的新型跟踪设备。早在19世纪就有人通过考察人的眼球运动来研究人的心理活动,通过分析记录的眼动数据来探讨眼动与人的心理活动的关系。眼动仪的问世为心理学家利用眼动技术(Eye Movement Technique)探索人在各种不同条件下的视觉信息加工机制,观察其与心理活动直接或间接奇妙而有趣的关系提供了新的有效工具。眼动技术先后经历了观察法、后像法、机械记录法、光学记录法、影像记录法等多种方法的演变。眼动技术就是通过对眼动轨迹的记录从中提取诸如注视点、注视时间和次数、眼跳距离、瞳孔大小等数据,从而研究个体的内在认知过程。

20世纪60年代以来,随着摄像技术,红外技术(Infrared Technique)和微电子技术的飞速发展,特别是计算机技术的运用,推动了高精度眼动仪的研发,极大地促进了眼动研究在相关学科中的应用。眼动心理学的研究已经成为当代心理学研究的一种重要手段。

现代眼动仪的结构一般包括四个系统,即光学系统、瞳孔中心坐标提取系统、视景与瞳孔坐标叠加系统和图像与数据的记录分析系统。眼动有三种基本方式:注视(Fixation)、眼跳(Saccades)和追随运动(Pursuit Movement)。眼动仪通过记录注视、眼跳、追随运动等眼动轨迹,可以提取注视点、注视时间和次数等信息。眼动仪在市场研究、医学、游戏开发等领域有一定的应用前景。


根据设备是否可佩戴,眼动仪可分为头戴式和远程式两类。图9(a)是SMI iView X™头戴式眼动仪,该产品体积轻巧、佩戴方便,可以在体育项目、驾驶等移动应用中使用。图9(b)所示为SMI iView X™ RED遥测式眼动仪,采用无接触的远程设置方式,可在几秒钟内快速完成自动校准,测试者头部移动不受限制,适用于多数眼镜佩戴者。

图片84.png

 

图9 眼动仪

(六)其他手控输入设备

为了对传统的鼠标、键盘等交互设备进行改进,人们还设计出了一些其他手控输入设备,如三维鼠标、力矩球等。这些设备的交互方法与传统设备类似,但是在功能上有所增强。

三维鼠标通过安装在鼠标内部的超声波或电磁发射器

及基座上的接收器可以检测鼠标的空间位置,完成6自由度的鼠标交互。其工作原理是在鼠标内部装有超声波或电磁探测器,利用这个接收器和具有发射器的固定基座,就可以测量出鼠标离开桌面后的位置和方向。图10所示是3Dconnexion 探索者 SpaceExplorer USB接口专业3D鼠标。SpaceExplorer采用六自由度传感器和2.4GHz无线技术,支持双手工作方式进行3D导航,提供多个可编程按键,可以代替键盘上的Ctrl、Shift等键,从而减少手移动到键盘所花费的时间。图10(a)展示了它的外观,图10(b)是SpaceExplorer配合鼠标双手工作的场景,一只手可以操纵SpaceExplorer定位模型,然后进行旋转和平移、缩放,一步到位;另一只控制鼠标的手则可以同时编辑模型或选择菜单项,使工作更为自然灵敏。

图片85.png

 

图10 3D鼠标

空间球类似于三维鼠标,是一种可以提供6个自由度的桌面设备,它被安装在一个小型的固定平台上,可以进行扭

转、挤压、按下、拉出和来回摇摆。球中心的张力器检测出手施加的力并将其转换为3个平移参数和3个旋转参数传回计算机,可以实现对三维物体不同角度的观察和操控,如图11所示。


 图片86.png

图11 空间球