浅谈力触觉交互在虚拟现实上的应用-危昔均博士

2021-05-12

摘要:力触觉交互作为虚拟现实系统人机交互中的重要组成部分,近年来越发受到人们的关注。本文先是简单介绍虚拟现实、人机交互以及力触觉等基本概念。随后介绍了有关力触觉交互的核心技术,并针对国内外的研究状况介绍了部分力触觉交互设备。最后,以力触觉在医学和工业领域里的应用为例子,简要地介绍国内外力触觉交互系统的应用情况。

关键词:虚拟现实,人机交互,力触觉

1 引言

虚拟现实是一种使用计算机技术和电子信息技术创造出来的可以体验虚拟世界的计算机系统,是一个看似真实的模拟环境。沉浸感、交互性以及构想性是虚拟现实系统的三个基本特征。沉浸感指的是用户将身心融入到虚拟环境中;交互性指的是用户与虚拟环境中的各个对象发生信息交换;构想性则指的是用户在使用虚拟环境的过程中能够获取对某事物新的认知。其中,交互性实现了用户与虚拟现实之间双向的信息传递通道,使得用户与虚拟环境在双向感知的基础上建立起一个自然和谐的交互环境。因此,交互性是虚拟现实为用户提供真实、自然的虚拟环境体验的核心特征[1]。

人机交互指的是用户与虚拟现实基于其交互性的基本特征的双向信息交流。通过多种传感设备,用户基于自身的日常行为习惯或者知识技能对虚拟现实模拟出的环境进行探索,并参与其中的模拟事件。这些传感设备包括键盘、鼠标、操纵杆、触觉手套等。同时,虚拟现实也能通过传感器设备将虚拟环境信息以符合声觉、力触觉、视觉、嗅觉、方向感等五大人类感知方式传递给用户,使得用户获得自然而真实的感觉[2]。

触觉是人体在触摸物体时对物体产生的形状、表面纹理、粗糙程度以及温度等多方面感知的机械感受,作用在皮肤时最为明显。力觉是人体从肌肉和肌腱里面获得的感知信息。力触觉是五大感官信息通道中人类获取环境信息仅次于视觉的重要感觉,也是唯一具备双向信息传递能力的通道。力触觉交互是指用户通过虚拟现实设备,模拟用户对实际物体的感知,将感知通过力触觉的形式反馈给用户的人机交互技术[3]。在五大感官通道的虚拟现实人机交互方式当中,力触觉交互能够使用户产生更加真实、更深层次的沉浸感,也是未来虚拟现实人机交互的重要研究方向。

2 力触觉交互应用的技术

2.1 力触觉建模技术

力触觉建模本质是基于物理规则建立对物体受力和形变的模型。根据虚拟环境中物体可能出现的刚性或者柔性等不同的模型,可以将力触觉建模方法分为两类:刚性物体的力计算方法和柔性物体的受力与形变之间的关系[3]。

由于触觉接口在虚拟现实环境中所呈现的形态可能会出现点、线、体等不同的形状,因此可以以点、直线、几何体三个方面分别介绍刚性物体的力生产方法。

(1)基于点的力生成算法。在该力的生成算法中,使用的是接口设备的末端点(类似于真实世界的具备尖端物体的末端)与虚拟物体进行接触。这种末端点在空间中只在某一个方向上运动的模型为1DOF作用力模型,如直线推动活塞运动。该模型的末端在虚拟现实环境中对刺入虚拟物体中,根据其穿刺程度可以反推建立起相关的力生成算法模型,这种方法也称为向量场法。这种算法主要是基于力的大小与穿刺距离成正比的关系来推算生成的力的大小,计算量小且有效。但在针对扁平或者复杂的三维物体时,则会由于无法确定力的方向和力的力的作用基准面而使得虚拟作用力发生振荡继而引发系统不稳定。

(2)基于线的力生成算法。线的力生成能够弥补点的力生成在仿真碰撞中不能生成力矩的缺点。在线的力生成算法中,可以通过使用带有方向的线段模型来仿真长条状工具与虚拟物体相互作用的结果。其优点在于可以使用户在虚拟环境中与多个物体进行交互,并且获得力矩作用的再现。另一种线的生成算法是利用带摩擦力的多点接触作用来仿真接触点附近的力矩作用,最后达到抓取虚拟物体时力的生成。

(3)基于几何体的力生成算法。该算法对于力生成的精准度和逼真度有很大的提升,但是相应的计算量更加庞大。为了降低计算量,可以利用一组分布在三维物体表面的点集合来计算力和力矩的作用,达到逼近物体的生成力的大小的效果。另一种降低计算量的思路则是一种体数据的力渲染方法,该方法直接在体素数据上运行,并且使用在运行过程中生成的隐式表面以替代以往需要预先计算的立体结构,达到“以面代体”的目的。

在柔性物体受力与形变之间的关系研究中,可以使用开环仿真和闭环仿真两种方式来计算柔性物体的力计算模型和变形计算模型是否一致。开环仿真主要用于计算变形的模型和计算接触力的模型之间相互独立的情况,实现容易。但由于没有变形量的反馈,实际计算出来的物体形变和力的大小并没有内在关联,呈现的视觉效果可能与力觉反馈相距甚远;而闭环仿真则适合用于物体形变和接触力相互关联的场景。由于闭环仿真具备力或者形变量的反馈,接触力和变形计算具有一致性,最后呈现的视觉再现与力觉反馈具有协调性。

2.2 力触觉传感技术

操作用户与虚拟现实中的对象或环境进行交互式,所涉及到的传感可以分为两类:虚拟传感器以及实体传感器[4]。

虚拟传感器指的是一类在虚拟现实中测算用户与虚拟对象或环境特定参数的特定算法。当虚拟对象或环境经过建模,并且能在虚拟的三维空间中重现且具有准确的坐标时,用户与虚拟对象进行交互需要实时计算用户与虚拟对象或环境之间的距离。此时,虚拟现实系统中可以专门设计一个用于测算的两者距离的算法,该算法就相当于一个虚拟的“接触传感器”。类似的,可以通过特定算法确定用户与虚拟对象的相互作用的程度,来测算力的生成大小,构造一个虚拟的“压力传感器”。

实体传感器指的是具备实体的触觉传感器。通过实体传感器,虚拟现实系统与用户间能够在进行力触觉的交互。用户可以通过虚拟现实系统的硬件传感器将自身的行为信息实时传递,与虚拟对象或环境进行交互。而相应地,虚拟对象或环境也能通过实体传感器将力触觉感知传递给用户。根据力触觉的分类不同,可以将实体传感器分为接触觉、压力觉、温度觉以及纹理觉等不同类型。

2.3 力触觉反馈技术

力触觉反馈主要指的是虚拟现实系统将力触觉感知信息反馈给用户自身的过程,使得用户在能够感知与虚拟现实系统的交互程度,从而更好地完成与虚拟环境的交互。力触觉反馈主要分为两种方式:基于视觉的力触觉反馈和基于物理刺激的力触觉反馈[4]。

基于视觉的力触觉反馈主要是以屏幕显示的方式“告知”用户是否与虚拟对象或环境发生接触,这需要占用使用者额外的视觉资源,因而逐渐被弃用。

基于物理刺激的力触觉反馈是目前更为常有且能提供更加真实效果的反馈方式。早期研究的主要技术有顶针刺激、气动刺激、振动刺激以及电刺激等。其中,(1)顶针刺激是通过压力、电磁等多种形式驱动针状阵列实现顶针上下往返,以实现对皮肤的刺激;(2)气动刺激是指将具有一定压力的气体通过管道或阀门施加到人体表面,使人体产生接触物体的感觉方式;(3)振动刺激则是利用钝针、音圈或压电晶体等产生振动,从而刺激人体使其产生力触觉感知;(4)电刺激则是通过微小电极将电脉冲直接施加到人体表面皮肤。近年来,研究人员还发展了诸如超声刺激、电流变液、射流刺激等新的力触觉反馈方式。

3 力触觉交互设备

根据安装方式的不同,可以将力触觉交互设备分为笔式装置、内嵌式装置以及穿戴式装置[5][6]。

3.1 笔式装置

笔式结构的力触觉反馈装置指的是外形上呈现笔状的交互设备。由于笔形状具备便携性高、小巧等特点,因此该类装置广泛受到研究人员的关注。

土耳其大学的 Atakan Arasa 等人研制出一款二自由度力觉交互笔,如图1所示。该力觉交互笔能同时为用户提供沿笔杆党项和轴向旋转力的反馈。装置中有两个振动电机,分别位于触觉笔的笔头和笔尾。沿笔杆方向的可以利用两个电机振动时产生的幻影效应来表示物体表面细微的高度变化,而轴向方向则利用电机产生的旋转力表征手在接触到物体时产生的扭矩。而日本电气通信大学的Hachisu等人研制了一款能够感知柔性材料的反馈装置。当用户使用该装置挤压触摸屏时,装置前端的球形结构能够收集用户手部施加的压力大小。该装置根据不同大小的按压力和不同材质产生不同的振动反馈,从而模拟人手触摸柔性材料时的触感。

 image.png

图1 二自由度力觉交互笔

3.2 内嵌式装置

内嵌式力触觉反馈装置指的是将传感器放置于移动终端的表面或内部,用户再直接用手与屏幕直接接触的装置。其基本原理是,通过屏幕或者接触表面施加电压或者超声波,使得手指与接触面之间产生可控摩擦力或静电力。

迪斯尼研究所的Poupyrev等人开发处了一款基于电振动原理的TeslaTouch,如图2所示。该设备不采用任何的机械致动装置,通过控制触摸表面与手指之间的静电力就能实现对图像纹理、摩擦力等感官信息的表达,该设备能够帮助盲人感受二维图像。在国内,吉林大学研制出一款基于静电力的触觉在现移动终端样机,如图3所示。该装置能够允许用户直接对用户的指尖末端产生刺激,因此其力触觉感受较为逼真。

 image.png

图2 基于电振动的力触觉再现装置

 image.png

图3 基于静电力的力触觉再现装置

3.3 穿戴式装置

可穿戴式力触觉反馈装置指的是能够穿戴在人类肢体上的设备,包括但不限于躯干、手臂、手部等[7]。

Virtual Technology公司研发了一款CyberGrasp力反馈数据手套,如图4所示。装备主要分为外骨骼机构和数据手套两部分。外骨骼部分共有五个驱动器,每根手指配备一个,能够为每根手指添加阻力反馈。驱动部分分为传输机构和直流电机,每一个执行器都能单独运作,且其工作范围包括了人手的所有运动范围,因此不会影响手部活动。

 image.png

图4 CyberGrasp

Prattichizzo等人提出一种可穿戴的3-DoF指尖设备,如图5所示,其主要用于虚拟远程环境。该设备有两个部分组成,一个是位于手指背部,用于支持三个小型直流电机;另一个则是位于指尖的表面。其操作方式是通过控制连接的电线长度改变施加在用户手部的力的大小及方向,指间的接触力则主要由设备里面的三个力敏电阻测量。

 image.png

图5 3-DoF指尖设备

4 应用领域

力触觉交互在虚拟现实系统中的应用涉及到各行各业,各个领域难以遍及。以下以医学领域和工业领域作为例子简要说明力触觉在这两个领域当中的一些应用。

4.1 医学领域应用

力触觉交互在医学领域一个典型的例子就是虚拟手术[8]。借助于虚拟现实技术,医生可以在进行真实手术之前于虚拟手术环境中不断进行预演,从而尽可能地发现手术方案中可能存在的瑕疵并加以完善。另一方面,医生在真正上手术台之前需要大量的练习。目前的训练方案大多是动物尸体,动物尸体结构与人类相去甚远,而可供医生进行训练的人类尸体资源非常稀缺。虚拟手术则提供了解决医生训练问题的一个方案。

在虚拟手术训练方面,典型的有瑞典Mentice公司研发的Procedicus MIST系统、Surgieal Seience开发的Lapsim系统、德国卡尔斯鲁厄研究中心开发的SeleetIT VEST System系统等。

4.2 工业领域应用

力触觉交互在工业领域当中的一个重要应用是虚拟装配。虚拟装配是指通过预建模、数据表达、常规分析等应用手段,在无需生产产品物理样机的前提下,利用计算机技术对产品的CAD模型进行与装配有关的决策。将虚拟现实人交互系统应用到虚拟装配中,能提高虚拟装配技术中人的感知,加强人对于分析产品可装配性的能力。国外的许多发达国家和研究机构大力开发力反馈装置,并且将其应用到虚拟装配中[9][10]。

美国的Cyber Glove公司生产的Haptic Workstation 3D触觉系统拥有一套完整的人际交互系统,双手力触觉系统与逼真的3D成像系统相结合,配备简单易懂的CAD造型软件,课应用在虚拟装配、机器人遥操作、培训模拟等方面。

美国SenAble Technilogy公司生产的一系列PHANTOM(Personal haptic interface mechanism)台式力反馈装置能够提供强大的软件开发功能,用户能够在该平台上处理简单的高层对象以及添加摩擦、硬度等物理量。

5、结语

本文先是简述了虚拟现实、人机交互和力触觉交互的概念,随后介绍了力触觉交互的核心技术,并且对国内外的不同的公司或研究机构制造的成果简要介绍,最后再以医学领域和工业领域作为代表介绍力触觉交互在实际生活中的应用。