力触觉交互技术中的力触觉建模技术-刘云博士

2021-10-12

摘要:虚拟现实技术,英文Virtual Reality,简称VR。是一种理想的人机通信的技术。这项技术有沉浸感、交互性、思维构想性三个最本质的特点。而力触觉交互技术是虚拟现实中的核心技术之一,本文从虚拟对象和力触觉表达方式的差异出发,综述了力触觉建模技术的研究现状,并分析了各种模态的力触觉建模的特性。最后对力触觉交互技术的发展趋势进行了展望。

关键词:虚拟现实建模技术,力触觉交互,力触觉建模

1虚拟现实技术的概念

虚拟现实技术中最本质的特点可以用三个I来概括,即Immersion沉浸感、Interaction交互性、Imagination思维构想性。沉浸感是指用户感到存在于虚拟世界中的真实程度。交互性是指用户对虚拟世界内物体的可操作程度和从虚拟世界中得到反馈的真实程度。虚拟现实技术作为一种新型的人机通信技术,区别于键盘鼠标的传统模式,利用数字头盔、数字手套等复杂的传感器设备,三维交互技术与语音识别、语音输入技术成为重要的人机交互手段。而近年来,虚拟现实技术取得了快速发展,表现出一些新的特点和发展趋势,主要是:虚拟现实建模技术、实时三维图形生成和显示技术、触觉交互技术、大型网络分布式虚拟现实的研究。

2力触觉交互技术

触觉交互对于虚拟现实具有重要意义。人类的好奇心决定了人们在看到物体的同时天生就有一种想摸一摸的冲动,此外,触觉交互可以帮助人们在体验虚拟空间时与虚拟对象进行实时的互动,以获得逼真的体验,从而高质量地完成培训或操作控制。触觉交互在技术层面主要涉及触觉再现和触觉传感两个方面。

3力触觉再现技术中的建模技术

虚拟对象的力触觉建模是力触觉再现技术中最为重要的环节,本质上是一种基于物理约束的物体受力与变形模型。目前,力触觉建模研究中较多的是针对简单情况,对于物体受力触觉作用时的真实变形计算还存在很多困难。根据虚拟环境中物体的不同模型(刚性或柔性等),力触觉建模方法可以分成两类:刚性物体的力计算方法和柔性物体的受力与变形之间的关系。

3.1刚性物体的力计算方法

根据触觉接口设备在虚拟环境中的虚拟化身形状的不同 (如点、线或体),可以分为以下三个方面介绍刚性物体的力生产算法。[1]

3.1.1基于点的力生成算法

在基于点的力生成算法中,用接口设备的末端点与虚拟物体相互作用,类似真实世界中借助探针状工具的末端去触摸物体。这种只在空间某一维方向上运动的模型为1DOF作用力生成模型,如仿真紧捏剪刀来剪纸张、推动注射器的活塞运动等。此模型虚拟环境中的虚拟化身会刺入虚拟物体内部,这种穿刺程度信息可以用来建立相应力生成算法模型,这类力建模方法建立了虚拟化身的空间位置与所生成的作用力一一对应的关系,又称为向量场方法。这种算法是基于惩罚的方法,即力直接正比于穿透距离,计算比较简单有效,但是并不记录 虚拟化身的历史位置信息,这样在与一些扁平的或者比较复杂的3D物体相互作用时,无法确定作用力的方向以及应该基于虚拟物体的哪一个表面来计算作用力,而且向量场方法会使得虚拟作用力出现振荡和能量泄漏现象,容易引起系统的不稳定。

3.1.2基于线的力生成算法

采用点接触模型虽然较简单有效,但不能仿真碰撞过程中所产生的力矩。通过使用射线状线段(带有方向的线段)模型来仿真长条形工具与虚拟物体相互作用。这种模型可以使得操作者能够同时与虚拟环境中的多个物体相互作用,并且能够获得力矩作用的再现。有人研究了多点接触抓取虚拟物体的力触觉生成,通过带有摩擦力的点接触作用来仿真接触点法向附近的力矩作用。

3.1.3基于几何体的力生成算法

基于几何体的力生成算法相对基于点和线模型的算法所需要的计算量更多,但对于力生成的精准度和逼真度都有了很大的提高。虽然单个点不足以来仿真两个3D多面体之间的接触作用,但是一组分布在接触3D物体表面的点集合却可以计算力和力矩作用。[2]典型的如研究的复杂机械部件之间的力生成算法模型。有人提出了一种新的人体数据的力渲染方法,该方法直接在体素数据上运行,并且使用在运行中生成的隐式表面表示而不是任何预先计算的结构, 是现有技术的一个很好的替代方案,同时避免了大多数常见的缺陷。

3.2柔性物体的受力与变形之间的关系

与柔性物体接触时的作用力,通常是由变形计算产生。因此,对接触力的建模主要研究力与变形的关系。根据柔性物体的力计算模型和变形计算模型是否一致,可以大致分为以下两类: 一类称为开环仿真,另一类称为闭环仿真。[3]

在开环仿真中,用于计算变形的模型和计算接触力的模型之间相互独立。这样实现起来比较容易,但变形和力计算之间没有内在联系,可能出现视觉和力觉仿真不一致。在闭环仿真中,变形和接触力计算相互关联。变形计算和虚拟力计算模型一般采用相同的基于物理意义的模型。这种仿真中接触力和变形计算具有一致性,但变形计算和力计算形成两个紧密联系的闭环,存在视觉再现和力觉显示的协调性和稳定性问题。

根据实际对柔性物体形变计算的不同需求,也可以分为几何学形变模型和基于物理意义的形变模型。在几何学形变模型中,物体的变形仅仅由几何学操作来决定,也就是用户通过操作3D物体上的顶点或者控制点来获得物体变形。这种形变方法具有速度快和便于实现等特点,它主要用于视觉再现中实现较易控制而且简单的物体形变。

 基于物理意义的形变中,物体的变形是由相互作用过程中的物理学规律和动力学特性决定,其主要用于仿真物体在内力或者外力作用下真实的物理学行为特征。目前常用的基于物理意义的模型包括基于直接构建的弹簧质点模型和体元模型,基于连续介质力学的有限元模型和边界元模型等。对于不同的形变模型,有相应不同的力触觉反馈算法。由于力觉再现和视觉显示所要求的刷新频率不同,力觉再现要求力计算的刷新频率达到200∼500 Hz以上,而视觉显示中变形的计算和刷新频率一般只有 20∼30 Hz。[4]如果要等待视觉显示计算刷新完成才将变形结果输入力觉再现闭环,用于接触力的计算,那么接触力的采样频率也只能保持在20∼30 Hz,就会存在不稳定的力反馈。

3.3力触觉再现的稳定性问题

在力触觉再现过程中,交互稳定性是确保高性能和高逼真度力触觉再现的前提。力触觉再现系统不稳定的因素主要包括:本质为数据采集系统的力触觉再现系统中采样保持环节引入的误差、力触觉设备固有的误差(摩擦力及传感器分辨率等)、计算延时、位移差分计算速度时产生的干扰及其他误差。这些因素会导致力触觉交互过程中产生能量泄漏,从而引起系统不稳定。目前提高力触觉再现系统稳定性的方法主要分为两类:一类是改进力触觉控制算法、另一类是提高作用力计算的刷新率。改进力触觉控制算法。[5]有人提出了虚拟匹配的办法,这种方法是在力触觉设备与虚拟物体之间插入刚性以及阻尼元件,以此限制交互过程中机械阻抗的最大值,从而确保系统的稳定性。还有一种基于能量的方法,采用时域上的无源控制来消耗虚拟环境所产生的能量,即通过无源性观察器实时观测系统所产生的能量,当检测到虚拟环境施加给操作者能量时,通过无源性控制器将这种多余的能量释放掉,从而保证系统的无源性。有人建立了一种能量补偿控制器来补偿力触觉再现系统中的欠功和过功,达到系统稳定性的控制。第二种提高作用力计算刷新率。为了确保作用力计算刷新率,此类方法一般将作用力生成算法与图形图像渲染,碰撞检测等运算量较大的部分算法分离。有人提出利用局部模型的方法来提高作用力刷新率,即采用简单的模型仿真虚拟物体的局部几何特性,且模型的数据随着交互的进行不断刷新,这种方法简化的模型提高了运算的速度而获得广泛的应用,但同时也降低了系统的精度。有种基于缓冲模型理论利用动态的简单结构作为模型来提高统稳定性,此方法在多层交互的场景下可达到较好效果。

4力触觉建模技术的应用

力触觉再现建模可以让操作者感知和操纵虚拟物体,从军事仿真到艺术、教育、娱乐,从医学到制造业,从机器人到数据可视化都是力触觉建模的重要应用领域。在医学领域,通过力触觉再现虚拟现实技术实现医生的操作训练系统已得到越来越广泛的应用。新泽西州立大学和新泽西医科与牙科大学联合开发了基于虚拟现实的DRE仿真训练系统,该系统由力触觉设备、SGI工作站和一个运动限制板构成,通过力触觉再现建模受训者的食指,帮助他掌握 DRE诊断技能。Immersion Medical 公司开发的CathSim的血管内导管插入仿真系统。该系统通过AccuTouch的专用力触觉接口和计算机,模拟各类病人的注射特征。在康复领域,力触觉建模可以辅助医生对病患进行康复训练。在机器人操作领域,尤其是在机器人遥控操作中,操作者可以通过视觉、听觉和力触觉再现多通道与机器人相接,实现身临其境的感受。力触觉再现在其中发挥着至关重要的作用。美国国家航空航天局的Robonaut系统,可以代替宇航员在恶劣或危险的环境中完成作业。此外,在工业设计和制造领域,力触觉再现因其不仅可提供多模态交互而且可提供真实感而受到越来越多的关注,可辅助实现虚拟装配验证、虚拟产品设计,降低了开发成本。SensAble公司开发了一套FreeForm应用系统,可以给操作者提供虚拟界面,实现数字黏土的雕塑。 

5结束语

虚拟现实技术追求的目标是具有临场感的多感知人机交互,力触觉交互技术作为人机交互中的非视觉交互,由于其存在独特的双向信息交互,决定了力触觉感知对虚拟现实技术的重要性。而力触觉建模技术又是力触觉交互技术中的核心技术。随着计算机技术等的迅猛发展,用力触觉建模技术会有更好的发展,对未来人机交互技术在各个领域的发展具有重要意义。


 

参考文献

[1]王党校,焦健,张玉茹,等.计算机触觉:虚拟现实环境的力触觉建模和生成[J].计算机辅助设计与图形学学报,2016, 028(006):881-895.化泽帅,陆璐.一种基于虚拟现实技术的渐进沉浸式视觉数据分析方法:, CN111291107A[P]. 2020.

[2]夏雨.基于触觉反馈的软组织形变与切割技术研究[D].天津工业大学, 2019.

[3]吴涓,曹志勇,欧阳强强,等.一种基于人力触觉感知特性的纹理粗糙度客观评价方法:, CN109542224A[P]. 2019.

[4]李炜,李海峰,徐良,等.基于体感检测器件的悬浮真三维显示力触觉交互[J].光学学报,2020, v.40;No.462(09):127-132.

[5]温泽宇,李杰. Identification Method of Soft Tissue Deformation System Based on Measured Data[J].哈尔滨理工大学学报, 2019, 024(004):78-83.