虚拟现实中触角交互作用介绍及方法-李迁博士

2022-11-17

虚拟现实是一种基于计算信息的沉浸式交互环境,与传统的模拟技术完全不同,它是采用以计算机技术为核心的现代高科技手段,生成逼真的视、听、触觉一体化的特定范围的虚拟环境,用户借助必要的设备如运动模拟器、头盔显示器、图形眼镜、数据服、立体声耳机、数据手套及脚踏板等以自然的方式与虚拟环境中的对象进行交互作用、相互影响,从而产生亲临等同真实环境的感受和体验。从这里可以看出,虚拟现实的概念包括以下含义:

(1)“模拟环境”就是由计算机生成具有双视点的、实时动态的三维立体逼真图像。逼真就是要达到三维视觉,甚至包括三维听觉、触觉、嗅觉等的逼真,而模拟环境某特定现实界的真实实现,也可以是虑拟构想的世界。

(2)“感知”是指理想的虚拟现实技术应该具有一切人所具有的感知,除了计算机图形技术所生成的视觉感知以外,还应有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。目前所只有的感知功能仅限于视觉、听觉、触觉、力觉、运动等,嗅觉方而也已有了新的进展。但无论从感知的范围和精确程度都无法与人相比拟。

(3)“自然技能”指的是人的头部转动、眼睛、手势或其他人体的行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的手势、口头命令等做出实时响应,同时分别反馈到用户的五官,使用户产生身临其境的感觉。

(4)“传感设备”是指三维交互设备,常用的有立体头盔、数据手套、三维鼠标、数据衣等穿戴于用户身上的装置和安置在现实环境中的传感装置,如摄像机、地板压力传感器等。

基于以上概念,可以发现对触角视觉的应用来源于虚拟现实,其包括以下几方面。整个触觉交互系统采用的是一个闭环的交互流程。首先,用户手持实体视觉工具进行操作,工具的运动被视觉定位模块所捕捉,并通过相应的映射算法,将实体视觉工具的运动映射到虚拟世界中虚拟触觉工具的位姿变化上。然后,物理仿真模块对虚拟场景实行碰撞检测,当碰撞检测到虚拟触觉工具与其它虚拟物体发生碰撞时,触觉渲染模块便针对碰撞交互情况,计算相应的触觉反馈信息,并将其传递给触觉生成硬件。最终,触觉生成硬件根据触觉渲染模块所传递来的触觉反馈信息,生成相应的磁场,与用户手持视觉工具底部小磁铁发生相互作用,从而使用户感受到操作所带来真实的反馈磁力,并对用户接下来的操作造成影响,上述过程为系统完整的一次运作流程。

在视触觉交互应用中,根据应用需求,除去硬件设计上的技术,为了保证交互过程中的视觉可信性、触觉可信性,以及系统运行的稳定性,主要涉及到视觉渲染(主要为虚拟场景物理仿真方法)、触觉渲染、视触觉协同渲染这几部分的方法技术。触觉广义上是指为了感知或操纵物体而发生的触摸交互、物理接触,其中这些交互可发生在人手与真实物体之间、机器人的末端执行器与真实物体之间,以及人手与仿真模拟对象之间(通过触觉接口设备进行)。这些不同的交互类型也对应着不同的研究学科如触觉感知心理学、机器触觉以及计算机触觉,本文所述的触觉渲染方法属于计算机触觉的研究范畴,即人类通过操纵触觉接口设备去实现对虚拟环境物体的“触摸”。在磁悬浮视触觉交互过程中,为了避免虚拟触觉工具穿透其它虚拟物体,并提供稳定真实的触觉反馈,触觉渲染算法至关重要。在视触觉交互领域中,一般所采用的触觉渲染方法与触觉反馈设备的种类息息相关,往往需要针对触觉反馈设备的特点做相应的适配优化,才能达到最佳的渲染效果。目前现有的触觉渲染开发库(如 Open Haptics、CHAI 3D等)还远未达到标准化的程度,不便于虚拟现实开发人员进行快速的二次开发,甚至一些开发库只供特定的厂家设备使用。基于磁悬浮的非接触式触觉反馈方式消除了机械交互方式中的固有摩擦,且可通过自适应调节磁感线圈电流、摆放角度等方式,实现灵活的 6-DoF触觉反馈,具有广阔应用前景。因此,建立面向磁悬浮视触觉交互设备的具体触觉渲染算法显得尤为重要。

在磁悬浮视触觉交互应用中,为了增强用户体验的沉浸感,使交互体验更加真实,需要保证视觉与触觉上的双重可信性,即操作者不仅能看到逼真的物理仿真画面,同时也能感受到交互所产生的真实触觉反馈力,从而营造出一种“所见即所触”的逼真操作环境。

现行的6-DoF触觉反馈计算方法主要分为两类:直接渲染方法,虚拟耦合方法。其中,在直接渲染方法中,用户手持视觉工具的位置和姿态变化将直接映射到虚拟触觉工具的位置和姿态变化,且碰撞响应基于虚拟触觉工具的穿透距离直接进行映射计算。在虚拟耦合方法中,用户手部给触觉设备所施加的力也会被考虑进碰撞响应以及图形工具的非穿透位姿计算之中,在力反馈触觉设备和虚拟触觉工具之间建立了一种虚拟弹簧阻尼元件来进行联系,相当于将虚拟环境内的6-DoF触觉反馈与工具位姿之间的非线性映射关系用一个线性弹簧阻尼元件来进行“短路”。这样做的优势在于,可通过对虚拟环境的弹簧和阻尼上限进行限制,使之小于力反馈设备的阻抗边界,从而使视触觉交互的稳定性得以保证。

在磁悬浮视触觉交互过程中,用户通过手持视觉工具在相应的定位区域进行移动,以实现对虚拟工具位姿的操控。其中,视觉工具、用户手部的空间绝对位置将随着操作的进行而不断变化。此外,由于交互过程中会存在对视觉工具的旋转操作,因此工具底端与工具握点的空间相对位置也会随着操作的进行而发生变化。但在操作过程中,无论视觉工具怎样移动旋转,用户手与工具握点的相对位置都将始终保持不变,即用户将一直保持手握视觉工具的状态。

image.png