摘要：虚拟现实技术，英文Virtual Reality，简称VR。是一种理想的人机通信的技术。这项技术有沉浸性、交互性、思维构想性三个最本质的特点。而人机交互是虚拟现实中的核心技术之一，虚拟现实是近年来的研究热点，也有一些关键技术问题没有完全解决。本文对虚拟现实中的人机交互以及实时传输技术进行研究。目的在于探索虚拟现实环境下更为自然友好的交互方式并加以应用。仅仅只有虚拟环境的话则不足以发挥出人的主观能动性，能够与虚拟环境进行交流互动，这才是虚拟现实终极的目标。一个引人入胜的虚拟场景，再加上简单自然的交互方式，才能够带给体验者更好的虚拟现实体验。在虚拟化学实验当中首先介绍了虚拟实验的研究现状，由此得出手势交互在虚拟实验当中具有极大的优势，然后结合虚拟化学实验进行手势交互的设计，以使得这些手势能够更好地贴合实际

关键词：虚拟化，人机交互，手势交互

1人机交互机制内涵

HCI 人机交互的英文全称为：Human-Computer Interaction。从狭义角度分析，人机交互机制是计算机与人的任务达成机制。操作者在终端设备输入任务类型，并设定执行程序，便可以在输出设备中呈现出预期的计算结果。此时计算机设备与用户的信息交换被称之为人机交互。从广义角度分析，人机交互是计算机技术发展过程中逐步倾向于人类感知系统的功能性与易用性升级。在现代科技逐步演化的过程中，人机交互更加倾向于由计算机主动解决、生成、演化、计算出人类需求的预期数据信息。因此，在 HCI 人机交互的研究领域中，主要研究当使用者存在感知差异时，如何提升其使用效果。诸如当文化背景、操作习惯、应用规律完全不同的时候，如何提高终端界面输出信息的理解效果。在以往时期通过单纯的视频输出端口很难达到真正的人机交互体验真实度，而在VR 虚拟现实技术快速发展之后，来自不同感官体验的信息结构，增强的人类感知的人机交互程度。[1]

2人机交互中的手势交互

虚拟现实技术被大家所广为熟知的有沉浸性、交互性、思维构想性这三种特性。对于目前虚拟现实技术的发展来说，其主要是解决沉浸性这一属性，通过提高硬件的性能以及软件的优化，以使得体验者在虚拟场景中犹如身处现实场景一般自然。然而沉浸性仅仅只是构造了一个虚拟的、真假莫辩的模拟环境而已，交互性却是为体验者提供更深刻的体验，以及使得虚拟现实技术走向实用的核心。传统的虚拟现实系统一般是基于鼠标、键盘、遥控器和手柄等交互设备，然而借助这些交互设备的交互方式并不符合人体的自然交互体验，使得体验者因为交互性方面的不足而导致用户的沉浸感较差，这是得不偿失的。因此有必要引入新的交互技术，比如基于手势、语音、体感以及各种可穿戴设备的自然人机交互的方式。

手是人体最灵活的关节部分，手势也是人们交流过程中有力的表现形式。以前由于传感器等硬件的精度不够等原因，手势交互因为识别率较低的原因其应用的落地受到很多制约。随着科学技术的发展，手势交互的识别率有了明显的提升，如今基于手势的交互方式也随之广泛的应用于各种交互场景当中，手势交互也是目前最热门的人机交互研究方向之一。目前对于手势交互而言，常采用计算机视觉算法来捕捉用户的手部运动，然后将捕捉到的信息转化为人机交互的口令并传回计算机，使其做出相应的反馈操作。相较于传统的交互方式，基于视觉的手势交互可以让用户脱离输入设备的束缚，其具有更少的负荷、更低的侵入性以及更自然的交互体验等优点，故而其更容易被用户所接受。

2.1手的骨关节结构

正常人的手由手掌和手指构成，手指又分为大拇指、食指、中指、无名指和小拇指。五指中除大拇指外，其他四根手指结构相近，由远指骨、中指骨、近指骨三个指骨和远指关节、近指关节、掌指关节三个关节构成。大拇指由远指骨、近指骨两个指骨和指关节、掌指关节两个关节构成。五指中，大拇指活动范围最大，并且其活动涉及腕掌关节。手的骨关节结构如图1所示。

图1 手的骨关节结构图

2.2基于 Fingo 的手势交互

手势识别分为传统的基于视觉的手势识别和基于深度传感器的手势识别，传统的基于视觉的手势识别是没有深度的，定位手的位置并将其从背景中分割出来是一件困难的事，尤其是背景出现光线变化以及存在与手的颜色相近的物体时，则更加困难。深度传感器就可以很好的解决这个问题，深度传感器可以通过获取人手的深度信息直接将手给分割出来。[2]Fingo 是一款与 Leap Motion 功能类似的专注于手部动作识别的深度传感器。相比于 Leap Motion，Fingo 具有更高的识别率和更大的视场角，并且功耗只有Leap Motion 的一半。Fingo 拥有两个红外摄像头，分辨率为 640×480，工作距离为 5-70cm，帧数 60FPS，视场角为水平方向 140°，垂直方向 122°，拥有 26自由度的手势追踪，其追踪精度达到了 0.1 毫米，实物图如图2所示。

图2 Fingo实物图

Fingo使用双摄像头多角度成像技术来获取物体的深度信息。两个摄像头同时对物体进行检测，类似于人眼的成像原理，两个摄像头的角度不一样，利用两个摄像头的视觉差来获取深度信息，原理如图3所示。

图3双摄像头获取深度信息原理图

2.3手势交互设计

手势是人类最早使用，并且时至今日仍然被广泛使用的一种交际工具。例如聋哑人使用的手语，社交当中的手势礼仪，篮球、足球等运动当中裁判员进行判罚的手势，交通警察值岗时使用的交通手势以及生活当中使用到的其他手势。手势既有静态手势，也有动态手势。在生活当中，手势被赋予了各种特定的含义，因此具有丰富的表现力，在人类的体态语言当中占有重要的地位。[3]手势交互是以手势为基础来进行交互活动的一种行为，手势交互分为静态手势交互和动态手势交互。静态手势交互顾名思义就是手部动作保持某一特定姿势从而达到传递信息的效果，其主要关注对象是单帧图像内的手势姿态；动态手势交互则是手部动作在连续时间轴上具有动态属性变化的交互行为，通过连续的特定手势变换来达到传递信息的效果，其关注对象相比于静态手势增加了时间维度上手势姿态的考察。下面我们将分别对静态手势和动态手势进行介绍。

2.3.1静态手势

所谓静态手势，即表达交互意图的用户上肢（包括手部和手臂）姿态。静态手势不仅有单手手势，还有双手组合手势。抱拳礼：右手抱拳，左手支掌，掌面与拳顶相接触，表尊重；亦或是两手在在胸前高举抱拳，上下略微摆动几下（这种抱拳礼亦称作拱手礼，可以算作是一种动态手势），表示向对方祝贺或祝愿。如下图所示。

图4 抱拳礼

2.3.2动态手势

所谓动态手势，即表达交互意图的用户上肢（包括手部和手臂）运动。相较于静态手势而言，大部分的手势都是动态手势。例如握拳：从手掌向拳头握紧的过程，如下图所示。[4]

图5握拳流程图

3虚拟现实手势交互标准化研究

虚拟现实手势交互已经具有较大的市场规模，早在 2014 年全球手势识别与传感器市场就达到了 31.2 亿美元的规模，近年来手势交互的需求越来越大，涉及到自动驾驶、智能家居、虚拟现实增强现实以及游戏等各大领域，市场分析公司 Markets and Markets 发布报告预计到 2024 年手势识别和无触碰感知的市场规模将达到 340 亿美元。但是到目前为止，却没有手势交互的相关标准发布。本标准涉及技术要求和系统接口两个部分，由于系统接口部分不涉及交互技术，与本文的相关性很低，故而不对其进行介绍。下面将以技术要求部分为例进行简要的概括。

标准内容定义了手势交互相关的术语，如手势、静态手势、动态手势、手势交互原语、手势集、手势识别、识别率等相关的术语和定义。随后给出了手势交互的系统框架，整个框架分为手势交互硬件系统和手势交互软件系统，硬件系统所包含的模块、设备，以及软件系统包含的模块、应用、手势集合功能。接着对手势交互系统的功能做了要求，如手势输入，包括手势采集方法，手势控制的要求，手势时间、空间准则以及功能可见等；系统输出部分包括对系统反馈方法，手势执行状态反馈的规范；手势交互软件系统当中对手势集、手势类型、手势数量、相似度和复杂度，以及识别算法等做了规范性要求。最后给出了手势交互系统的性能要求，如手势捕捉范围、执行时长、间隔、信号采样率、识别周期、识别精度、识别率以及识别延时等做了规范性要求。[5]

4虚拟现实手势交互的应用

技术的价值在于使用，基于这一点，针对手势交互进行静态手势和动态手势的设计，并给出部分示例，手势交互技术，不仅可以使使用者具有身临其境的真实感，仿佛置身于真实的环境；还能控制环境中的过程与现象，使得现实当中某些难以呈现的现象完美呈现；现实当中有毒或者是危险性较高的环境，在虚拟环境当中可以避免使用者受到伤害且完整的体验整个过程。

5总结与展望

目前基于虚拟现实的人机交互的主流方式还是借助于工具（如遥控器）进行的，基于自然的人手交互的还存在摄像头分辨率不高造成手势判断失误，虚拟环境中的手存在抖动甚至突然消失，遮挡造成的手势识别准确率等问题对于用户来说是非常不好的体验，因此需要通过进一步的工作以达到降低甚至是消除这些问题；目前主流的虚拟交互必需借助佩戴的3D显示器才能进行体验，这在一定程度上给人的行动造成了负担，基于裸眼的全息投影技术将是未来虚拟现实的一个重要发展方向。

参考文献

[1]桂凯. 虚拟现实中人机交互与实时传输技术研究与应用[D].杭州师范大学,2019.

[2]郭莹洁.关于虚拟现实技术人机交互的研究[J].信息记录材料,2018,19(08):247-248.

[3]周寅,金维东,成城,时翔.基于虚拟现实的北斗卫星人机交互平台设计[J].信息通信,2020(10):78-80.

[4]赖晶亮.虚拟现实人机交互中多特征手势检验算法研究[J].软件工程,2017,20(10):11-13.

[5]张凤军,戴国忠,彭晓兰.虚拟现实的人机交互综述[J].中国科学:信息科学,2016,46(12):1711-1736.