1. 引言

虚拟现实系统通过构建一个以视觉感受为主，听觉、触觉感受为辅的综合的可感知的虚拟世界，让用户产生身临其境的感觉交互，并能够与周围环境与事物进行交互。沉浸感 (immersion)、交互性(interaction) 和构想性 (imagination) 是虚拟现实系统的三个基本特征。虚拟现实的人机交互是用户以便携、自然的方式通过交互设备与计算机所产生的 “虚拟” 世界对象进行交互, 通过用户与虚拟环境之间的双向感知建立起一个更为自然、和谐的人机环境，是虚拟现实为用户提供体验、走向应用的核心环节。

本文对虚拟现实的人机交互技术进行简要介绍，目前虚拟现实的人机交互技术主要包括三维交互、手势交互、手持交互、语音交互、触觉交互和多通道交互等。

图1. 虚拟现实系统中的人机交互示意

2. 虚拟现实系统中的人机交互技术

人机交互技术指的是人通过设备或界面等方式与计算机等智能设备完成交互任务的方法。为了给用户提供一种身临其境和沉浸式的体验, 虚拟现实需要同时具有高真实感的环境表达特征和高效的用户与环境信息交互特征，它涉及到的人机交互技术不仅包含三维交互、姿势交互和手持移动设备交互, 也包含语音交互技术、力/触觉交互技术和多通道交互技术等。

2.1 三维交互技术

三维交互是虚拟现实最重要的交互方式, 相对于二维交互, 虚拟现实三维交互是一种全新的交互隐喻和技术，它能够提供更多的操作自由度, 交互任务更为复杂, 交互界面设计有着更大的设计空间。在三维交互中, 交互隐喻把输入设备的空间方向/位置信息或离散的按钮状态映射为虚拟空间的操作, 完成特定的交互任务, 不同的交互隐喻提供了不同的交互方法。根据交互系统对输入的不同隐喻, 可以把现有的三维交互方式分为直接映射式和间接映射式两大类。

直接映射式是直接将输入设备的位置/空间信息映射为虚拟空间中手或设备的操作动作，主要的隐喻方法包括：光线投射、虚拟手等。光线投射隐喻通过用户的手控制虚拟光线方向，并将其投射到要抓取的虚拟对象上，以实现虚拟对象的控制；虚拟手隐喻是在虚拟环境中构造用户手的虚拟化身, 用户通过手控制跟踪器来控制虚拟手的位置/方向。

间接映射式交互是指把设备输入的信息映射为手势, 通过手势控制场景空间的比例, 进而在新的比例空间完成交互任务，通常采用双手交互的方式, 利用双手操作的非对称分工, 以非利手为参考坐标，有利手相对非利手进行精细的操作。主要的隐喻方法包括：WIM (worlds in miniature)、图像平面交互、触控手套方式等等。WIM 交互隐喻方式使用双手操作, 两只手分别持有带跟踪器的面板和按钮道具, 面板道具在虚拟空间被隐喻为整个虚拟场景的缩微拷贝, 缩微拷贝中的物体与场景中的物体是相关的, 在缩微空间实现对场景对象的操作；图像平面交互方法通过构造三维对象的一个二维图像投影平面, 基于该图像平面采用与二维鼠标类似的交互；触控手套模式，通过在手掌和每个手指端部装有电子接触器的手套，来监测手指间的接触，使用指、掌间的接触作为离散切换命令, 利用双手在虚拟世界中实现比例变换、旋转或平移对象等操作。此外还有许多其他间接映射隐喻方式，如基于木偶的隐喻方式，Tablet-Pen 模式隐喻方式等等。

2.2 手势与姿势交互技术

手势与姿势交互技术直接利用用户身体或肢体的运动作为输入，通过跟踪器或计算机视觉的方法跟踪人体头、手、臂、腿等相关部位, 并通过智能算法解码成不同的手势或姿势，以此作为虚拟现实系统的输入，从而通过肢体运动实现与虚拟现实的交互。目前常用的手势、姿势输入技术可以划分为：基于手套的手势识别，基于视频的识别，基于惯性传感的识别，基于肌电信号的识别，基于雷达的识别等。

基于手套的手势识别，用户通过穿戴带有惯性传感器、触觉传感器等半导体器件的手套，执行不同的手势动作，手套通过传感器采集不同维度的手势动作数据，并通过神经网络、马尔科夫链等智能识别算法对手势进行分析识别，从而获得不同的手势来控制虚拟对象。

基于视频的识别方式，采用普通RGB摄像机或者深度摄像机来捕捉用户的不同手势动作，然后通过计算机视觉算法，识别解码出不同的手势类别，虚拟对象通过识别的手势结果进行相应的任务执行。

基于惯性传感单元的手势识别技术，通过手上或肢体上佩戴的惯性传感器单元获得手或关节运动的角度、加速度和方位势等信息, 进一步通过模式识别的方法获取用户的手势。

基于肌电信号的识别，用户执行不同的手势动作时，会产生不同形态的肌肉电信号，通过肌肉电信号采集系统对其进行采集获取，然后通过机器学习、模式识别算法对肌电信号分析，从而识别出不同的手势动作。

基于雷达的识别，通过持续发射和接受手部反射的电磁信号, 测量精细、复杂的动作变化, 然后进行转码分析、识别。

手势与姿势交互技术有着天然的自然交互优势，但是也面临很多需要解决的实际问题，比如系统判断运动轨迹造成的延时，手势过多或者过于复杂容易造成识别困难等等。  

2.3 手持移动设备交互技术

随着电子信息技术的发展，以智能手机为代表的手持移动设备为交互技术提供了便利条件，其搭载集成相机、加速度计、GPS等多种不同类型传感器，设备对用户行为和环境的感知能力得到很大提升。目前基于手持移动设备的交互隐喻主要有信息透镜隐喻和直接指点隐喻两大类。

信息透镜隐喻，通过实时计算手持设备相对于被观察场景 (已标住数字信息) 的相对位置, 把已标注的数字信息实时叠加到由相机捕捉到的图像上, 然后通过手持设备上的按钮、笔或触摸在2D环境下进行操作。信息透镜隐喻是目前使用最多的一种方法，主要用于浏览虚实叠加信息, 如位置导航、协同游戏、广告以及城市管道检查等应用。

直接指点隐喻是捕捉手持移动设备相对于空间显示器的位置, 进而通过手持设备来操纵空间显示器。近年来随着显示技术的进步, 面向公众的大尺寸显示设备被用于各种场合, 但与其交互存在一定的问题: 传统使用鼠标键盘的模式要求用户必须在固定位置, 这一问题限制了大屏幕作为一种公共交互空间的利用率，而利用手持移动设备机动性强的特点, 用户就可以不必在固定位置操纵远距离屏幕，方便多用户、移动使用, 将大大提高大屏幕的利用效率。

2.4 语音交互技术

语音交互技术建立在语音输入基础上实现虚拟与现实交互，语音交互方便快捷解放双手，能够高效的输入大量信息，是最自然的人机交互方式之一。语音输入尤其适用于非图形的交互命令和系统控制, 即通过语音控制来对系统的特定功能、系统状态、交互模式等进行更改。

使用语音交互实现虚拟与现实人机交互时，需考虑交互任务的复杂程度，复杂度高的交互任务需要大词汇量的语音搜索引擎来识别，高度复杂的应用除了语音识别外还需要语音对话系统来保证功能的全部输入。目前国内外现有的语音识别引擎主要有微软的Speech API,IBM ViaVoice和科大讯飞等，近年来穿戴式智能设备、智能音箱、手机智能语音助手和车载智能系统的普及也为语音交互提供了更多可能。

2.5 力/触觉交互技术

相对于传统的视觉交互和听觉交互, 力/触觉交互能使用户产生更真实的沉浸感, 为VR或3D环境提供了新的维度，在交互过程中有着不可替代的作用。 传统人机界面中的力/触觉交互把力/触觉交互看作为界面交互中的一种特殊输入输出方式, 作为输入设备时, 它们用来捕捉用户动作, 作为输出设备时它们为用户提供触觉体验。触觉反馈相关技术主要包含两个方面: 一种是基于振动的触觉反馈技术，它是以驱动器所产生的机械振动作为触觉刺激源的触觉反馈技术, 主要用于可穿戴设备的相关研究中；另一种为面向触屏的触觉反馈技术，主要利用触觉反馈增强手指触摸屏上的键盘触感能够提升相应的文字输入效能。目前具有代表性的力/触觉交互技术研究有微软公司的 3D 触觉反馈触摸屏、Immersion 公司的 TouchSense 触觉反馈技术、 SensAble 科技公司的 PHANTOM系列触觉交互设备、Senseg 公司的 TixelTM触觉像素技术以及Tactus 公司的微流体屏幕技术等。

2.6 多通道融合交互

多通道交融合交互是应用两种以上输入输出技术(如语音、图像、手势、动作、触觉等)的虚拟现实交互方式，它模拟了人类多通道输入方式，使人机交互显得更加自然高效，同时获取多维度用户体验。其中，手势与语音输入相结合的多通道交互方式应用最为普遍，通过在虚拟环境中捕捉用户的运动轨迹和3D数据，结合语音输入，获取信息更加直观全面，极大的提高了系统控制的性能。但是在过程也面临很多现实问题，例如需要考虑多通道输入设备管理问题，通道间的信号传递、融合问题等。

3. 总结与展望

本文概述了虚拟现实人机交互技术的研究现状, 虚拟现实的人机交互是虚拟现实为用户提供体验、走向应用的核心环节。得益于人工智能、半导体器件、电子信息等技术的发展, 人机交互技术有了长足的进步, 促使虚拟现实的沉浸体验更加真实完善。但目前虚拟现实环境下人机交互仍然面临着一些挑战：

• 用户在虚拟环境中自然交互行为与状态感知问题。当前的交互技术还不能精确的刻画人的自然行为或状态, 如何准确、实时地提取出刻画人的自然行为或状态的特征原语, 是解决虚拟现实环境下交互感知的核心问题。

• 虚拟现实环境对人交互行为与意图的理解问题。用户状态转换以及复杂动作的意图理解还具有很多不确定性问题。因此, 如何理解人的认知识别机制, 并抽象出用于理解人的交互意图的计算模型, 是实现虚拟现实交互认知的核心问题。

• 虚拟现实交互输出反馈的自适应问题。虚拟环境生成的反馈信息要为人所感知, 而人的感知通道具有多态性, 如何在多模态、强时变的输出空间中产生符合认知加工机制的反馈呈现, 是实现虚拟现实交互反馈的核心问题。

相信随着虚拟现实技术的成熟与人机交互技术应用的日渐完善，在不远的未来，人机交互技术能够得到不断完善，促使虚拟现实提供给用户更加多彩的、逼真、高效的用户体验。