1. 引言

虚拟现实的人机交互是指通过用户与虚拟环境之间的双向感知建立起一个更为自然、和谐的人机环境，是虚拟现实为用户提供体验、走向应用的核心环节。本文对一种新型的虚拟现实交互技术-基于肌电反馈和Kinect融合的虚拟现实交互技术进行介绍。

2. 基于肌电反馈和Kinect交互的交互技术

一种基于肌电反馈与 Kinect 交互的虚拟康复训练策略，即通过Kinect 进行肢体动作识别，由肌电信号进行肌力大小评估，实现对虚拟场景的控制及难度系数的调整。主要包括两个模块：Kinect 识别模块和肌电反馈控制及难度等级调整模块。如图1所示。

图1. 基于肌电反馈和Kinect交互的虚拟现实交互技术

2.1 基于Kinect的动作识别技术

Kinect 识别的关键技术在于骨骼跟踪，Kinect v2 能够同时对 6 个人的骨架信息进行侦测，其中可以跟踪到每个人 20 个关节点的骨骼信息，人体的运动姿态可由这些关节点反映出来。Kinect 跟踪人体骨骼信息的具体流程如下：

(1) 利用分割策略，将人体从比较复杂的背景中单独区分出来，即对人体以外背景图像进行排除，此过程减轻了体感器的计算量，即在后续的流程处理中，只需对人体图像进行操作即可。

(2) Kinect 对目标图像进行评估，通过决策树分类器确定人体的各个部位，最后生成一幅包含 25 个关节点的骨架系统，从而确定人体的具体位置。其中基于 Kinect的人体关节点的识别流程如图2所示。

图2. 人体关节点识别流程图

识别出人体关节点后，下面要根据关节点进行动作识别，Kinect人体动作识别主要包括两个方面，下面以踢足球游戏为例进行介绍。

(1) 需要确定用户的整体姿势是否标准，即通过判断关键关节点的相对位置来确定。进行该肢体动作，需要用户出现在摄像头的捕获范围之内，正向面对摄像头，使其能够捕获到膝关节和髋关节的相对位置信息。若用户左右两肩的关节点坐标基本一致，并且臀部坐标值低于肩部的垂直方向坐标值时，则认为初始位置满足识别要求，接下来可进行下一步的动作识别。如图 3 所示，Kinect 的空间坐标系为 X，Y 和 Z 三个方向，坐标单位米(m)。定义 Kinect 的红外摄像头中心为坐标原点，面对着 Kinect 的照射方向的右方为 X 轴方向，面对着 Kinect 的照射方向的上方为 Y 轴方向，面对着 Kinect 的照射方向为 Z 轴方向。

图3. Kinect坐标系

(2) 进行关键关节点的信息处理。我们知道，向量具有方向性，并且向量是可以平移的。因此，可以在 Kinect 的空间坐标系中，任意挑选两个坐标点(不重合)A(x1, y1, z1)和B(x1, y1, z1)将其变换转化到普通坐标系中，则组成新的向量  ,将其定义为坐标轴原点引出，则该向量的转换公式可以用下式表示：

通过前面所述可知，对于受试者的关节角度，可以简化对其的计算，换言之，可以通过对空间向量夹角的计算代替。

2.2 基于肌电反馈的控制方法

基于肌电反馈的控制方法主要包括肌电信号采集、信号处理、特征提取以及动作分类识别等步骤。

2.2.1 肌电信号采集

肌电信号的采集主要有两种方式：(1)插入式采集；(2)表面式采集。其中，插入式采集虽然可以获取到较高信噪比和良好分辨率的肌电信号，但是会对患者的皮肤造成一定的损伤，因此不适宜采用这种方式。而表面式采集只需将电极贴片贴在皮肤上即可，过程简单，操作方便，是目前最常用的采集方式。

2.2.2 肌电信号处理

肌电信号处理根据有用信号的频率范围，设计滤波器，去除噪声与干扰，提高信号质量。主要包括带通滤波器、工频陷波器等。

2.2.3 特征提取

提取肌电信号特征的方法同样有多种，以时域和频域两个方面为例，在频域方面，如中值频率和平均功率谱频率；在时域方面，如均方根值和积分肌电值。

2.2.4 动作识别模型构建

对肌电信号的采集、预处理以及特征提取进行了分析，下一步任务将是对提取的肌电信号特征进行分类。常用的模型构建方法包括支持向量机（SVM）、线性判别分析（LDA）、人工神经网络（ANN）、卷积神经网络（CNN）等方法。

通过动作识别模型进行对肌电信号进行分类，将分类结果转化为控制指令，进而实现对虚拟场景的控制。