• 首页
  • 科学成果
  • 虚拟现实的人机交互技术-稳态视觉诱发电位-彭福来博士

虚拟现实的人机交互技术-稳态视觉诱发电位-彭福来博士

2021-10-19

1. 引言

基于脑机接口的虚拟现实交互技术为用户提供了一种新型的交互方式,用户无需通过手柄、键盘等外围输入设备,直接通过大脑信息实现对虚拟环境对象的意念控制,大大提升了用户的沉浸式体验。当前的脑机接口技术主要分为基于稳态视觉诱发电位的脑机接口、基于事件诱发电位的脑机接口和基于运动意图想象的脑机接口三大类。本文主要对基于稳态视觉诱发的脑机接口技术进行介绍,主要包括稳态视觉诱发电位的产生原理、刺激方式以及频率检测技术等内容。

2. 稳态视觉诱发电位原理

诱发电位主要有视觉诱发电位、听觉诱发电位以及触觉诱发电位三种。视觉诱发电位由于简单、方便被广泛应用于脑电信号的研究中。当视觉受到光或者图形闪烁等刺激时,脑电信号的电位会发生变化,这些电位的变化就是视觉诱发电位(Visual Evoked Potential,VEP)。

视觉诱发电位可以大致分为三类:瞬时视觉诱发电位(Transient  Visual  Evoked  Potential,TVEP)、稳态视觉诱发电位(Steady-State Visual Evoked Potential, SSVEP)和伪随机码视觉诱发电位。SSVEP 信号信噪比高、信号集中且具有稳定的频谱图,因而在认知和临床的应用研究中得到了广泛的研究。与基于其他类型的脑-机接口系统相比,基于 SSVEP 信号的脑-机接口系统具有更高的分类准确率和更快的信息传输速率,另外还能以异步方式进行工作。因此 SSVEP信号被广泛用于脑-机接口系统以及脑电信号的研究中。

当人体受到一个固定频率的闪烁或者变换模式的视觉刺激时,大脑皮层的电位活动将被调制,从而产生一个连续的且与刺激频率有关(刺激频率的基频或倍频处)的响应,这个响应具有和视觉刺激类似的周期性节律,即为稳态视觉诱发电位(SSVEP)。SSVEP 信号表现在 EEG 脑电信号中则是在功率谱中能在刺激频率或谐波上出现谱峰。通过分析检测谱峰处对应的频率,即能检测到受试者视觉注视的刺激源,从而能识别受试者的意图。

 图片1.png

图1 基于脑机接口的虚拟现实交互技术

3. 稳态视觉诱发电位刺激方式

通常诱发产生 SSVEP 信号的视觉刺激源主要包括光刺激源、图形刺激源以及模式翻转刺激源。光刺激源主要是用受到一定频率调制的 LED、荧光灯、氙灯等光源作为视觉刺激。光源刺激器一般都包含一个精确的电路控制系统,通过控制可以产生各种不同频率的闪烁模式。图形刺激源主要是利用计算机显示屏幕闪烁刺激,即制作单一的简单方块、复杂的多个方块、不同颜色的图片等图形,且该图形以一定的频率闪烁刺激。模式翻转刺激源也是产生于显示器屏幕,不同的是模式翻转刺激源主要是利用两个图形以一定的翻转速率交替出现来展现视觉刺激。目前,常用的图形模式有黑白棋盘格和栅格。在上面所介绍的三种刺激源中,光刺激源能产生精确的任意频率,而图形闪烁刺激和模式翻转刺激由于计算机显示器刷新频率的限制只能产生有限的精确频率,而且最高可以产生的频率不高于计算机显示器刷新频率的一半。然而,图形闪烁刺激和模式翻转刺激都是通过软件编写代码产生的,因而可以很方便的制作各种不同图形、不同颜色、不同布局、不同数目的刺激图形。相对而言,光刺激源想要改变刺激方式,就显得不太方便。

一般来说,当刺激频率在 1-100Hz 之间时,就能诱发产生 SSVEP 信号。在基于稳态视觉诱发电位的脑-机接口系统中,通常选用的刺激频率范围是 4-50Hz,其中刺激频率为 1-12Hz的我们称之为低频段,刺激频率为 12-30Hz 的为中频段,30-50Hz 的为高频段。当刺激频率为 10Hz 时,SSVEP 产生响应最大;其次,能较明显的诱发 SSVEP 信号的刺激频率集中在中频段,而高频段的刺激频率能诱发的响应最小。由于处于中低频段的刺激频率所诱发的SSVEP 信号能产生的响应较大,因此,目前基于稳态视觉诱发电位的脑-机接口系统所采用的刺激频率的频段都集中在中低频段(4-30Hz)。然而,此频段的刺激频率也存在一定的缺点,首先,以此频段频率闪烁的视觉刺激源更容易使受试者产生视觉疲劳;其次,当视觉刺激源的刺激频率在此频段时,易使受试者诱发出癫痫,特别的当刺激源以 15-25Hz 频率闪烁时,更为尤甚;最后,人的自发脑电波的α波段和β波段的频率分别为 8-13Hz 和 13-30Hz,这将会与此频段的刺激频率发生覆盖重叠,从而引起错误检测。尽管,中低频段的频率存在不少的缺点,但此频段却能使诱发的 SSVEP 信号产生最大的响应,同时这些缺点可以通过增强SSVEP 信号能量来解决。

4. 稳态视觉诱发电位频率检测方法

近年来,典型相关分析(canonical correlation analysis, CCA)算法由于高度有效、鲁棒、实现简单等特点而被广泛应用于基于 SSVEP 的 BCI 中进行频率识别。同时,很多研究学者在 CCA 的基础上进行了改进以提高检测性能。其中,滤波器组典型相关分析算法(filter bank canonical correlation analysis, FBCCA)有效地利用了 SSVEP信号的基波和谐波成分,显著提高了 SSVEP 的识别精度。通过由多个带通滤波器组成的滤波器组将 SSVEP 信号分解为多个子带成分,从而实现了对 SSVEP 信号谐波成分中有价值的信息的提取。如图2所示,FBCCA算法实现主要分为三个步骤:(1)脑电信号子带分解;(2)各子带信号分别与各频率参考信号进行相关性分析;(3)求得最大相关系数特征并识别。

图片2.png 

图2 FBCCA 算法实现框图

CCA 是分析两组数据的潜在相关性的多变量统计方法,2007 年首次应用在基于 SSVEP 的 BCI 的频率识别中并取得了较好的识别效果。在 CCA 中,对于两组信号X和Y,当它们的相关性达到最大时,可以计算出此时对应的线性组合并记为典型变量x和y,如式(1)所示:

图片3.png                (1)

式中,m为变量X的维数,l 为变量Y的维数。其中,两组信号 X 和 Y 对应的线性组合 x 与 y 之间的相关系数ρ的计算如式(2)所示:

图片4.png            (2)

在SSVEP的频率检测中,记脑电信号为 XEEG,参考信号为yf。其中刺激频率f对应的参考信号yf如式(3)所示:

图片5.png       (3)

式中,Nh为谐波个数,fs为采样率,Ns为采样点数。通过式(2)计算 XEEG与各刺激频率对应的参考信号yf的相关系数,每一个刺激频率可以对应得到一个典型相关系数(最大相关系数),比较这些相关系数并选取其中最大值对应的参考信号频率记为 SSVEP 刺激频率。

FBCCA 算法在CCA方法的基础上进行了优化,通过带通滤波器将脑电信号分解为多个子带信号,然后利用CCA进行频率识别。首先,利用滤波器组中的多个带通滤波器将脑电信号 XEEG分解为一定数量的子带信号XSBi(i=1, ⋯, N,其中 N 为子带个数)。第二步,对于刺激频率f对应的参考信号yf ,N个子带信号XSBi分别与其进行 CCA 分析,进而得到N个最大子相关系数ρi(i=1, ⋯, N),这样就求得了相关系数向量ρf 。ρf由所有ρi 组成,其计算公式如式(4)所示:

图片6.png                (4)

第三步,将相关系数向量ρf中的 N 个子相关系数ρi进行平方加权,然后求和得到目标识别特征,即总相关系数f,如式(5)所示:

图片7.png              (5)

式中,a,b均为常数。以此类推,对于每一个刺激频率对应的参考信号yf,均计算其与脑电信号XEEG总相关系数f。记最大总相关系数f对应参考信号频率为 SSVEP 刺激频率。