虚拟现实与脑机接口的结合及其应用-彭福来博士

2021-01-15

1. 引言

随着虚拟现实(Virtual Reality , VR)与脑机接口技术(Brain-Computer Interface, BCI)的不断发展,人类与万物世界的交互方式正在悄然发生改变。通过将虚拟现实与脑机接口这两种技术相结合能够实现两者的优势互补(图1),也是最近在医疗康复、多媒体以及娱乐等领域出现的一种新型的应用模式,具备广阔的应用前景。

虚拟现实技术是通过计算机构建三维空间模型,生成一个以视觉感受为主,听觉、触觉感受为辅的综合的可感知的虚拟世界,让使用者产生一种沉浸于这种环境的感觉,并能够与周围环境与事物进行交互。虚拟现实具有以下三个特点:(1)沉浸感(Immersion):指用户可以置身于虚拟环境中,感受到被虚拟世界所包围,给人以身临其境的感觉;(2)交互性(Interactivity),指用户可以与虚拟环境中的事物进行自然的交互;(3)构想性(Imagination),指虚拟现实不仅可以对现实世界进行重现,还可以突破现实环境,利用人的想象力构想出一个全新的世界,拓宽人的认知范围。

当前,人与虚拟环境的交互主要采用鼠标、键盘、操纵杆等方式进行,交互方式较为有限,从而阻碍了虚拟现实的沉浸性体验,若能开发新的交互方式,则能使用户的沉浸感得到进一步增强[1]。

 image.png

图1. 虚拟现实与脑机接口

脑机接口是在人脑和外部设备之间建立的直接连接通路,这一通路不依赖于常规大脑信息输出通路(如,外周神经和肌肉组织),是一种全新的对外信息交流和控制技术[2]。脑机接口技术通过获取大脑脑电波(EEG),对EEG信号进行去噪、特征提取、分类识别等一系列操作,识别出大脑意图,最终将这一想法转换成外设的控制指令,从而实现通过大脑直接控制外部设备的功能,如图2所示。脑机接口获取EEG信号主要分为有创方式和无创方式两种,有创方式需要通过开颅手术将微电极传感器植入到大脑皮层上,这种方式避免了颅骨对脑电信号的衰减,获取的脑电信号质量较高,但是手术风险性较高,普通人无法接受;而无创方式通过采集头皮脑电信号实现,虽然采集的脑电信号质量相对较差,但是无需手术,安全便携,接受程度高,是目前主流的方式。

目前脑机接口在医疗康复领域的应用取得了一定进展,例如能够帮助脑卒中患者重建肢体运动功能或者提供一种新型的辅助运动功能,帮助残疾人控制假肢、轮椅、拼写打字、上网购物等[3]。但是,当前脑机接口仍然面临的一个问题就是无法提供形象有效的反馈,导致受测者训练效果不佳[4]。

通过将脑机接口与虚拟现实相结合可以解决上述问题:一方面,虚拟现实技术可以作为脑机接口系统的信息反馈工具,相比传统的脑机接口反馈模式,虚拟现实能够为脑机接口提供更真实丰富、更积极主动、更具激励性的情境反馈;另一方面,脑机接口可以作为虚拟现实的输入设备,相比传统的鼠标、操作杆等交互方式,脑机接口能够为虚拟现实系统提供更为直接、快捷的输入,使虚拟现实的沉浸式体验更强[2]。

 image.png

图2. 脑机接口技术原理示意

2.BCI-VR系统构成

BCI-VR系统最早是由Bayliss等人于2000年提出的,BCI-VR是一个典型的闭环工作系统,利用反馈将输出与输入联系起来,通过反馈告知参与者的意图行为是否正确。BCI-VR系统主要包含BCI系统、VR系统以及两个系统之间的通信接口三部分。

BCI系统:BCI包括EEG信号采集模块、EEG信号智能分析软件两部分,EEG信号采集模块采用无创方式采集受测者头皮脑电信号,采集模块的通道数量及电极位置会根据应用的不同做相应的调整;EEG信号智能分析软件负责对EEG信号进行去噪、特征提取、特征选择、思维状态分类等一系列处理,产生对外部设备的控制命令。

VR系统:VR用以模拟和展现一个虚拟世界,给用户提供实时情景反馈并及时响应来自BCI系统的控制命令。

通信接口:通信接口负责BCI系统与VR系统之间的实时通信,一方面是BCI系统产生的控制命令通过通信接口传给VR系统,另一方面是VR系统产生的反馈系统通过通信接口反馈给受测者。

在BCI-VR系统中,BCI作为输入设备主要负责提供指令,通过BCI系统用户可以通过大脑思维活动,简单、高效、直接、轻松地输出这些指令,然后传送到VR系统中;而VR系统主要承担感官刺激和反馈任务,并能够展现BCI 所需感官刺激以及尽快诱发BCI所需生理信号并提供能使用户控制BCI的有意义反馈任务[2]。

图3所示为BCI-VR 系统的工作流程

 image.png

图3. BCI-VR系统工作流程图

3. BCI-VR系统的应用

当前,BCI-VR系统的应用可以根据BCI系统的类型分成三类:动作想象(Motor Imagery,MI)、稳态视觉诱发(Steady-state visual evoked potentials, SSVEP)和事件相关电位(event related potentials, ERP)。 

3.1 基于MI的BCI-VR系统应用

大量研究表明:事件相关去同步化 (event-related desynchronization,ERD) 和事件相关同步化 (eventrelated synchronization,ERS) 是研究肢体运动和语言功能等脑电信号的有利手段[5]。PFURTSCHELLER等人[6]在 1999 年证明了在单侧手准备和执行动作时,对侧感觉运动皮质脑电信号中α频段 (8~12 Hz)和β频段 (13~30 Hz) 的振幅会降低,即受激活的皮质区脑电信号振幅减低,这种现象称为ERD;而运动手同侧的脑皮质信号中α频段 (8~12 Hz) 和β频段 (13~30 Hz) 的振幅会增加,即静息状态下脑电波幅度会增大,这种现象称为 ERS。ERD/ERS 是出现在运动、感觉皮层特定频带的信号,在预动作条件下,即运动想象时,同样存在 ERD/ERS现象,因此可以通过检测并提取相应的ERD/ERS特征就能区分所想象动作的部位。

Martini等人[7]对左臂瘫痪者进行运动想象康复训练,患者通过想象左手抓取动作,BCI系统获取到相关脑电信息,然后将脑电信号进行处理识别,并传送到VR系统中的第一视角显示的虚拟左臂执行相应动作,并通过手环进行触觉刺激反馈,使整个控制过程自然逼真,如图4所示。

 image.png

图4. 基于BCI-VR系统的残肢运动想象

Leeb等人[8]在虚拟环境中设置了一个酒吧场景(图5),使用户感觉处于酒吧吧台,通过想象左右手运动实现对场景向左侧或右侧的旋转控制。同时,他们设计了通过想象脚步动作来控制人在虚拟街道上行走的情景。后来,该研究组又设计了多输入控制的虚拟控制系统[9],融合BCI和手柄来操纵VR系统中的企鹅在雪山中滑行的情景,通过BCI控制企鹅的跳跃(图6),通过手柄控制企鹅的运动方向,该研究通过采用BCI与手柄等多种输入方式进行VR系统控制,增强了用户沉浸感,实验效果更佳。

 image.png      image.png

图5. 运动想象控制VR系统-街道行走   图6. 运动想象控制VR系统-企鹅运动控制

Po T Wang等人[10]设计了基于3D视觉反馈的动作想象在线BCI系统。被试者要求在场景中沿直线行走,通过想象脚步走动或停止来控制场景中代表自己的人物行走或停止,直线路径上共有十个相隔一定距离的人物,被试者要控制代表自己的人物依次走到每个人物附近,简短问候后离开。重复以上任务,使得被试得到反复训练。该BCI系统采用离线数据处理的方式对脚部运动和静息状态脑电数据进行特征提取并进行动作分类,从而实现走步和停止指令的输出;再将分类器灌入到融合3D视觉反馈场景的在线BCI系统。通过对比实验,受试者展示了良好的控制效果,证明虚拟现实场景下受试者使用动作想象BCI实现控制是可能的。

目前通过想象实现的动作分类指令种类较少,为此,一些研究人员通过与其他信号的相结合的方式进行改善,增加指令数目,如Scherer等人[11]设计了能够实现3个自主控制指令的BCI-VR系统,用户可以通过想象左手、右手或脚的运动实现左转、右转或前进。

通过上述研究可见,采用BCI-VR系统实现动作想象训练、反馈、控制等功能,相比传统的简单的色条反馈具有更加有效的视觉反馈效果和良好的沉浸感,大大提升了在线控制的动作想象BCI系统工作效率。

3.2 基于SSVEP的BCI-VR系统应用

当人脑接受到固定频率(一般大于6 Hz)的闪烁视觉刺激时,大脑视觉皮层会检测到相同频率的脑电波信号,该信号可以通过采集枕区的脑电信号获得,与其他脑电信号相比,基于SSVEP的BCI通常具有更高的信息传输效率、更少的训练等优势,SSVEP是目前BCI系统中最常用的脑电信号。

Lablor等人[12]使用SSVEP信号来控制3D虚拟游戏中的人物,使其沿着一根绳子由一个平台走向另一个平台。为了保证人物行走过程中保持平衡,用户需要通过BCI系统进行控制。在BCI屏幕两侧分别闪烁着不同稳态频率的方格,以分别诱发不同频率的SSVEP信号;用户通过注视左侧或右侧的闪烁方格,通过提取SSVEP信号识别出左右控制命令,从而控制游戏中人物左右平衡。Touyama等人[13]尝试采用SSVEP控制洞穴虚拟环境中的快速转向,通过实验,受试者可以在 SSVEP/洞穴接口界面上身临其境地通过改变视野朝向(向左侧或向右侧)来成功穿越幽暗弯曲的洞穴。

通过上述工作可见,基于SSVEP的BCI-VR系统能够实现虚拟环境中的物体高效控制,证明了该系统的有效性,但是控制过程中,受测者需要时刻盯着具有视觉刺激的显示屏,这与实际应用场景不符,给实际应用造成不便。为了解决这一问题,研究者们提出了将视觉刺激信息融入到虚拟场景中,受测者只需关注虚拟场景中的事物即可,大大提高了用户体验与沉浸感。

Legeny等人[14]在虚拟森林中以导航蝴蝶为情景,将SSVEP生成所需的闪烁刺激显示在蝴蝶翅膀上(图7)。三只蝴蝶都显示在屏幕上,在用户前面上下飞行,用户通过把注意力集中在左边、中间、或右边蝴蝶,实现蝴蝶向左、向前、向右飞行,同时,蝴蝶的触须也被用来向用户提供反馈信息,触须间距越大,越有可能是用户所关注并被选择的移动方向及其分类器。这样的SSVEP刺激更自然地纳入到虚拟环境中,通过实验可见该种方式确实增加了主观能动性偏好。

 image.png

图7. SSVEP控制VR系统-蝴蝶运动控制

Faller等人[15]设计了一个桌面虚拟环境游戏,用户通过3个不同频率的闪烁刺激来操作虚拟人物行走,闪烁刺激方块会一直跟随着虚拟人物移动,3个不同的闪烁刺激分别位于虚拟人物的左手、右手以及头顶三个位置,用户通过选择注视不同的闪烁刺激完成虚拟人物的方向控制。通过实验,7个实验者,5个能顺利完成任务。

上述研究表明,通过BCI-VR系统可以为SSVEP的BCI提供更加丰富、真实、直观的交互方式,实现高效的控制,提高基于SSVEP BCI的实用性。

3.3 基于ERP的BCI-VR系统应用

基于ERP的脑电信号最常用的为P300,在基于P300的脑机接口中,用户需要将注意力集中在一个随机出现的、小概率的刺激上,每个刺激对应一个给定的指令,由于期望刺激的出现是罕见的和事件相关的,在刺激用户大脑活动后300ms会出现一个P300脉冲反应。

Bayliss等人于2000年首次将P300 BCI与虚拟现实相结合,设计了被试在VR环境中驾车的场景,当遇到红灯时,被试会产生P300信号,通过检测这一信号,能够实现停车的控制;该研究小组又于2003年[16]将P300用在了人与HMD中的虚拟智能家居互动场景中,用户可以通过3D球体控制不同的家居设备(例如,电视、灯等),3D球体随机出现在设备上,可以通过计数3D球体出现的次数实现对家居的开关控制。

Groenegress等人[17]基于P300 BCI-VR系统实现了虚拟现实智能家居控制(图8),通过VR生成智能家居模拟环境,包括起居室、厨房、卧室、浴室等,每个房间都有几个可以被控制的设备,包括:电视、电话、灯、门等。通过将不同的控制命令排列到控制菜单上。菜单上各设备标识符不停闪烁,用户可以通过注视菜单上的设备标识符来打开要控制的设备。该系统中,任务的执行正确率可达87%~100%,通过该实验进一步证明了基于事件诱发的BCI-VR系统的有效性。

  image.pngimage.png

图8 基于P300 BCI-VR系统的智能家居控制

4. 总结与展望

通过将BCI和VR技术相结合,能够实现两种技术的优势互补,一方面,VR技术可以作为BCI系统的信息反馈工具,提供更真实丰富、更积极主动、更具激励性的情境反馈;另一方面,脑机接口可以作为虚拟现实的输入设备,提供更为直接、快捷的输入,使虚拟现实的沉浸式体验更强。BCI-VR系统在医疗康复、游戏娱乐、智能家居等领域均具有广阔的应用前景,但是在实际应用过程中仍然面临着一些困难:

(1)BCI作为VR系统输入设备,需要为VR系统提供准确、稳定、高效、直接灵活的控制指令,才能提高用户的沉浸感。为此,BCI需要满足:①为VR提供多样化的输入指令;②根据用户思维,准确识别控制命令;③随时随地、随心所欲的发出控制命令。目前BCI技术现状还不能够满足上述要求,首先脑电信号非常微弱、极易受干扰,在复杂场景中无法保证信号质量,从而为后续脑电信号处理分析带来挑战;另一方面,目前基于脑电信号的意图识别类别有限,例如动作想象,只能停留在左右手想象粒度,无法满足多样化指令输出需求。 

(2)虚拟现实场景的设计与展现同样存在许多挑战[2]:①为用户提供真实丰富的VR反馈以保证BCI操纵的真实性;② 所展现的虚拟环境须能紧密、无间断地整合与集成BCI对诱发思维脑电的各种刺激需求,并尽可能保证虚拟环境场景的真实可信以使用户保持深度的虚拟环境沉浸感而不会被中断、破坏。

总之,虽然虚拟现实和脑机接口的结合在实际应用中还面临着许多困难,但是由于具有广阔的应用前景,相信随着计算机信息技术的不断发展,许多技术瓶颈将会不断被攻克,BCI-VR系统也会不断完善,应用前景也会越来越光明。

参考文献

[1] O’Doherty, J. E., Lebedev, M. A., Ifft, P. J., Zhuang, K. Z., Shokur,S., Bleuler, H., & Nicolelis, M. A. Active tactile exploration enabled by a brain-machine-brain interface. Nature. 2011. 479(7372), 228.

[2] 孔丽文,薛召军,陈 龙,何 峰,綦宏志,万柏坤,明 东. 基于虚拟现实环境的脑机接口技术研究进展. 电子测量与仪器仪表. 2015. 29(3):317-327.

[3] Bockbrader MA, Francisco G, Lee R, Olson J, Solinsky R, Boninger ML. Brain Computer Interfaces in Rehabilitation Medicine. PM R. 2018. 10(9 Suppl 2):S233-S243. 

[4] 马 赘,王毅军,高小榕,高上凯. 基于脑-机接口技术的虚拟现实康复训练平台. 中国生物医学工程学报. 2007. 26(3):373-378.

[5] 周思捷,白红民. 事件相关去同步化和同步化方法在脑电信号分析中的研究进展.中国微侵袭神经外科杂志.2018. 3(20):141-143.

[6] PFURTSCHELLER G, ANDREW C. Event-Related changesof band power and coherence: method-ologyand interpretation. J Clin Neurophysiol, 1999, 16(6): 512-519.

[7] Martini M, Perez-Marcos D, Sanchez-Vives MV. Modulation of pain threshold by virtual body ownership. Eur J Pain. 2014. 18: 1040-1048.

[8] Leeb, R;Keinrath, C;Friedman, D;Guger, C;Scherer, R;Neuper, C;Garau, M;Antley, A;Steed, A;Slater, M. Walking by thinking: The brainwaves are crucial, not the muscles!. Presence: Teleoperators and Vir tual Environments. 2006.15(5):500-514.

[9] Leeb R, Lancelle M, Kaiser V et al. Thinking penguin: multimodal brain-computer interface control of a R game. IEEE Trans Comput Intell AI Games.2013. 5:117-128.

[10] Wang P T, King C E, Chui L A, et al. BCI controllerd walking simulator for a BCI driven FES device. Proceedings of RESNA anniversary conference. 2010. 

[11]Scherer R, Lee F, Schlogl A, et al. Toward self-paced braind-computer communication: navigation through virtual worlds. IEEE Transactions on Bio-medical Engineering. 2008. 55(2): 675-682.

[12] Lalor E, Kelly SP, Finucane C, Burke R. Steady-State VEP-Based Brain-Computer Interface Control in an Immersive 3D Gaming Environment. EURASIP Journal on Advances in Signal Processing. 2005.3156-3164.

[13] Touyama H. Brain-CAVE interface based on steady state visual evoked potential. Advances in Human Computer Interaction. 2008. 437-450.

[14] Legeny J, Abad RV, L ecuyer A (2011). Navigating in virtual worlds using a self-paced SSVEP-based brain–computer interface with integrated stimulation and real-time feedback. Presence Teleop Virt 20: 529–544.

[15] J Faller,Gernot Mueller-Putz,D Schmalstieg,G Pfurtscheller. An application framework for controlling an avatar in a desktop-based virtual environment via a software SSVEP brain-computer interface. Presence: Teleoperators and Virtual Environments. 2010. 19(1):25-34.

[16] Bayliss JD. Use of the evoked potential P3 component for control in a virtual apartment. IEEE Trans Neural Syst Rehabil Eng. 2003.11: 113-116.

[17] Groenegress C, Holzner C, Guger C et al. Effects of P300-based BCI use on reported presence in a virtual environment. Presence. 2010. 19: 1–11.