摘要：将脑机接口(brain-computer interface，BCI)技术与虚拟现实(virtual reality，VR)相结合构成基于虚拟现实的脑机接口(BCI-VR) 新技术是最近出现的一种BCI应用新模式。BCI-VR兼取两者优势互补，同时又相互促进创新，显示出广阔应用前景。本文从BCI-VR系统基本构成、BCI对VR控制和VR对BCI影响等方面，介绍了近年来BCI-VR的主要研究存在的难点与未来的展望。

关键词：脑机接口 虚拟现实环境 想象动作 稳态视觉诱发电位 事件相关电位

1前言

脑机接口(brain-computer interface，BCI)是在人脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路(外周神经和肌肉组织)的全新对外信息交流和控制技术。BCI的首个显见用途是为思维正常但运动功能残缺的人提供一种新型的辅助运动功能和对外信息交流手段。因此，自BCI诞生以来，其研究开发的主流多是控制外部设备和替代病人的一些缺失功能，或辅助文字表达。尤其近几年BCI在帮助残疾人控制假肢、轮椅，甚至拼写打字、上网游戏等方面取得了长足进步[1]。而最近在多媒体和娱乐领域，出现了一种新颖的BCI应用模式：将BCI技术与虚拟现实(virtu-al reality，VR)相结合，构成基于虚拟现实的脑机接口(BCI-VR)新形式。实现BCI与VR相结合的最简单方式是设计一个可为用户提供身临其境的3D虚拟现实环境和可现场传感反馈以便实时使用的BCI系统。

2 BCI-VR系统基本构成

典型的BCI-VR系统通常由脑机接口(BCI)和虚拟现实(VR)两部分硬件构成，并含有两个独立的软件。一为BCI软件，用以记录与大脑思维意愿有关的生理(多为电生理)信号、经实时处理和特征提取及思维状态分类后产生对外部设备的控制命令。二为VR软件，用以模拟和表演一个虚拟世界、给用户提供实时情景反馈并及时处理来自BCI的控制命令。这两个软件必须能相互通信，以便及时交换信息与命令。

在BCI-VR系统中，BCI作为输入设备的主要任务是：提供指令，以便用户可自我设定指令内容并可于任何时间通过大脑思维活动，简单、高效且不会导致疲劳地输出这些指令；而VR界面在本系统中主要承担感官刺激和反馈任务并应该做到：展现BCI所需感官刺激和尽快诱发BCI所需生理信号并提供能使用户控制BCI的有意义反馈任务；最终需设计一个VR显示程序以便与BCI流畅连接。

BCI技术是一种在人脑和计算机或其他电子设备之间建立直接信息交流和控制的全新技术。它能使部分中枢神经信息传递阻滞并因此失去了基本运动功能的瘫痪病人有重建或再造新的神经通路的可能，从而恢复其运动功能。现有基于电生理信号的BCI技术主要有三类：基于自发脑电的BCI技术、基于诱发电位的BCI技术和基于植入电位的BCI技术。

虚拟现实（VR）是利用电脑等设备模拟产生一个三维空间的虚拟世界，提供使用者关于视、听、体等感官模拟体验，让用户如身临其境，可以随时随地观察体验VR内的事物。在VR环境下对脑电信号进行采集和分析，可以增加使用者的沉浸感并给予使用者实时反馈，因此可以提高训练效率、缩短训练周期、在短期内取得优异的成绩。这相对于普通BCI系统有很大的优势。

3 BCI对VR的控制

BCI记录大脑信号、提取其中生理或心理状态特征参数并进行思维意向分类识别的实时分析处理以生成控制命令；VR软件则模拟、渲染和建造虚拟世界，为用户提供反馈和处理来自BCI的命令。

目前BCI-VR系统用以控制VR的脑电信号大致有想象动作(motor imagery，MI)电位、稳态视觉诱发电位(steady-state visual evoked potentials，SSVEP)和事件相关电位(event related potential，ERP)等。其中想象动作电位会产生事件相关去同步(event related desynchronization，ERD ) /事件相关同步(event-related synchronization(ERS)电位信号；事件相关电位中使用更多的是潜伏期为300ms左右的P300成分。

3.1 想象动作电位控制VR

大脑进行想象动作位时会在运动、感觉皮层产生相应的事件相关去同步（ERD）/事件相关同步（ERS）电位。ERD/ERS是出现在运动、感觉皮层特定频带的信号。伴随着信号与事件相关的程度，信号的幅度会出现同步减少或同步增加现象。ERD/ERS与运动过程相关联并且大脑以想象动作替代真实动作，即在预动作条件下同样存在ERD/ERS现象[2]。肢体想象动作可以引发ERD现象，检测并提取相应的ERD特征模式能用来区分所想象动作的部位[3]。运动神经康复的研究表明，基于想象动作的BCI，经其想象并控制残肢多次重复运动能够有效促进残肢原有损伤运动神经通路的修复。

在线BCI系统可有两种控制工作模式：同步提示和自由控制。同步提示模式存在外部提示，要求使用者在外部提示出现后一段时间内执行相应任务，BCI系统则采集提示刺激后相应时间内的脑电信号进行处理。由于提示后信号产生时间确定，该系统在数据处理方面操作较为简便。自由控制模式BCI系统因无提示存在，可由使用者自主控制(self-paced)，即可由用户自行决定何时产生控制信号。该类BCI在系统搭建和信号处理方面较前者难度大些，但对用户而言比较有实用价值。

3.2 稳态视觉诱发电位控制VR

稳态视觉诱发电位(SSVEP)是BCI系统经常使用的脑电信号，来自大脑视觉皮层对于外界闪烁刺激(一般要求频率大于6Hz)的响应，通过提取枕区EEG信号即可以获得。

Lalor等人最早使用SSVEP-BCI来控制3D虚拟环境中的游戏。该游戏中有个怪物沿着一根绳子由一个平台走向另一个平台。怪物向前行走时， 有可能失去平衡， 用户须通过BCI系统控制使之保持平衡。为此，BCI屏幕两侧分别显示一枚按稳态频率闪烁的方格，以分别诱发不同频率的SSVEP信号；当用户试图向左或向右控制怪物动向以恢复怪物平衡时， BCI会及时检测到用户已集中视力于左侧或右侧闪烁方格所产生的SSVEP信号并发出相应控制指令恢复怪物的行走平衡。基于SSVEP的BCI系统与虚拟现实环境相结合是适宜且有效的，但其局限是离不开闪烁刺激。

3.3 P300电位控制VR

2000年Bayliss和Ballard首次将虚拟现实与BCI技术结合，设计了使用者在虚拟现实环境中驾车的场景。其中遇到红灯时停车的控制信号即利用使用者在情境驾驶时产生的事件相关电位(ERP)中P300成分。P300指ERP中潜伏期约300ms左右正波成分，常为大脑对稀少事件的认知反应。当BCI序列出现“目标刺激”(通常目标在序列事件中出现概率较小)时，则在该目标出现后大约300ms左右就可以在头皮顶区记录到P300信号。在上述情境驾车遇到红灯需停下时，使用者的应激反应足以诱发P300信号。在使用基于P300的BCI系统中，用户必须将注意力集中在给定众多刺激当中的目标刺激中，每个刺激对应一个输出。

BCI系统可在实验中进行训练和提取脑电信号特征，并与用户特定信息一起用于控制指令。

4 虚拟现实环境对BCI的影响

与无VR场景的传统BCI交互接口相比，BCI-VR系统的交互方式更加直接和直观，并能克服单纯虚拟现实环境中活动的一些限制。特别是主要依赖于视觉刺激的BCI-VR系统， 用户可以在VR环境中通过简捷的目光注视或直接将注意力集中于所需操作的物品来实施控制(例如注视电视机来打开并观看电视，注视门来开关门等)。另外，想象动作信号可提供更直观、更灵活、更丰富的VR控制方式。例如，在虚拟现实环境中可通过想象脚部运动来控制向前移动，还可以使用手持设备等增加被试在VR中移动时的沉浸感。另一方面，反馈是BCI系统中重要一环，通过反馈，被试可以了解自己完成任务的效率并继续学习提高。而加入情景逼真的VR环境反馈情节正是BCI-VR系统能提高控制效率、促进任务完成的重要影响因素。

除BCI控制性能表现外，其他方面还可以找到许多VR对BCI的影响作用。例如，想象动作研究中发现：使用者在进行想象动作时，其心率会有相应的变化，这一现象也可用于BCI-VR系统的信号分类。

总之，虚拟现实环境的使用可以增加使用者的积极性，提高BCI的使用性能。

5 技术难点及展望

如前文引言所述，将脑机接口(BCI)与虚拟现实(VR) 相结合构成BCI-VR新技术能兼取BCI与VR各自所长、优势互补，开拓了新的广阔应用前景。而同时在BCI与VR技术融合、结构改造与应用革新之路上也面临不少颇具挑战性的技术难点与障碍[4]。

首先是BCI在BCI-VR系统中须承担输入设备的角色，主要任务是为VR提供稳定有效、方便直观、灵活多变的控制指令。因为VR技术所造就的虚拟现实场景里的漫游控制即具上述特点。如此看来，VR并非易受控制的对象而且其受控质量还要求极高。这是设计BCI-VR系统遇到的首个重大挑战。为应对这个挑战，要求新系统的BCI具备以下几个能力：一是能如常见VR输入设备一样为用户提供多样化的应用指令，二是用户能随时随地、随心所欲地发布这些命令(即要求BCI必须是“self-paced”， 能做到自控自学、自我导向、自定节奏、自定进度)，三是能根据用户思维状态自由选取控制命令(即用户与BCI可易于互动，并应直观、便捷、高效且不易导致用户厌烦或疲劳)。

其次的技术难点来自于虚拟现实场景的设计与展现，同样存在多个挑战。其主要困难包括：一是可为用户提供含意丰富的VR反馈以便其能多样化、随心所欲地操控BCI，二是所展现的虚拟现实场景须能紧密、无间断地整合与集成BCI对诱发思维脑电的各种刺激需求，并尽可能保证虚拟现实场景的真实可信以使用户保持深度的虚拟现实沉浸感而不会被中断、破坏，三是尽管典型虚拟现实场景和标准BCI训练章程相差甚远，VR的应用方案设计也须是可用性极强、用途花样多。

最后的技术难点涉及到BCI-VR新系统软硬件部分，当在VR场景中使用BCI时还有若干需要考虑与新系统软硬件相关的辅助技术难点：一是BCI的脑电信号放大器须能在如VR这样充斥各种噪声干扰的恶劣环境中正常工作，二是而脑电数据的记录与传输同样也须能理想清静地进行，要求VR场景内无通讯线路冲突和各种环境干扰的打搅，三是BCI系统与VR系统结合必须切实紧密以保证现场实验时有足够快的信息交互速度，四是在某些虚拟现实场景中，用户可能需要在附近周边走动，此时须使用活动电极检测脑电以便更好地避免人体运动带来的干扰。

相信随着BCI整体技术水平的提高，其软硬件相关的辅助技术水平也会有长足进步，不会存在不可逾越的沟坎。

参考文献

[1]李鹏海.基于计算机视觉的移动外设BCI控制新技术研究.天津：天津大学，2011.

[2]王丽佳.基于BCI多动作模式的ERD/ERS信号分析及识别方法的研究D].南昌：南昌大学，2010.

[3]明东，王坤，何峰，等.想象动作诱发生理信息检测及其应用研究：回顾与展望D.仪器仪表学报，2014，35(9)：1921-1931.

[4]孔丽文, 薛召军, 陈龙,等. 基于虚拟现实环境的脑机接口技术研究进展[J]. 电子测量与仪器学报, 2015, 000(003):317-327.