神经反馈训练中的虚拟现实技术综述-丁茹博士
2024-10-14
虚拟现实(virtualreality,VR)是一种让用户在虚拟世界能够体验到接近真实感受的计算机仿真技术[1],其生成的视、听、触、嗅、味觉等一体化的虚拟环境可以为用户提供高沉浸感体验。与传统的计算机技术相比,VR技术提供了更加自然的人机交互方式,更加强调人在人机交互中所占据的主导地位[2]。近年来,随着具有沉浸性、交互性、多感知性等优点的VR技术高速发展,VR已经越来越多地被应用于医学教育、病患分析及临床治疗中,依托于VR技术支持的认知训练及神经康复的优势也将越来越凸显[3-5]。与传统简单单调的外部训练环境相比,VR训练场景不仅可以为用户提供多种感觉器官的实时刺激反馈以及可视化的训练数据,还可以打破传统训练场所的限制,使得用户可以在医院、学校、家庭等多个场所完成训练[6-7]。
神经反馈建立在脑科学研究和应用的基础之上,是生物反馈训练的一种形式,已经成为脑-机接口(brain-computerinterface,BCI)技术[8]相关研究中的一个重要方向。神经反馈使用脑电图信号(electroencephalography,EEG)作为反馈控制信号,将用户的大脑作为学习和训练的主体。神经反馈训练有助于用户的大脑学会按照适宜的方式实现自己的目标,最终目标是重新配置大脑的结构和功能,以实现记忆、注意力、处理速度或执行功能等认知能力的改善[9]。这些认知能力的改善不仅可以用于自闭症、抑郁症和焦虑症等心理疾病治疗,也可以用于康复训练、诱导神经的可塑性变化以及促进受损神经通路的恢复[10]。相比于传统的脑功能强化方法,如行为疗法、药物和物理刺[11],神经反馈训练针对性更强,提升效果也更显著。
目前,神经反馈系统的外部训练环境设计较为简单,大多使用计算机显示屏提供视觉反馈,并且训练过程单调烦琐,用户参与的积极性不高,导致有相当比例的用户无法正确地调节其大脑活动。本文分析神经反馈技术的训练机制,对神经反馈训练中VR技术的反馈方法进行归纳分析;讨论神经反馈训练中的VR技术的优势和挑战;最后指出神经反馈训练中的VR技术的未来发展方向。
一、神经反馈训练机制
为了帮助用户增强大脑活动从而产生更加显著的EEG特征,在训练中会将一个或多个EEG频带中的活动(最大幅度、相对功率)或不同频带中的活动比率在某个电极位置增加或减小,作为训练效果的实时反馈参考依据[12-14]。VR技术可以为用户在虚拟训练环境中呈现不同程度的多通道感官刺激,通过重复性训练增强/抑制特定的EEG特征,激活特定大脑皮层,帮助用户在特定神经元系统中产生短暂性甚者永久性的神经功能转变,即神经可塑性变化,从而获得更好的训练效果。Sa-faryan等[15]将微小电极植入大鼠大脑神经元中,发现VR增强了特定的大脑节律,并且改变了大鼠大脑神经元,证实VR可用于增强或控制特定的EEG特征以及促进神经可塑性变化。VR技术不仅在神经反馈训练的设计上开辟了新的视角,而且在研究人类与外部世界的互动方面也给出了新的思路。对研究大脑节律和设计神经反馈训练机制具有重要意义。
本节介绍慢皮层电位(slowcorticalpotential,SCP),theta波(θ,4~7Hz),alpha波(α,8~13Hz),感觉运动节律(sensory-motorrhythmband,SMR,12~15Hz)以及beta波(β,14~30Hz)等单独频段的特征及训练机制
(1)EEG采集模块
用于采集和记录用户原始的EEG信号,并将这些信号传递给应用于神经反馈训练的VR系统下一个模块(EEG处理模块)。EEG信号采集的方法一般分为侵入式、半侵入式和非侵入式3类,应用需求和用户类别决定了具体使用的信号采集方法。目前,绝大多数的应用于神经反馈训练的VR系统使用的是非侵入式采集方法。与半侵入式和侵入式采集方法相比,非侵入式的VR神经反馈训练系统因其无创性进一步拓展了临床和非临床的应用领域,为用户提供了认知、身体支持和康复等全方位的帮助。
(2)EEG处理模块
包括信号预处理、特征提取和特征分类3部分。因为采集到的EEG幅值是微伏级别的微弱信号,并且在采集过程中的EEG极易受到肌电等其他生理电信号及外界环境的干扰,所以需要选择合适的预处理算法去除噪声信号,同时最大限度地保
留原始EEG信号。由于需要保证反馈的实时性,对这些噪声信号常见的在线预处理方式有对原始信号进行滤波、伪迹去除、电极重新参考以及降低采样率等。特征提取通过算法将预处理过的EEG信号进行降维处理,从中提取出具有显著关联的EEG特征。常用的EEG特征提取方法包括快速傅里叶变换(fastFouriertransform,FFT)[48]、短时傅里叶变换(short-timeFouriertransform,STFT)[49]、小波变换(wavelettransform,WT)[50]、共同空间模(commonspatialpattern,CSP)[51]及其上述方法的改进方法。分类算法将已有的标签特征放入分类器中进行训练,然后对待测EEG信号分类,从而判断当前大脑的意图或状态。传统的分类器有线性分类器、非线性分类器、支持向量机(supportvectormachine,SVM)、神经网络(neuralnetworks,NN)及多种分类器的组合[52]。近年来,逐渐涌现出一些新的EEG特征提取与分类方法,如深度学习等与上述传统方法相比,这些新方法可以提取更有效的EEG特征,实现更准确的分类。
(3)VR控制模块
应用于神经反馈训练的VR系统的输出阶段,将EEG处理模块分类得到的脑电信息转换成控制指令,执行当前用户大脑意图所对应的操作。该模块借助通信接口将控制信息发送给VR设备,在虚拟环境中将相应的反馈信息呈现给用户,以便用户及时调整自身状态。常见的输出设备有计算机显示器、VR眼镜、VR手柄和VR数据手套等。
(4)VR反馈模块
应用于神经反馈训练的VR系统中最重要的一环,有效地突破了真实环境反馈方式单一、反馈不够及时以及反馈效果差的限制。合适的反馈方式不仅可以缩短训练时间,还可以帮助用户正确学习到调节特定的大脑节律的方法。常见的反馈方式有视觉、触觉、听觉等,虚拟环境可以呈现多种组合刺激,且方便对用户的行为反应进行实时的跟踪,提供更自然、更真实的反馈。因此,与VR技术结合的神经反馈训练激活特定大脑皮层的效果更好。
完整地应用于神经反馈训练的VR系统首先通过EEG采集模块和EEG处理模块提取到训练所需要的EEG特征;然后将EEG特征传输到VR控制模块,呈现当前用户大脑意图所对应的操作;最后通过VR反馈模块向用户提供实时的反馈,帮助用户调节大脑活动,引导用户产生特定的大脑节律,产生更好的训练效果。