神经反馈训练中的虚拟现实技术综述-丁茹博士

2024-10-14

虚拟现实virtualrealityVR是一种让用户在虚拟世界能够体验到接近真实感受的计算机仿真技术[1]其生成的视、听、触、嗅、味觉等一体化的虚拟环境可以为用户提供高沉浸感体验与传统的计算机技术相比VR技术提供了更加自然的人机交互方式更加强调人在人机交互中所占据的主导地位[2]近年来随着具有沉浸性、交互性、多感知性等优点的VR技术高速发展VR已经越来越多地被应用于医学教育、病患分析及临床治疗依托于VR技术支持的认知训练及神经康复的优势也将越来越凸显[3-5]与传统简单单调的外部训练环境相比VR训练场景不仅可以为用户提供多种感觉器官的实时刺激反馈以及可视化的训练数据还可以打破传统训练场所的限制使得用可以在医院、学校、家庭等多个场所完成训练[6-7]

神经反馈建立在脑科学研究和应用的基础之是生物反馈训练的一种形式已经成为脑-机接口brain-computerinterfaceBCI技术[8]相关究中的一个重要方向神经反馈使用脑电图信号electroencephalographyEEG作为反馈控制信号将用户的大脑作为学习和训练的主体神经反馈训练有助于用户的大脑学会按照适宜的方式实现自己的目标最终目标是重新配置大脑的结构和功能以实现记忆、注意力、处理速度或执行功能等认知能力的改善[9]这些认知能力的改善不仅可以用于自闭症、抑郁症和焦虑症等心理疾病治疗也可以用于康复训练、诱导神经的可塑性变化以及促进受损神经通路的恢复[10]相比于传统的脑功能强化方法如行为疗法、药物和物理刺[11]神经反馈训练针对性更强提升效果也更显著

目前神经反馈系统的外部训练环境设计较为简单大多使用计算机显示屏提供视觉反馈且训练过程单调烦琐用户参与的积极性不高致有相当比例的用户无法正确地调节其大脑活动本文分析神经反馈技术的训练机制对神经反馈训练中VR技术的反馈方法进行归纳分析讨论神经反馈训练中的VR技术的优势和挑战最后指出神经反馈训练中的VR技术的未来发展方向

 

一、神经反馈训练机制

 

为了帮助用户增强大脑活动从而产生更加显著的EEG特征在训练中会将一个或多个EEG频带中的活动最大幅度、相对功率或不同频带中的活动比率在某个电极位置增加或减小作为训练效果的实时反馈参考依据[12-14]VR技术可以为用户在虚拟训练环境中呈现不同程度的多通道感官刺激通过重复性训练增强/抑制特定的EEG特征激活特定大脑皮层帮助用户在特定神经元系统中产生短暂性甚者永久性的神经功能转变即神经可塑性变化从而获得更好的训练效果Sa-faryan等[15]将微小电极植入大鼠大脑神经元中发现VR增强了特定的大脑节律并且改变了大鼠大脑神经元证实VR可用于增强或控制特定的EEG特征以及促进神经可塑性变化VR技术不仅在神经反馈训练的设计上开辟了新的视角而且在研究人类与外部世界的互动方面也给出了新的思路对研究大脑节律和设计神经反馈训练机制具有重要意义

本节介绍慢皮层电位slowcorticalpotentialSCP),theta波θ4~7Hz),alpha波α8~13Hz),感觉运动节律sensory-motorrhythmbandSMR12~15Hz以及beta波β14~30Hz等单独频段的特征及训练机制

1EEG采集模块

用于采集和记录用户原始的EEG信号并将这些信号传递给应用于神经反馈训练的VR系统下一个模块EEG处理模块)。EEG信号采集的方法一般分为侵入式、半侵入式和非侵入式3类应用需求和用户类别决定了具体使用的信号采集方法目前绝大多数的应用于神经反馈训练的VR系统使用的是非侵入式采集方法与半侵入式和侵入式采集方法相比非侵入式的VR神经反馈训练系统因其无创性进一步拓展了临床和非临床的应用领域为用户提供了认知、身体支持和康复等全方位的帮助

2EEG处理模块

包括信号预处理、特征提取和特征分类3部分因为采集到的EEG幅值是微伏级别的微弱信号并且在采集过程中的EEG极易受到肌电等其他生理电信号及外界环境的干扰所以需要选择合适的预处理算法去除噪声信号同时最大限度地保

留原始EEG信号由于需要保证反馈的实时性对这些噪声信号常见的在线预处理方式有对原始信号进行滤波、伪迹去除、电极重新参考以及降低采样率等特征提取通过算法将预处理过的EEG信号进行降维处理从中提取出具有显著关联的EEG特征常用的EEG特征提取方法包括快速傅里叶变换fastFouriertransformFFT[48]、短时傅里叶变换short-timeFouriertransformSTFT[49]、小波变换wavelettransformWT[50]、共同空间模commonspatialpatternCSP[51]及其上述方法的改进方法分类算法将已有的标签特征放入分类器中进行训练然后对待测EEG信号分类从而判断当前大脑的意图或状态传统的分类器有线性分类器、非线性分类器、支持向量机supportvectormachineSVM、神经网络neuralnetworksNN多种分类器的组合[52]近年来逐渐涌现出一些新的EEG特征提取与分类方法如深度学习等与上述传统方法相比这些新方法可以提取更有效EEG特征实现更准确的分类

3VR控制模块

应用于神经反馈训练的VR系统的输出阶段EEG处理模块分类得到的脑电信息转换成控制指令执行当前用户大脑意图所对应的操作该模块借助通信接口将控制信息发送给VR设备在虚拟环境中将相应的反馈信息呈现给用户以便用户及时调整自身状态常见的输出设备有计算机显示器、VR眼镜、VR手柄和VR数据手套等

4VR反馈模块

应用于神经反馈训练的VR系统中最重要的一环有效地突破了真实环境反馈方式单一、反馈不够及时以及反馈效果差的限制合适的反馈方式不仅可以缩短训练时间还可以帮助用户正确学习到调节特定的大脑节律的方法常见的反馈方式有视觉、触觉、听觉等虚拟环境可以呈现多种组合刺激且方便对用户的行为反应进行实时的跟踪提供更自然、更真实的反馈因此VR技术结合的神经反馈训练激活特定大脑皮层的效果更好

完整地应用于神经反馈训练的VR系统首先通过EEG采集模块和EEG处理模块提取到训练所需要的EEG特征然后将EEG特征传输到VR制模块呈现当前用户大脑意图所对应的操作最后通过VR反馈模块向用户提供实时的反馈帮助用户调节大脑活动引导用户产生特定的大脑节产生更好的训练效果