摘要：

空间认知是当前国内外认知科学领域的研究热点，但是专门对空间认知进行训练与评估的研究较少。主要原因在于其科学的训练评估系统难以构建，训练效果量化简单，并且对训练效果的评估受观察人员的主观因素影响较大。因此本文从科学有效的空间认知训练评估系统设计、基于该系统的训练评估效果定量分析两个方面进行了深入研究。 

首先，本研究构建了一套将脑机接口与虚拟现实技术进行融合的空间认知训练与评估系统。该系统借助虚拟环境下的空间认知任务对受试者进行训练与测试，并同步采集脑电信号，记录受试者的行为数据。采用离线分析的方式对训练前后行为数据的时间、路程等多个指标进行统计分析；借助格兰杰因果分析、排序条件互信息方法分别对脑电信号进行特征提取与分类，以便客观、定量地评估训练的效果。 

其次，针对传统脑电信号分析方法容易忽略通道之间相对位置信息的问题，本研究提出基于多维排序条件互信息-多光谱图像的空间认知能力评估脑电信号分析方法。该方法充分考虑脑电信号耦合特征的空间属性，将多频段组合下的耦合特征进行多光谱图像转化，并借助卷积神经网络对这些图像数据进行分类，从而有效地评估训练前后空间认知能力的变化。 

最后，本研究对上述内容进行了实验与分析。本实验招募了7名受试者使用上述系统进行为期20天的训练及前后测试，从不同角度验证了该系统在这些受试者空间认知训练与评估量化方面的有效性。此外，本文验证了多维排序条件互信息-多光谱图像方法相对于其他方法在空间认知能力评估应用中的优越性。 

一、引言

1.1研究背景和意义

空间认知是一种高级的认知功能，负责记录有关环境与空间方向的信息，在工作、短期记忆与长期记忆中均具有表征。在认知过程中，人们记住不同的位置以及对象之间的空间关系，收集并处理关于自身的环境感官信息，据此形成了空间认知[1]。记忆力下降、视空间结构认知退化以及时空定向障碍等空间认知问题在阿尔茨海默病与轻度认知障碍等神经退行性疾病中表现尤为突出，该类疾病病因与发病机制尚不明确，并且到今天仍然没有相应的药物或特效的治疗方法可以治愈此类病情进展。于是，针对这种疾病的患者在患病早期阶段得到干预，即在支持、对症等综合性治疗策略基础上进行空间认知的干预训练，那么这种干预将有助于延缓患者日常生活能力的迅速减退。虚拟现实(VirtualReality,VR)技术可以模拟真实环境并使用计算机生成交互式体验，为传统的空间认知训练提供了再现与扩展。基于VR技术的空间认知训练系统能对刺激的表象与内容、任务的复杂程度以及被试的响应状态进行灵活控制，从而使得所获取的信息更丰富、准确。在使用VR等新一代工具进行学习与记忆时，比使用传统方法(如标准计算机)可获得更多信息，其沉浸式环境可以为改善教育与高水平的训练提供新的途径。此外，在VR环境下进行空间记忆编码涉及了人类大脑在空间上组织思想与记忆的能力[2]。

1.2国内外研究现状

1.2.1空间认知训练与评估系统研究现状空间

认知能力是一种相对独立的空间因素，该认知能力经过合理的训练将有所提升。司春婴等人采用Morris水迷宫任务来训练大鼠的空间认知能力，结论表明该训练方式可显著提高大鼠的空间学习与记忆能力[3]。水迷宫范式是由英国心理学家Morris提出并用于测量大鼠的空间学习、记忆能力，此范式已经成为空间认知领域最经典的实验范式[4]。VR为空间认知训练的研究开辟了一条新的道路，对于被试而言，其期望能采取一种可以快速而有效地提高自身空间认知能力的方式，在训练过程中可体验到强烈的参与感，并且训练环境也不受场地的限制。据此，VR任务满足了这些需求，可以作为空间认知训练的主要方式。当前，许多研究已将VR用于空间认知领域的诊断与康复研究中。包括VR实践、VR公园以及VR游戏等VR环境中的重新定位任务，可以用来评估早期阿尔茨海默病(AlzheimerDisease,AD)患者的空间记忆能力[5-7]。George等人使用一项虚拟路径学习任务对AD患者进行了评估，发现AD患者的地形记忆能力与区域神经退化之间存在相关性[8]。Morganti等人验证了在虚拟太空中定向的能力构成AD中认知障碍的早期指标[9]。White等人设计基于VR环境中的空间导航认知治疗方法，一名AD患者在训练之后可以完美的导航到VR环境中的预期目标[10]。Astur等人使用虚拟Morris水迷宫空间导航任务评估了男性与女性参与者的表现差异，研究发现男性参与者的表现明显优于女性参与者[11]。训练效果评价方法一般由专家定性检查被试的技能改进情况，要求被试完成具体任务，并对其最终表现进行验证。评价空间认知能力的方式多种多样，多数集中在行为学测试方法[12]、量表检测、以及脑电信号生理数据分析等。Bures等人验证了小鼠的空间认知能力与脑内海马区的电生理信号有关[13]。Chiu等人研究了基于不同参考框架的空间导航的大脑动力学特征，结果表明人类顶叶脑电信号Alpha频段与导航能力有着直接的关系[14]。Sharma等人研究发现通过不同方式获取空间信息时，大脑激活状态存在显著的差异[15]。

1.2.2空间认知脑电信号分析研究现状

已有研究表明，以大脑海马体主导的空间记忆能力是空间定向、导航的重要组成部分[22]。因此，从脑电信号角度探索空间认知能力的变化是可行的。由于脑电信号中复杂特征的性质，许多方法被用于从不同角度来分析脑电信号，针对空间认知相关脑电信号来说，研究方法主要包括相关系数方法、功率谱分析、独立成分分析(IndependentComponentAnalysis,ICA)、事件相关电位(Event-RelatedPotential,ERP)以及脑网络方法。相关系数是一种简单的度量变量之间线性相关程度的方法，最常用的是Pearson相关系数。Guevara与Markus等人分析了空间记忆跨度任务中的脑电信号，发现该任务后向条件下人脑右侧前额叶区域之间的Pearson相关系数有所降低，这表明该区域在记忆任务中参与度较高[23]。Pearson相关系数分析方法的优点是易于实现、计算简单，但仅适用于判断两类数据样本的相关性，对数据质量要求较高，在分析脑电信号这种高度不稳定的数据时，该方法难以取得较好的效果。功率谱是功率谱密度函数的简称，它可以描述脑电信号功率与频率变化之间的关系。该方法实现简单，在空间认知脑电信号分析研究中是最常用的一种方法。DongWen等人提出了一种基于多维排序条件互信息的脑电信号分析方法，在遗忘型认知障碍诊断中可有效地计算不同脑区之间的耦合动力学特征。该方法考虑到其他所有相关通道对两两通道耦合关系的影响，深入研究了两两通道之间的相关性；此外，该方法涉及到的耦合动力学特性适合于分析脑电信号这一种不稳定的时间序列，并且在脑电信号分析方面优于格兰杰因果关系方法。因此，本文将MPCMI方法引入到本研究中，并对其进行改进，从而更有效的评估空间认知训练效果。

1.3本文研究内容

本研究的目标是构建基于BCI与VR融合方法的空间认知训练系统，并分别从行为数据与脑电信号角度对该系统的训练效果进行客观、定量的分析；此外，针对传统脑电信号分析方法存在的不足，提出相应的改进方法，以更好的对空间认知训练效果进行有效评估。本文的研究内容主要包括以下三方面。(1)将空间认知领域经典的实验范式移植到VR环境中，并使用BCI技术进行VR行为数据与脑电信号同步采集，以构造基于BCI与VR融合方法的空间认知训练与评估系统。(2)为了验证与量化空间认知训练的效果，以训练前后为对比，分别对VR行为数据中的时间、路径、距离三个指标进行统计分析；对脑电信号进行基于格兰杰因果分析、排序条件互信息方法的特征提取与分类分析。(3)针对传统脑电信号分析方法存在的缺陷，本文提出多维排序条件互信息-多光谱图像(MPCMI-MultispectralImage,MPCMI-MSI)脑电信号特征提取方法，并将该方法与卷积神经网络模型相结合以应用到空间认知能力评估工作中。此外，通过对比其他两种基于多光谱图像的特征提取方法，来验证MPCMI-MSI方法的性能优势。

二、元宇宙空间认知训练平台介绍

2.1元宇宙基本知识

元宇宙是基于VR提出了的概念。VR是由计算机创建的逼真的三维环境，使得用户在视觉、听觉、触觉等多感官上产生与真实世界相同的感觉。VR技术包含交互性、沉浸感以及构想性三个特征，典型的VR系统主要由输入设备、虚拟环境、计算机、VR软件以及输出设备组成。Unity是由UnityTechnologies公司开发的跨平台游戏引擎，该引擎可用于创建多平台的二维与三维游戏，在VR、三维动画等领域具有很好的应用前景。Unity引擎采用C#、JaveScript脚本语言、组件式开发模式，主要包括资源管理、光照、摄像机、角色控制以及GUI用户界面等组件。在应用该引擎开发VR应用程序时，开发过程可分为VR场景搭建、C#控制脚本程序编写两个部分。在Unity引擎的VR场景搭建过程中，首先需要创建目标地形，之后对应组件添加碰撞检测与角色控制器，最后进行交互界面的设计。其中地形的创建主要包括光源、植被、水纹、天空等地形地貌特征的添加；碰撞检测可以防止3D模型在移动过程中发生穿透现象，增强虚拟现实环境的沉浸感与真实性。在Unity中内置了六种碰撞检测组件，分别为Box、Sphere、Capsule、Mesh、Wheel以及Terrian碰撞检测。角色控制器组件用于对场景中模型的移动进行控制，该组件可简化漫游设计等相关开发过程。在Unity中内置了第一与第三人称视角的角色控制器，可在受制于碰撞的情况下进行角色运动。交互界面设计的好坏影响用户使用虚拟现实系统的整体体验，Unity引擎的UGUI系统提供了直观的组件式交互界面开发方案。Unity中的C#脚本通过挂载到被控对象的方式实现控制，图2-1展示了Unity脚本引擎的内部原理与运行机制。整个脚本生命周期可分为编辑阶段、开始阶段、迭代更新、显示阶段、清除阶段5个部分，其中每个部分均有特定的函数供脚本实例调用。

图2-1：Unity脚本引擎的内部原理

2.2 脑电信号特征提取方法 

格兰杰因果分析(Granger Causality Analysis, GCA)是用于研究神经元时间序列数据之间因果关系的方法。因果性的概念是由Norber Wiener于1956年提出，他表示如果两时间序列之间存在其中一个的过去值对另一个的将来值有预测作用，则这两个时间序列存在因果性，但具体因果关系未进行详细研究。之后经济计量学家Clive Granger提出时间序列因果关系的度量方法，即采用随机过程中的线性自回归模型来判断两时间序列的因果性导向。 

GCA方法的基本思想为：若用时间序列X过去的值与时间序列Y过去的值去估计时间序列X当前的值，比仅由时间序列X过去的值去估计得到的预期误差方差减小，则时间序列Y就是时间序列X的因。该方法是建立在由一个时间序列对另一个时间序列进行预测的基础上，故格兰杰因果关系是时间优先的过程，但该过程确定的因果关系导向是不充分的，还需要确定两个时间序列之间因果关系的强弱。GCA基于多变量自回归模型，可以用p阶模型进行拟合。对于脑电信号时间序列来说，首先选取两个通道的数据，分别用X、Y表示，之后以X、Y的滞后变量拟合X的当前值。

2.3 脑电信号分类方法 

2.3.1 快速学习网络 

快速学习网络(Fast Learning Network, FLN)是由李国强等人提出的一种新型的单隐藏层神经网络分类器。该分类器通过在单隐藏层前馈神经网络上添加输入与输出层的直接联系，从而形成双并联前馈神经网络，如图2-2所示。 

图2-2：双并联前馈神经网络

FLN方法是在极限学习机方法上进行了改进，弥补了极限学习机在训练好后，

对测试样本的分类过程需要花费较长反应时间的问题。在FLN中，输入层分别与隐藏层与输出层直接联系，且该层的神经元无核函数与求和运算，只起到传递参数的作用。当输入数据时，隐藏层神经元将得到的数据进行非线性变换后传递至输出层，从而构造了普通的三层人工神经网络，使得FLN具有非线性逼近能力。当输入层数据直接传递至输出层时，输入与输出之间具有线性关系，故FLN方法是将线性与非线性变换进行组合的分类模型。

2.3.2 卷积神经网络 

卷积神经网络(Convolutional Neural Networks, CNN)主要应用于计算机视觉等研究领域，目前该方法在照片分类、手写数字识别等应用中取得了巨大的成功。与其他全连接的神经网络模型不同之处在于其包含了多个卷积层与池化层。卷积层通过设置一系列过滤器进行输入信息的局部特征捕捉，这种方法可以将多维输入数据分解为多个局部的低维数据，有利于提取局部特征依赖，减小模型计算的复杂程度。池化层也叫降采样层，通过对特征的子抽样来减少数据量和参数量，有利于减少训练模型的过拟合现象。CNN通常以多个卷积层、多个池化层交替排列的方式进行模型构建，在模型末端一般放置2-3层全连接层以对局部特征进行拼接。 

三、基于BCI-VR的空间认知训练与评估系统 

本章通过分析传统空间认知训练方法的缺陷，提出将BCI与VR进行结合的方式构造空间认知训练与评估系统。在本章中首先对该系统的功能需求、结构进行整体分析，之后就系统的VR空间认知任务、脑电信号与行为数据同步获取、空间认知训练效果评估三个方面进行展开叙述。 

3.1 系统需求分析 

传统的空间认知训练方法如迷宫任务训练、心理旋转任务训练等都是在 2D 环境展开，训练效果不明显，实施周期长，并且训练效果主要通过受试者认知功能量表的评分来评价，受环境与观察者的主观因素影响较大。为此，需要改变传统的空间认知训练环境与评价指标。VR技术可以提供一种高沉浸感、高可控性的刺激环境，在这种环境下不仅可以对受试者进行空间认知能力训练，而且可方便地测量各种训练效果评估指标。对于受试者而言，训练过程新颖巧妙、环境熟悉安全，且乐于参与，不易产生厌烦心理，消除了传统训练方法的弱点。被动式BCI不需要人主动或被动做出反应，只需在训练的过程中采集人脑的思维活动，该思维活动主要是用于识别人的心理状态(心理工作负荷、注意力水平等)与认知过程。因此，应用被动式BCI采集受试者任务态的脑电信号并对其进行离线分析，以作为评价训练效果的生理指标，解决了传统评价方法量化模糊、主观因素影响较大的问题。

根据上述分析，本章旨在开发一套以VR任务为主要空间认知训练内容、BCI为主要训练效果评估方式的混合系统。充分考虑空间认知相关VR任务的设计、评估数据的采集与分析等工作，对本系统做出如下功能需求分析。 

(1)VR空间认知任务需求分析。首先，针对VR空间认知训练任务，应采用重复

策略的训练模式，以周期为单位对参与者进行训练，同时任务具有一定复杂性，充分发挥人脑的空间认知能力。其次，开发VR空间认知测试任务，该任务对参与者进行前测与后测，从而在BCI评估训练效果阶段，避免观察到的认知能力变化是由重复参与测试任务而熟练掌握所造成的。 

(2)评估数据采集与评估方法需求分析。首先，从VR任务角度考虑，对参与者

执行任务期间进行行为数据采集，通过结合任务内容对行为数据各个指标统计分析

3.2 系统软硬件平台与功能结构 

基于BCI-VR融合方法的空间认知训练系统是由软硬件组合而成的系统，其中硬件主要包括：OpenBCI脑电采集设备、HTC Vive Focus头戴显示器、控制手柄以及台式计算机，如图3-1所示。OpenBCI设备用于实时采集受试者在参与实验过程中的脑电信号，该设备采样率为125Hz，电极阻抗为小于10kQ的湿电极，采集16通道的脑电信号，并通过OpenBCI的USB加密狗与计算机进行无线通信。HTC Vive Focus头戴显示器负责呈现虚拟任务场景。该设备为便携式一体机，搭载Android 6.0操作系统，显示分辨率为2880*1600，刷新频率为75Hz，内置无线网卡，通过外置手柄与VR场景进行交互。 

图3-1：系统的硬件平台

该系统软件平台主要包括：Unity 3D游戏引擎、MA TLAB编程软件平台以及

PyCharm开发环境。其中Unity 3D游戏引擎负责构建VR任务场景，采用C#语言编程；MA TLAB软件平台负责脑电信号的分析与计算；PyCharm开发环境使用Python语言来构建脑电信号与行为数据同步接收客户端。 

该系统架构如图3-2所示，脑电信号采集设备通过蓝牙口将脑电信号发送至计算机；VR头戴显示器通过TCP/IP协议将参与者执行任务期间的行为数据发送至计算机；计算机端采用多线程技术同步接收脑电信号与行为数据；之后进行空间认知离线评估。具体而言，计算机首先将串口缓存区接收到的脑电信号通过LSL协议转发输出至局域网。TCP客户端将缓存区接收到的行为数据帧按规则进行协议解析，将解析得到的动作标记数据通过LSL协议转发输出至局域网，将位置坐标数据添加时间戳存储至磁盘。LSL协议客户端同步接收脑电信号与动作标记，使两者时间对齐，并存储至磁盘。空间认知评估分别从脑电信号特征与路径信息两方面进行定量分析。 

图3-2：系统架构

3.3 VR空间认知任务设计与实现 

为了解决传统空间认知训练受环境影响较大的问题，本系统将训练过程迁移到VR环境中。通过其高沉浸感、内容可控的特点开发专门针对于空间认知训练的VR任务，并且同时开发了VR空间认知测试任务，以用于评估训练任务对参与者空间认 为了解决传统空间认知训练受环境影响较大的问题，本系统将训练过程迁移到VR环境中。通过其高沉浸感、内容可控的特点开发专门针对于空间认知训练的VR任务，并且同时开发了VR空间认知测试任务，以用于评估训练任务对参与者空间认知。

3.4 空间认知数据与信息获取 

上一节详细描述了VR空间认知任务的实现过程，在受试者执行上述任务的过程中，BCI系统对须对其进行全程的脑电信号采集。受试者作为VR端与BCI端之间的联系，在本系统中存在两种数据流，分别为受试者执行VR任务的行为数据、BCI采集的受试者脑电信号。为了将VR与BCI两个独立的系统进行融合，需要对行为数据、脑电信号以时间同步的方式进行共同收集。以下分别就脑电信号的采集原理、行为数据的采集方式以及这两种数据的同步收集方法进行描述。

本系统使用的OpenBCI脑电信号采集设备为16通道双模块设计，即两个8通道信号采集模块同步进行采集，通过蓝牙接口与计算机进行数据传输。为了后期离线分析受试者任务执行的状况以及定量分析空间认知能力的变化，

本系统在受试者执行任务期间，通过TCP/IP协议记录其行为数据。记录方式采用C/S(客户端/服务器)结构进行数据传输，其中VR头戴显示器作为服务端，计算机作为客户端。在服务端的VR任务脚本中，通过异步Socket的方式对客户端进行监听。当与客户端建立连接后，服务端采用轮询的方式检测任务场景中角色对象的移动状态、按键手柄的响应状态以及任务的完成状态，将这些状态的数据按规定的协议进行封装，之后发送至客户端。

由于OpenBCI设备将参与者执行VR任务整个过程的脑电信号进行了采集，出于对数据量大小的考虑以及更有针对性的分析，本系统将脑电信号接收与行为数据接收进行同步化处理。具体而言，在计算机接收到脑电信号数据帧与行为数据帧时，首先将行为数据帧中的动作标记打标至脑电信号数据流中，使动作标记与脑电信号数据帧在时间轴上对齐，从而可以确定受试者做出动作时的脑电信号数据帧，以便于分析受试者空间认知变化时重点考虑这些时刻的脑电信号。

四、实验结果与分析

本章主要对第3章中搭建的BCI-VR空间认知训练与评估系统展开系统测试实验，对第4章提出的基于MPCMI-MSI的脑电信号分析方法展开对比实验。在系统测试实验中，首先招募7名受试者使用该系统进行为期20天的空间认知训练。之后分别从行为数据角度、脑电信号角度对训练效果进行定量、客观的评估，从而验证该训练系统在空间认知训练方面的有效性。在脑电信号分析方法对比实验中，选择基于GCA、PCMI的多光谱图像转化方法与MPCMI-MSI方法进行对比，分别从四种不同的频段组合角度来验证MPCMI-MSI方法的性能优势。 

4.1 BCI-VR空间认知训练与评估系统测试实验 

4.1.1 系统测试用户信息与任务信息 

为了测试基于BCI-VR空间认知训练与评估系统的有效性，我们在燕山大学在读硕士研究生中招募了7名健康男性受试者，以这些受试者作为测试用户来使用、测试本系统，并参与一个周期的VR空间认知训练与测试任务。7名受试者视力或矫正视力正常、无色盲、右利手、无精神疾病历史。受试者均未参与过与本实验类似的实验，并且签署知情同意书，表示自愿参与系统的测试研究。受试者平均年龄为24±1.63岁，范围从21到26岁。 

所有受试者被安排在室内安静的环境中参与空间认知任务与脑电信号采集。其中受试者首先佩戴OpenBCI电极帽、HTC Vive Focus虚拟头显设备，之后通过外置手柄与VR场景进行交互。受试者首先参与1次VCW任务，对其进行前期空间认知能力测试；之后参与为期20天、每天1次的VMWM任务，借此对受试者进行空间认知能力训练；最后受试者再参与1次VCW任务，对其进行后期空间认知能力测试。整个过程采集受试者的脑电信号与行为数据，训练周期结束后，离线评估其空间认知训练的效果。 

4.1.2 统计分析与评价标准 

对于行为数据而言，根据第3章中的描述，对受试者在VMWM任务训练第一

天与最后一天的任务执行时间、导航路径长度以检验。本实验利用SPSS统计分析软件对上述空间认知行为数据指标进行分析，统计结果采用均数±标准差的表示方法，其中p<0.05表示差异具有显著性统计学意义。 

对于脑电信号而言，根据第3章中的描述，选择FLN分类器对受试者前、后期参与VCW任务过程中的脑电信号进行分类比较。本实验中7名被试在前、后期参与VCW任务过程中所花费的时间有所不同，故采集的脑电信号在时间长度上具有差异。根据3.5.1节方法进行预处理后，所有被试训练前的每个频段脑电信号共可以划分为424个样本，训练后共可以划分为289个样本。在FLN分类方法中，隐藏层节点数设置为30，特征激活函数选择sigmoid函数。为了得到稳定可靠的分类结果，本文采用K折交叉验证(K=10)方法对FLN分类模型进行性能评估。其中，本文将K次验证得到的分类准确度、灵敏度、特异度的均值与标准差作为评估模型性能的指标。 

4.1.3 行为数据统计结果 

图5-1展示了VMWM任务整个训练周期中在隐藏平台阶段所有受试者执行任

务的平均时间。该图显示：执行任务所花费的时间整体呈下降趋势。配对样本t检验统计结果显示：受试者找到隐藏平台阶段所花费的时间在训练第一天与最后一天存在显著性差异，在受试者第一天参与隐藏平台任务所花费的时间(28.54±11.91)明显高于最后一天参与隐藏平台任务所花费的时间(15.49±4.09)，t(6)=3.831，p<0.05。

图5-1：所有受试者执行任务的平均时间

4.1.4 脑电信号分类结果 

本小节对受试者训练前与训练后参与VCW任务过程中的脑电信号分别采用基

于GCA、PCMI方法进行特征提取后，对这些特征在各个频段的分类结果以表格的

形式进行展示。其中以低频到高频的顺序呈现各个结果表格，表格中accuracy、

sensitivity、specificity分别表示10折交叉验证的平均测试准确率、测试灵敏度、测试特异度，std表示标准差。由于脑电信号通道组合方式较多，本文仅呈现准确率超过65%的分类结果。

4.1.5 实验结果分析 

在VMWM任务中，任务执行时间、路径长度以及平台距离差值代表着空间认知能力的好坏，这三个指标的取值越小，预示着受试者空间认知能力越高。通过对行为数据的分析，本文发现在该任务整个训练周期中上述三个指标均呈下降趋势，这与Frick等人研究的结果一致。此外，通过对训练第一天与最后一天的任务执行时间、路径长度、距离差值进行配对样本的t检验，本文发现上述三个指标在训练周期的前后均具有显著性差异。由此可说明受试者借助本系统通过不断的训练能够提高其空间认知能力。 

4.2 实验结果分析 

本实验在四种不同的频段组合条件下，比较了基于GCA-MSI、PCMI-MSI、

MPCMI-MSI方法构造的图像数据在CNN模型中的分类效果，其中发现无论在何种

频段组合下，基于MPCMI-MSI方法的CNN分类模型性能表现最佳。在上述结果中，

GCA-MSI与PCMI-MSI方法性能差距较小，其中仅在Alpha2-Beta2-Gamma频段组

合下GCA-MSI方法较PCMI-MSI方法优异。MPCMI-MSI方法与另外两种方法相比

性能差距较大，在四种频段组合下均具有明显优势。 

此外，单独观察不同频段组合下MPCMI-MSI数据在CNN模型中的分类结果，

发现无论在平均验证损失、平均验证精度还是CNN模型各个评估值上，基于Theta-Beta2-Gamma频段组合的CNN模型分类效果最好。相比于该频段组合，Beta1-Beta2-Gamma组合下CNN模型分类性能次之，但差距微弱。这与5.1节所观察到的现象有所不同：脑电信号基于GCA、PCMI方法所得的特征经过FLN分类后，空间认知训练前后分类效果较好的频段由低到高分别为Beta1、Beta2、Gamma频段；但在MPCMI-MSI脑电信号分析方法中，Theta、Beta2、Gamma频段在训练前后表现出较大差异。该Theta频段观察到的变化与Matsumoto等人的研究结果一致：跨多个系统的theta范围同步活动对于空间导航所需的集成大脑活动以及将此活动转换为运动命令至关重要。由此可说明基于Theta-Beta2-Gamma频段组合的MPCMI-MSI脑电信号分析方法可最有效地评估空间认知训练的效果

结  论 

空间认知训练可延缓认知障碍患者日常生活能力的迅速减退，传统训练方法受观察者的主观经验与测试环境的影响较大，在空间认知特征性、生态有效性方面表现较弱。本文主要从空间认知训练方式与效果评估方法两方面展开了深入研究，取得了如下研究成果与结论。 

(1)构建了基于BCI-VR融合方法的空间认知训练与评估系统。该系统移植了空

间认知领域经典实验范式“Morris水迷宫”任务至VR环境中，通过VR任务对被试进行空间认知训练，并且在此期间全程对被试行为数据与脑电信号进行同步采集。之后以离线分析的方式对训练前后期行为数据进行统计、脑电信号进行基于GCA、PCMI方法的特征提取与分类，从而定量客观的评估空间认知训练效果。通过实际测试的方式招募了7名受试者展开了为期20天的训练与测试实验，结果表明被试VR任务执行时间、路径长度、距离差值三个指标在训练前后存在显著性差异；脑电信号强度特征由低频到高频差异逐渐明显，在多种脑区组合下均取得较好的分类结果。因此，本系统可以有效的进行空间认知训练以及效果量化。 

(2)提出了基于MPCMI-MSI的空间认知能力评估脑电信号分析方法。该方法重

点考虑了脑电信号通道耦合特征之间的相对位置关系，将多频段组合下的MPCMI特征进行多光谱图像转化，并借助CNN模型对这些图像数据进行分类，从而有效评估空间认知训练前后的脑电信号差异。相比基于GCA、PCMI的多光谱图像转化方法而言，四种频段组合下MPCMI-MSI特征经过CNN模型分类均表现出较高的分类性能。对比四种频段组合下MPCMI-MSI数据在CNN模型中的分类结果，发现Theta-Beta2-Gamma组合分类效果最优，其平均验证精度达到95%。 

参考文献

[1] Johnson E A. A Study of the Effects of Immersion on Short-term Spatial Memory[J]. Proceedings of World Academy of Science Engineering & Technology, 2010, 25(71): 582. 

[2] Krokos E, Plaisant C, V arshney A, et al. Virtual memory palaces: immersion aids recall[J]. Virtual Reality, 2019, 23(1): 1-15. 

[3] 司春婴, 胡志红, 刘恺丰, 等. 训练方式对大鼠空间学习、记忆的影响[J]. 山西医科大学学报, 2011, 42(7): 539-541. 

[4] Morris R G M. Developments of a water-maze procedure for studying spatial learning in the rat[J]. Journal of Neuroscience Methods, 1984, 11(1): 47-60. 

[5] Shamsuddin S N W , Lesk V , Ugail H. Virtual Environment Design Guidelines for Elderly People in  Early  Detection  of Dementia[J]. World Academy  of  Science, Engineering  and Technology, International  Journal  of  Medical,  Health, Biomedical,  Bioengineering  and  Pharmaceutical Engineering, 2011, 5(11): 603-607. 

[6] Shamsuddin S N W, Ugail H, Lesk V , et al. VREAD: A Virtual Simulation to Investigate Cognitive Function in the Elderly[C]. International Conference on Cyberworlds. Darmstadt, Germany, 2012: 215-220. 

[7] Caffo A O, De Caro M F , Picucci L, et al. Reorientation Deficits Are Associated With Amnestic Mild Cognitive Impairment[J]. American Journal of Alzheimers Disease and Other Dementias, 2012, 27(5): 321-330. 

[8] Pengas G, Williams G B, Acostacabronero J, et al. The relationship of topographical memory performance to regional neurodegeneration in Alzheimer's  disease[J]. Frontiers in Aging Neuroscience, 2012, 4: 17-18. 

[9] Morganti F , Stefanini S, Riva G. From allo- to egocentric spatial ability in early Alzheimer’s disease: A study with virtual reality spatial tasks[J]. Cognitive Neuroscience, 2013, 4: 171-180. 

[10] White P , Moussavi Z. Neurocognitive Treatment for a Patient with Alzheimer’s Disease Using a Virtual  Reality  Navigational  Environment[J].  Journal  of  Experimental  Neuroscience,  2016, 2016(10): 129-135. 

[11] Astur R S, Ortiz M L, Sutherland R J. A characterization of performance by men and women in a virtual Morris water task: A large and reliable sex difference[J]. Behavioural Brain Research, 1998, 93(1): 185-190. 

[12] 李斌, 谢淑玲, 彭丽燕, 等. 3种拟痴呆动物模型在 Morris 水迷宫行为学测试中学习记忆行为的差异[J]. 医学研究生学报, 2014, (7): 683-685. 

[13] Bures J, Lanský P . From spreading depression to spatial cognition[J]. Physiological Research, 2004, 53: 177-178. 

[14] Chiu T C, Gramann K,  Ko L W, et al. Alpha modulation in parietal and retrosplenial cortex correlates with navigation performance[J]. Psychophysiology, 2011, 49(1): 43-55. 

[15] Sharma G, Salam A A, Chandra S, et al. Influence of Spatial Learning Perspectives on Navigation Through Virtual Reality Environment[C]. International Conference on Brain Informatics. Omaha, USA, 2016: 346-354. 

[16] Bischof W F , Boulanger P . Spatial Navigation in Virtual Reality Environments: An EEG Analysis[J]. Cyberpsychology, Behavior, and Social Networking, 2003, 6(5): 487-495. 

[17] Tarnanas I, Tsolaki M, Nef T, et al. Can a novel computerized cognitive screening test provide additional information for early detection of Alzheimer's disease?[J]. Alzheimers & Dementia, 2014, 10(6): 790-798. 

[18] Tarnanas I, Tsolakis A, Tsolaki M. Assessing virtual reality environments as cognitive stimulation method for patients with MCI[J]. Technologies of Inclusive Well-Being, 2014, 536: 39-74. 

[19] Tarnanas I, Laskaris N, Tsolaki M, et al. On the Comparison of a Novel Serious Game and Electroencephalography Biomarkers for Early Dementia Screening[J]. Advances in Experimental Medicine and Biology, 2015, 821: 63-77. 

[20] Kober S E, Neuper C. Sex differences in human EEG theta oscillations during spatial navigation in virtual reality[J]. International Journal of Psychophysiology, 2011, 79(3): 347-355. 

[21] Jaiswal N, Ray W J, Slobounov S. Encoding of visual-spatial information in working memory requires more cerebral efforts than retrieval: Evidence from an EEG and virtual reality study[J]. Brain Research, 2010, 1347: 80-89. 

[22] Olton D S, Becker J T, Handelmann G E. Hippocampus, space, and memory[J]. Behavioral and Brain Sciences, 1979, 2(03): 313-322. 

[23] Guevara M A, Paniagua E I C, Gonzalez M H, et al. EEG activity during the spatial span task in young men: Differences between short-term and working memory[J]. Brain Research, 2018, 1683.