Research on EEG-fNIRS based BCI Systems

Abstract

脑-机接口是一种直接采用脑信号控制外围设备的新技术，该技术不但在残疾人领域具有广泛的应用，在神经康复、军事、娱乐和脑功能研究等多个方面也都具有很高的应用价值。在本文中，我们首先对脑-机接口的研究背景和现状进行了介绍，梳理了脑-机接口的体系结构，针对目前脑-机接口领域需要亟待解决的直接指令数量少、分类精度低等问题，提出了基于EEG-fNIRS联合测量的运动参数想象的研究范式，并从以下几个方面展开了研究： 1. 设计了基于EEG-fNIRS联合测量的运动参数想象研究范式 我们提出了同时采用握力和握速运动参数想象的实验范式。该范式相对于传统的基于不同肢体运动想象的研究范式而言，可以提供更细节的控制指令，从而提高脑-机接口系统的信息传输率。为了达到更全面测量脑功能状态的目的，我们提出了EEG和fNIRS联合测量的手段。在我们的研究过程中，有国际同行也发表了相关论文验证了多模态测量对于提高分类精度的效果。同时，为了验证训练对分类精度的影响，我们把被试分为了受训练和无训练两组。我们的试验结果表明训练可以显著提高分类精度，尤其是单独采用fNIRS信号作为特征时。 2. 研究了运动参数想象相关的EEG信号特征 我们研究了EEG的功率谱特征对于运动参数想象识别的影响，发现仅仅采用功率谱特征虽然可以达到识别的目的，但是识别精度较低。之后，我们采用MEMD和Hilbert变换的方法获取了EEG的瞬时幅值、瞬时相位和瞬时频率特征，并与功率特征进行了对比，研究发现瞬时相位特征对于某些被试而言可以达到最优的识别效果。最后，我们提出了“时-频-相”特征用于运动参数想象的分类，通过特征优化后最优识别精度可以达到90%以上，极大的提高了采用单一特征时的识别率，并降低了对训练的需求，为运动参数想象研究范式用于BCI的应用提供了有力的支持。 3. 研究了运动参数想象相关的fNIRS信号特征 我们研究了fNIRS信号的时域特征和时-频特征对运动参数想象的影响，指出0.02～0.08Hz之间的信号对于握力和握速运动参数想象的识别尤为重要；对比了光强特征和浓度特征在分类精度上的差异，提出了一种新的表征脑激活情况的特征（HbD），首次把特征离散化手段引入到了BCI运动想象的识别中。我们的研究结果表明，浓度特征的分类效果要好于光强特征。在浓度特征中，HbO和HbD特征都具有很好的分类精度，在用于BCI时应该优先考虑。 4. 研究了EEG-fNIRS联合特征对于运动参数想象识别的影响 我们采用特征级的融合手段，对归一化后的EEG“时-频-相”特征和fNIRS的“HbO-HbD”特征进行了融合，并采用了基于JMI的特征优化准则对联合特征进行了优化。分类结果表明联合特征可以显著提高单一特征对运动参数想象的识别精度。这也验证了我们提出了联合测量手段的有效性