说到运动想象(motor imagenation, MI), 我们都很熟悉,它是指个体在心理上模拟给定动作时的动态状态。如何通过运动想象的脑电信号来分类个体的心理意图,一直是研究人员关注的重点,MI信号可以用于控制外部设备,如大脑控制的机器人、大脑控制的外骨骼、自动驾驶汽车等, 因此提高MI信号的分类准确性是极其有意义的。
(相关资料图)
脑电图(EEG)的信噪比较低,因此如何从脑电图信号中提取特征并正确分类是BCI技术最重要的部分。传统上,通用空间模式(CSP)和支持向量机(SVM)用于对脑电图信号进行分类,并实现良好的分类结果。随着深度学习的发展,卷积神经网络(CNN)备受关注。到目前为止,已经为BCI 范式提出了各种具有不同架构的神经网络。
本文通过将CNN和LSTM组合在一起,提出了一个新的功能融合深度学习框架。其次,该算法同时提取脑电图信号的时间和空间特征,提高了精度, 第三,该网络提取了中间层特征,以防止特征丢失。
数据集
本文的数据来自BCI Competition IV,“BCI 竞赛IV”的目标是验证脑机接口 (BCI) 的信号处理和分类方法。与过去的 BCI 竞赛相比,解决了与实际 BCI 系统高度相关的新的挑战性问题,例如(数据集链接已附上):
•无试验结构的连续脑电图分类(数据集 1)。
•受眼球运动伪影影响的 EEG 信号分类(数据集 2)。
•MEG 手腕运动方向的分类(数据集 3)。
•ECoG 中需要细粒度空间分辨率的歧视(数据集 4)。
简要介绍一下这四个数据集:
数据集 1: ‹motor imagery, uncued classifier application›
由 柏林 BCI 组提供:Technische Universität Berlin(机器学习实验室)和 Fraunhofer FIRST(智能数据分析组)( Klaus-Robert Müller、 Benjamin Blankertz、Carmen Vidaurre , Guido Nolte ), and Campus Benjamin Franklin of the Charité - University Medicine Berlin, Department of the Charité, University Medicine Berlin, Department of the Neurology, Neurophysics Group (Gabriel Curio)EEG, motor imagery (2 classes of left hand, right hand, foot);评估数据是连续的脑电图,其中还包含空闲状态的时间段[64个EEG通道(0.05-200Hz),1000Hz采样率,2个类别(+空闲状态),7个科目]
数据集 2a: ‹4 级运动图像› 由 格拉茨科技大学知识发现研究所 (脑机接口实验室 ,(Clemens Brunner、Robert Leeb、Gernot Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图,提示运动意象(左手、右手、脚、舌头) [22 个脑电图通道(0.5-100Hz;陷波滤波器),3 个EOG 通道,250Hz 采样率,4 个类别,9 个科目]
数据集 2b: ‹motor imagery›由 格拉茨科技大学知识发现研究所 (脑机接口实验室 ,(Robert Leeb、Clemens Brunner、Gernot -Müller-Putz、 Alois Schlögl、 Gert Pfurtscheller ) 脑电图,提示运动意象(左手,右手) [3 个双极脑电图通道(0.5-100Hz;陷波滤波),3 个EOG 通道,250Hz 采样率,2 类,9 名受试者]
数据集 3:
数据集 4: 《ECoG 中的手指运动》由 西雅图华盛顿大学物理和医学系( Kai J. Miller ) 和 纽约州卫生部沃兹沃斯中心 ( Gerwin Schalk ) 提供 个人屈曲期间的 ECoG 数据五个手指;使用数据手套获取的运动。 [48 - 64 ECoG 通道(0.15-200Hz),1000Hz 采样率,5 个类别,3 个科目]
融合模型
卷积神经网络CNN已成为最受欢迎的基于深度学习的网络作品,用于在几个不同任务中学习功能。与传统的机器学习算法不同,CNN不需要手动设计功能,它从原始数据中自动学习抽象特征进行分类,从而避免丢失有用信息。与通常有两个独立步骤(包括特征学习和分类)的经典框架相比,CNN可以学习特征,并同时由多层神经网络进行分类。
LSTM通常用于处理时间序列的非线性特征。LSTM的主要特点是存在三个门:忘记门、存储单元和输出门,这极大地提高了LSTM处理时间信息的能力。
(ps: Conv1D 不代表卷积核只有一维,也不代表被卷积的特征只有一维,而是指卷积的方向是一维的;flatten可以理解为把数据扯成一条)
由上述的描述我们可知,CNN网络和LSTM网络可以分别提取空间和时间特征。因此,本文提出了一种同时提取时空特征的特征融合网络方法。有两种网络结构:并行结构和串行结构。与串行结构相比,并行结构同时处理原始数据,这可以有效地从原始数据中提取更多的形成,并提高MI脑电图信号的分类精度。本文采取了并行结构,基于脑电图的时空特征,构建了一个CNN-LSTM并行结构模型,如上图所示, CNN由一个输入层、一个一维卷积层、一个可分离的卷积层和2个扁平层组成。LSTM由输入层、LSTM层和扁平层组成。最后,这两个部分被归类为完全连接的层。除此之外,这个混合模型使用直系线性单元(ReLU)激活和批量归一化(BN)来规范CNN中的激活函数。激活函数tanh用于LSTM。为了帮助规范模型,我们在每层中使用drop out(随机丢掉一些神经元),并将drop out设置为0.5,以帮助防止在小样本量训练时过度拟合。
将实验结果与其他论文进行比较,包括EEGNet算法[1]、Schirrmeister等人提出的ConvNet算法[2]、滤波器库时空卷积网络(FBSF-TSCNN)[3]、SRLDA算法[4]、CSP-LCD算法[5]、FBCSP-CNN-LSTM算法[6],获得如上结果。可以看出,本文的算法取得了最佳效果。此外,FFCL在所有九个受试者中的准确性一直优于EEGNet。
结论
本文提出了一种基于CNN和LSTM网络融合多级空间-时间特征的脑电图分类算法。提取和融合了空间特征、时间特征和中间层特征。它克服了传统机器学习算法的缺点,即无法人工调参。结果表明,与单个特征相比,融合特征具有更强的分离性和更高的分类精度。此外,即使在嘈杂的数据集上,融合特征的准确性也高于其他算法,这表明使用融合特征的算法可以提取更多信息进行分类,并且对不同主体具有很强的适应性。总之,本研究中提出的算法可以从脑电图信号中提取具有更强分离性的时空信息,并通过集成中层特征来提高MI脑电图信号的交流,这为脑电图信号分类研究提供了新的想法。
参考文献
[1] V.J. Lawhern, A.J. Solon, N.R. Waytowich, et al., EEGNet: A Compact Convolutional Network for EEG-based Brain-Computer Interfaces, J. Neural Eng. 15 (5) (2016), 056013.1-056013.17.
[2] R.T. Schirrmeister, L. Gemein, K. Eggensperger, et al., Deep learning with convolutional neural networks for decoding and visualization of EEG pathology, Hum. Brain Mapp. 38 (11) (2017) 5391–5420. [3] Chen J, Yu Z L, Gu Z, et al. Deep Temporal-Spatial Feature Learning for Motor Imagery-Based Brain–Computer Interfaces. in: IEEE transactions on neural systems and rehabilitation engineering: a publication of the IEEE Engineering in Medicine and Biology Society, 2020, PP(11). [4] Luis F. Nicolas-Alonso, Rebeca Corralejo, Javier Gomez-Pilar, Daniel Alvarez, Roberto Hornero, Adaptive stacked generalization for multiclass motor imagery- based brain computer interfaces, IEEE Trans. Neural Syst. Rehab. Eng. A Publication IEEE Eng. Med. Biol. Society 23 (4) (2015) 702–712. [5] Qingsong Ai, Anqi Chen, Kun Chen, Quan Liu, Tichao Zhou, Sijin Xin, Ze Ji, Feature extraction of four-class motor imagery EEG signals based on functional brain network, J. Neural Eng. 16 (2) (2019), 026032.1-026032.14. [6] Ruilong Zhang, Qun Zong, Liqian Dou, Xinyi Zhao, A novel hybrid deep learning scheme for four-class motor imagery classification, J. Neural Eng. 16 (6) (2019), 066004.1-066004.11.
仅用于学术分享,若侵权请留言,即时删侵!
推荐内容
- 天天新资讯:CNN+LSTM--一种运动想象分类
- 环球快看:得数
- 热门看点:河口_说一说河口的简介
- 环球微速讯:纳堵墙!战曼城纳瓦斯数据:
- 【环球新要闻】宁夏一季度开工重大项目达
- 世界微速讯:河南一本大学有哪些学校2022
- 【快播报】天官赐福 未删减肉-天官赐福
- 微资讯!今天最新消息 动力电池城市“争
- 最新资讯:2023云南高三第一次统测英语试
- 天天关注:晚餐勺子和茶匙有什么区别?
- 每日视点!网名独特双字霸气男 两个字男
- 环球要闻:21℃6℃!下周冷空气带着风雨
- 环球关注:我们正出发!一组数据带你感受
- 环球观天下!比美国“毒列车”更灾难的,
- 每日讯息!威诚国际控股(08107.HK)2月17
- 时讯:内蒙一机(600967)2月17日主力资
- 环球观察:日均客运量恢复 民航业加速复
- 环球看热讯:美国灾难片2012国语版_美国
- 天天视讯!为方便过马路乘车 老人欲从护
- 每日看点!钟丽缇谈离婚_钟丽缇离婚
- 【新视野】药店纳入门诊统筹管理 连锁龙
- 天天热讯:站好“护学岗”,护航开学季
- 每日消息!华的读音的读法
- 【世界聚看点】情碎的天空在线观看_情碎
- 世界快消息!美研究:美国警察暴力持续不
- 精彩看点:铜陵新型冠状病毒肺炎疫情:2月
- 消息!国脉文化2月16日盘中涨停
- 每日聚焦:菲律宾中部发生6.1级地震
- 焦点快播:超118亿件 金华(义乌)市蝉
- 环球热头条丨哈师大附中怎么样
- 天天热点!演员王阳,王阳个人资料,王阳
- 每日热门:申报即担责 全面注册制加速中
- 世界热讯:纳瓦·君拉纳拉资料,纳瓦·君
- 【世界热闻】提问:和宿舍其他人处不来怎
- 焦点快看:女子组合IZONE宣布解散 限定
- 环球快资讯:风衣+裙子的穿搭,层次感更强
- 当前消息!千亿网红基金公司又出大事,通
- 当前看点!2020元宵晚会央视节目单 2020
- 每日看点!个人投资者可以买债券吗
- 世界今头条!昆明西山公安砥砺担当 平安
- 环球时讯:圆脸绑什么头发好看 5款适合
- 当前头条:莱美药业:公司研发人数相关情
- 世界热文:二十四小时快报:深圳:2022年
- 环球速看:重庆市废弃电器电子产品回收有
- 世界速看:黄瓜拉皮的做法步骤
- 天天热议:抗洪抢险争先锋用心用情来帮扶
- 【世界新视野】“烟火气”从早市开始
- 天天视讯!in case引导的状语从句
- 天天快播:孕妇能吃杨桃吗孕晚期_孕妇能
- 每日热门:用淡字组词_基本定义_详细解释
- 热点!超极本和笔记本的区别_超极本和笔
- 天天讯息:吃什么可以防止老年斑
- 当前播报:天津集中签约36个制造业项目
- 天天快播:我们再也回不去了散文随笔
- 动态焦点:耐磨板_说一说耐磨板的简介
- 世界快报:国泰君安: 国泰君安证券股份有
- 全球消息!上海老港镇携手爱心人士关爱困
- 每日热点:六年级上册数学第一单元知识点
- 天天热资讯!成人礼物家长送什么好
- 每日看点!31省份新增本土“1284+21711”
- 【新视野】药店纳入门诊统筹管理 连锁龙
- 天天热讯:站好“护学岗”,护航开学季
- 每日消息!华的读音的读法
- 【世界聚看点】情碎的天空在线观看_情碎
- 世界快消息!美研究:美国警察暴力持续不
- 精彩看点:铜陵新型冠状病毒肺炎疫情:2月
- 消息!国脉文化2月16日盘中涨停
- 每日聚焦:菲律宾中部发生6.1级地震
- 焦点快播:超118亿件 金华(义乌)市蝉
- 环球热头条丨哈师大附中怎么样
- 天天热点!演员王阳,王阳个人资料,王阳
- 每日热门:申报即担责 全面注册制加速中
- 世界热讯:纳瓦·君拉纳拉资料,纳瓦·君
- 【世界热闻】提问:和宿舍其他人处不来怎
- 焦点快看:女子组合IZONE宣布解散 限定
- 环球快资讯:风衣+裙子的穿搭,层次感更强
- 当前消息!千亿网红基金公司又出大事,通
- 当前看点!2020元宵晚会央视节目单 2020
- 每日看点!个人投资者可以买债券吗
- 世界今头条!昆明西山公安砥砺担当 平安
- 环球时讯:圆脸绑什么头发好看 5款适合
- 当前头条:莱美药业:公司研发人数相关情
- 世界热文:二十四小时快报:深圳:2022年
- 环球速看:重庆市废弃电器电子产品回收有
- 世界速看:黄瓜拉皮的做法步骤
- 天天热议:抗洪抢险争先锋用心用情来帮扶
- 【世界新视野】“烟火气”从早市开始
- 天天视讯!in case引导的状语从句
- 天天快播:孕妇能吃杨桃吗孕晚期_孕妇能
- 每日热门:用淡字组词_基本定义_详细解释
- 热点!超极本和笔记本的区别_超极本和笔
- 天天讯息:吃什么可以防止老年斑
- 当前播报:天津集中签约36个制造业项目
- 天天快播:我们再也回不去了散文随笔
- 动态焦点:耐磨板_说一说耐磨板的简介
- 世界快报:国泰君安: 国泰君安证券股份有
- 全球消息!上海老港镇携手爱心人士关爱困
- 每日热点:六年级上册数学第一单元知识点
- 天天热资讯!成人礼物家长送什么好
- 每日看点!31省份新增本土“1284+21711”
- 全球微资讯!兰州市城管委:以雪为令齐行
- 今日热讯:元气森林停止“狂飙”
- 前沿热点:受宏观及消息面博弈影响镍价将
- 天天热消息:福勒效应_关于福勒效应的介绍
- 世界速递!甘肃辰阳农业:卯足干劲开新局
- 天天热议:鬼笔菌是什么
- 全球今日报丨分手礼物送啥送男生
- 每日速读!帝火by酥油饼人物介绍
- 头条焦点:链子刀的伸缩原理_链子刀
- 世界快讯:送女生什么东西好
- 消息!郑州卫健委:新冠肺炎是自限性疾病
- 每日观察!这个金句,传到土耳其了
- 聚焦:015期江维大乐透预测奖号:前区奖
- 世界热头条丨需多套废气治理系统 沪东中
- 观点:救援日记:已救出7位幸存者,地中
- 环球实时:农民主体 热在乡村 乐在群众
- 环球今亮点!北京大学远程教育学院官网_
- 环球要闻:10小男孩送什么礼物好
- 天天看点:绿魔仙是不是美琪姐姐_美琪人
- 全球动态:赶的笔顺结构_赶的笔顺