查看原文
其他

HBM︱时空图卷积神经网络利用大脑功能性连接进行阿兹海默症的诊断

单小彩等 逻辑神经科学 2023-03-10


撰文单小彩,曹骏,赵一帆

责编︱王思珍

辑︱杨彬伟


阿尔茨海默病Alzheimer's disease AD)是最常见的一种痴呆症,可导致记忆丧失和认知障碍。根据世界卫生组织的数据,目前有超过5500万人被诊断出患有某种类型的痴呆症[1, 2]。全球老龄化的加剧,对更有效、更准确的AD诊断技术提出了更高的要求。脑电图EEG)是一种用于研究大脑的生物电功能改变和退化的诊断方法,可直接访问神经元信号,具有几个独特优势:无创性、高时间分辨率、广泛的可用性和低成本[3,4]。人脑的功能性连接functional connectivityFC)可表征皮层区域之间信息流的统计相关性,对研究内在大脑网络及其功能机制具有重要意义。因为通道在空间域中是离散和不连续的,EEG的结构决定了功能性连接网络是非欧几里得数据,每个EEG通道可视为一个节点,节点之间存在跨通道交互。相比于传统卷积神经网络,基于几何图的深度学习方法更合适用于学习EEG的跨通道拓扑相关特征。图卷积神经网络graph convolutional neural networkGCN)通过挖掘图域中特定节点的顺序特征和跨节点拓扑关联特征,可以有效处理高度复杂的具有时空交互关系的图数据。虽然GCN开始吸引大量的学术关注,但是目前基于 GCN相关模型并利用FC特征的AD诊断方法还处于行业空白。


2022625日,英国克兰菲尔德大学的赵一帆团队在Human Brain Mapping上发表了题为“Spatial-Temporal Graph Convolutional Network for Alzheimer Classification based on Brain Functional Connectivity Imaging of EEG”的文章引入了一种新型时空GCNspatial-temporal graph convolutional neural networkST-GCN)算法对健康人和AD患者进行分类。与现有的单独基于脑功能拓扑特征或脑电图时序特征的研究不同,所提出的ST-GCN可同时挖掘脑电图通道间的功能性连接拓扑特征和脑电图特定通道的动态特征。与传统的卷积神经网络不同,所提出的ST-GCN充分利用了表征功能连通性的邻接矩阵信息。在临床EEG数据集(AD 患者和健康对照组)上的测试结果表明,所提出的方法比最先进的方法实现了更好的分类性能(92.3%)。



EEG信号携带的空间拓扑交互信息在AD/对照组(HC)分类中起着重要作用[5-8]。如图1所示,ST-GCN模型的输入为:每个数据段表示空间拓扑相关性的邻接矩阵W R×以及通道信号X R×M。具体来说,每个通道的原始EEG信号和通道之间的关联由图(Graph)建模。图中的节点表示EEG信号的特征向量,即原始的EEG数据。邻接矩阵的第Wi, j个条目表示第i个和第j个通道之间的空间耦合强度,W表示所有通道都以不同的权重相互连接。在一些基于GCN的脑疾病研究中[9-13]EEG的通道缺乏有效的先验引导,邻接矩阵不能有效利用各通道之间耦合信息。为解决这些问题,我们首先应用已被证明在AD分类中有用的功能连接来构建自适应邻接矩阵以提取空间耦合特征。邻接矩阵是通过皮尔逊相关分析(Pearson Correlation,PC)和其它五种FC方法构建的,没有任何预设阈值,以避免人工选择带来的潜在风险。五种FC方法包括时域中的锁相值(Phase Locking Value,PLV)相位滞后指数(Phase Lag Index,PLI)、频域中的幅值平方相干性(Magnitude Squared Coherence,MSC)相干虚部(Imaginary Part of Coherence,IPC)以及时频域的小波相干性(Wavelet Coherence,WC)

图1a所示,所提出的ST-GCN架构由两个时空卷积块(ST-Conv Blocks)组成,每个ST-Conv块由一个空间图卷积层(Spatial Graph-Conv)和两个顺序卷积层(Temporal 1D-Conv)组成。ST-Conv块可以根据具体情况的复杂程度进行堆叠。在每个ST-Conv块中都使用层归一化来防止过度拟合。具有邻接矩阵W的EEG通道X由ST-Conv Blocks统一处理,以连贯地探索空间和时间依赖性。特征拉平层(flattened features)集成了综合特征以生成最终的AD/HC分类。为了比较,作者设计了图1b所示的经典时间卷积神经网络(T-CNN)结构,其灵感来自一些相关工作[14-16]这两种模型结构的区别在于T-CNN在输入端只有EEG通道X,没有邻接矩阵W,而且T-CNN中间的特征层没有使用空间图卷积单元。T-CNN的其他方面与ST-GCN相同


图1(a)提出的 ST-GCN 框架和(b)用于比较的 T-CNN 框架的流程图。

(图源:Shan et al., Hum Brain Mapp, 2022)


为了比较ST-GCNT-CNN模型的性能,使用提取的6FC邻接矩阵,在睁眼和闭眼状态的六个频段上独立训练模型,对ADHC进行分类结果比较表1和表2分别显示了ST-GCN和T-CNN模型的相应测试精度。对于这两类模型,闭眼状态下所有频段和邻接矩阵计算方法的分类精度均高于对应的睁眼状态。对于不同频段,当以1-48 Hz全频段信号和对应的邻接矩阵作为输入时,ST-GCN的平均分类准确率约为91.1 %(均高于所有子带数据),而T-CNN的平均分类准确率约为88.0 %。对于ST-GCN在分频段数据上的效果,Beta波段数据的平均分类准确率最高(闭眼约82.3 %,睁眼约77.7 %),Delta波段数据平均分类准确率最低(闭眼约73.1 %,睁眼约71.0 %)。对于T-CCN在分频段数据上的效果,Alpha波段数据的平均分类准确率最高(睁眼和闭眼约为 76.8 %),Delta波段数据的平均分类准确率最低(闭眼和睁眼约为68.6 %)。总体而言,ST-GCN睁眼闭眼状态和几乎所有子带数据上都优于T-CNN,这表明空间拓扑约束确实可以挖掘EEG特征,从而提高分类精度。


表1 使用不同邻接矩阵的ST-GCN 在6个波段内的闭眼和睁眼状态中的HC和AD分类精度。

(表源:Shan et al., Hum Brain Mapp, 2022)


表2 使用不同邻接矩阵的T-CNN 在6个波段内的闭眼和睁眼状态中的HC和AD分类精度。

(表源:Shan et al., Hum Brain Mapp, 2022)


值得注意的是,对于不同的邻接矩阵计算方法,WC方法的分类精度优于其他所有方法,这证明了时频分析提取通道间耦合特征的有效性。对于ST-GCN,五种功能连接方法的整体精度高于PC方法,说明使用功能连接作为邻接矩阵可以在一定程度上提高ST-GCN模型的性能。


图 2 ADs 和 HCs 的平均 WC 邻接矩阵

(表源:Shan et al., Hum Brain Mapp, 2022)


图3 阈值为0.15时,ADs和HCs的平均WC邻接矩阵

(表源:Shan et al., Hum Brain Mapp, 2022)


为了进一步探索具有最佳分类性能的WC作为邻接矩阵的有效性,作者对所有AD 和HC 的WC进行了统计分析。如图2所示,通过分别对AD和HC的所有睁眼和闭眼数据段的全频段的WC邻接矩阵进行平均,可以分析它们的统计特征。对于AD,闭眼状态在颞枕区(邻接矩阵的中间部分)的耦合强度略高于睁眼,而对于HC,闭眼状态的整体耦合强度略高于睁眼。对于睁眼和闭眼,AD的最强通道间相关性小于0.8(图2左侧两个图像的中间部分—颞枕区),而HC有一些通道间相关性接近1(图2右侧两个图像的左前中央和右下后区域)。对于睁眼和闭眼,ADs通道之间的连接性低于右下角(后部区域)的HCs。为了直观地显示睁眼和闭眼状态左下角的通道之间的连通性,作者对图2中左侧的两个AD邻接矩阵进行阈值化,以筛选出连通性低于0.15 的通道,图3展示了HC相应的索引显示。


图 4 ADs睁眼状态的平均WC邻接矩阵的3D脑映射

(表源:Shan et al., Hum Brain Mapp, 2022)


图 5 HCs睁眼状态的平均WC邻接矩阵的3D脑映射

(表源:Shan et al., Hum Brain Mapp, 2022)


通过软件BrainNet,作者针对睁眼状态(图4, 图5)和闭眼状态(图6, 图7)直观地显示了AD和HC大脑中的3D连接分布。比较睁眼状态的图4和图5,HC在大脑前部和后部的通道之间的连接性远高于AD。HC的P4-O2到T6-O2通道连接性和F4-Fz到Fz-Cz的通道连接性具有最高的耦合强度(接近 0.6),而AD相应的两种耦合强度接近于0。通过比较闭眼状态的图6和图7,可以观察到HC在大脑后部通道之间的连接性远高于AD。对于HC,C3-Cz到P3-O1和P3-O1到T6-O2的耦合强度最高(接近0.6),而AD的相应耦合强度低至0.1。


图 6 ADs闭眼状态的平均WC邻接矩阵的3D脑映射

(表源:Shan et al., Hum Brain Mapp, 2022)


图 7 HCs闭眼状态的平均WC邻接矩阵的3D脑映射

(表源:Shan et al., Hum Brain Mapp, 2022)


文章结论与讨论,启发与展望
作者提出了一个时空图卷积网络(ST-GCN),通过联合利用脑电图(EEG)记录的跨通道拓扑关联特征和通道时序特征来对阿尔茨海默病(AD)和健康对照组(HC)进行分类。与目前用于诊断大脑疾病的领先GCN应用不同,该方法利用大脑功能连接方法来探索EEG通道之间的复杂交互信息。这项工作的主要目标是探索受功能连通性约束的跨通道拓扑关联特征是否可以揭示脑电波数据中更多对疾病分类有效的隐藏信息,并扩展GCN算法的适用性。对于临床AD和HC的EEG 数据集,ST-GCN在以小波相干作为邻接矩阵的情况下,可实现最高分类精度。对于测试数据集,ST-GCN的整体分类精度在睁眼闭眼状态和不同频段上都高于经典的 T-CNN方法,这表明空间拓扑约束确实可以挖掘脑电波特征,从而提高分类精度。与现有基于脑电图功能连接特征[17-21] 或时间动态特征[14-16, 22, 23]的AD诊断研究不同,所提出的ST-GCN考虑了EEG通道的功能连接信息和相应EEG通道的动态特征。ST-GCN不仅可在局部区域的频率响应中,而且也可能在跨区域的功能连接中发现AD的异常。此外,小波相干邻接矩阵的可视化,在功能连接方面提供了AD大脑异常的证据,增加了该解决方案的透明度。这项研究很重要,因为它将增加对基于人工智能已开发的解决方案的信任。该算法为其他脑部疾病的应用奠定了潜在的有效策略。


在本研究中,由于数据集中的受试者数量有限,为了避免因数据不足而导致的偏颇结论,没有讨论留一法或跨受试者验证。ST-GCN和T-CNN在跨受试者验证中的准确性可以在补充材料中找到。尽管这两种方法的整体准确度都显着下降,但所提出的ST-GCN仍然优于T-CNN。


原文链接https://onlinelibrary.wiley.com/doi/10.1002/hbm.25994


人才招聘
【1】人才招聘︱“ 逻辑神经科学 ”诚聘文章解读/撰写岗位 ( 网络兼职, 在线办公)
往期文章精选【1】J Neuroinflammation︱武庆平课题组揭示神经病理性疼痛的持续神经元敏感化和神经炎性的重要机制【2】Neurosci Bull 综述︱构建神经管类器官的研究进展和挑战【3】J Neuroinflammation︱曹嵩课题组揭示激活蓝斑-脊髓去甲肾上腺素能神经元通过减少脊髓背角神经炎症缓解小鼠疼痛【4】STTT︱金力/邹云增/李立亮合作揭示1型大麻素受体拮抗剂减轻抗精神病药诱导的心肌焦亡及毒性【5】Nat Neurosci︱突破!钾通道视紫红质是介导光遗传学抑制的天然光门控钾通道【6】Acta Neuropathol︱陈础课题组揭示创伤性脑损伤促进阿尔茨海默病发展的关键因子【7】Neurosci Biobehav Rev︱唐向东团队探索PTSD夜间梦魇的药物治疗与心理治疗疗效【8】Cell Biosci︱易立涛/朱继孝团队合作揭示IL-1R/C3aR通路调控抑郁症突触修剪的作用机制Neurosci 【9】Cereb Cortex︱王群/胡文瀚/王茜团队合作揭示受言语可懂度调控的两阶段听皮层加工机制【10】Mol Neurobiol︱刘振华课题组揭示DNAJ家族基因在帕金森病中的作用
优质科研培训课程推荐【1】膜片钳与光遗传及钙成像技术研讨会 8月6-7日 腾讯会议



参考文献(上下滑动阅读) 

[1]   R. Brookmeyer, S. Gray, and C. Kawas, “Projections of Alzheimer’s disease in the United States and the public health impact of delaying disease onset.,” Am. J. Public Health, vol. 88, no. 9, pp. 1337–1342, 1998. 

[2]  R. Brookmeyer, E. Johnson, K. Ziegler-Graham, and H. M. Arrighi, “Forecasting the global burden of Alzheimer’s disease,” Alzheimer’s Dement., vol. 3, no. 3, pp. 186–191, 2007

[3]   U. Smailovic et al., “Quantitative EEG power and synchronization correlate with Alzheimer’s disease CSF biomarkers,” Neurobiol. Aging, vol. 63, pp. 88–95, 2018.

[4]   C. M. Michel, T. Koenig, D. Brandeis, L. R. R. Gianotti, and J. Wackermann, Electrical neuroimaging. Cambridge University Press, 2009.

[5]   F. Babiloni et al., “Estimation of the cortical functional connectivity with the multimodal integration of high-resolution EEG and fMRI data by directed transfer function,” vol. 24, pp. 118–131, 2005, doi: 10.1016/j.neuroimage.2004.09.036.

[6]  V. Sakkalis, “Review of advanced techniques for the estimation of brain connectivity measured with EEG/MEG,” Comput. Biol. Med., vol. 41, no. 12, pp. 1110–1117, 2011, doi: 10.1016/j.compbiomed.2011.06.020

[7]  T. F. Tafreshi, M. R. Daliri, and M. Ghodousi, “Functional and effective connectivity based features of EEG signals for object recognition,” Cogn. Neurodyn., vol. 13, no. 6, pp. 555–566, 2019, doi: 10.1007/s11571-019-09556-7.

[8]  P. van Mierlo et al., “Functional brain connectivity from EEG in epilepsy: Seizure prediction and epileptogenic focus localization,” Prog. Neurobiol., vol. 121, pp. 19–35, 2014, doi: 10.1016/j.pneurobio.2014.06.004.

[9]   S. Zhang, D. Chen, Y. Tang, and L. Zhang, “Children ASD Evaluation Through Joint Analysis of EEG and Eye-Tracking Recordings With Graph Convolution Network,” Front. Hum. Neurosci., vol. 15, 2021. 

[10]  D. Zeng, K. Huang, C. Xu, H. Shen, and Z. Chen, “Hierarchy graph convolution network and tree classification for epileptic detection on electroencephalography signals,” IEEE Trans. Cogn. Dev. Syst., 2020.

[11]   Y. Zhao et al., “EEG-Based Seizure detection using linear graph convolution network with focal loss,” Comput. Methods Programs Biomed., vol. 208, p. 106277, 2021..

[12]  Y. Li, Y. Liu, Y.-Z. Guo, X.-F. Liao, B. Hu, and T. Yu, “Spatio-Temporal-Spectral Hierarchical Graph Convolutional Network With Semisupervised Active Learning for Patient-Specific Seizure Prediction,” IEEE Trans. Cybern., 2021.

[13]  X. Chen, Y. Zheng, Y. Niu, and C. Li, “Epilepsy Classification for Mining Deeper Relationships between EEG Channels based on GCN,” in 2020 International Conference on Computer Vision, Image and Deep Learning (CVIDL), 2020, pp. 701–706.

[14]   L. D. Deepthi, D. Shanthi, and M. Buvana, “An intelligent Alzheimer’s disease prediction using convolutional neural network (CNN),” Int. J. Adv. Res. Eng. Technol., vol. 11, no. 4, pp. 12–22, 2020.

[15]  K. Li et al., “Feature Extraction and Identification of Alzheimer’s Disease based on Latent Factor of Multi-Channel EEG,” IEEE Trans. Neural Syst. Rehabil. Eng., vol. 29, pp. 1557–1567, 2021.

[16]  C. J. Huggins et al., “Deep Learning of resting-state electroencephalogram signals for 3-class classification of Alzheimer’s Disease, Mild Cognitive Impairment and Healthy Ageing,” J. Neural Eng., 2021

[17]   M. Jalili, “Graph theoretical analysis of Alzheimer’s disease: Discrimination of AD patients from healthy subjects,” Inf. Sci. (Ny)., vol. 384, pp. 145–156, 2017. 

[18]  L. Tylová, J. Kukal, V. Hubata-Vacek, and O. Vyšata, “Unbiased estimation of permutation entropy in eeg analysis for alzheimer’s disease classification,” Biomed. Signal Process. Control, vol. 39, pp. 424–430, 2018..

[19]   M. Fan, A. C. Yang, J.-L. Fuh, and C.-A. Chou, “Topological pattern recognition of severe Alzheimer’s disease via regularized supervised learning of EEG complexity,” Front. Neurosci., vol. 12, p. 685, 2018..

[20]  Y. Zhao et al., “Imaging of nonlinear and dynamic functional brain connectivity based on EEG recordings with the application on the diagnosis of Alzheimer’s disease,” IEEE Trans. Med. Imaging, vol. 39, no. 5, pp. 1571–1581, 2019.

[21]  L. Tait et al., “EEG microstate complexity for aiding early diagnosis of Alzheimer’s disease,” Sci. Rep., vol. 10, no. 1, pp. 1–10, 2020.

[22]  X. Bi and H. Wang, “Early Alzheimer’s disease diagnosis based on EEG spectral images using deep learning,” Neural Networks, vol. 114, pp. 119–135, 2019.

[23]  C. Ieracitano, N. Mammone, A. Bramanti, A. Hussain, and F. C. Morabito, “A convolutional neural network approach for classification of dementia stages based on 2D-spectral representation of EEG recordings,” Neurocomputing, vol. 323, pp. 96–107, 2019



本文完

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存