功能磁共振成像fMRI作为一种非侵入式的成像技术，可通过测量血氧信号的变化探究大脑功能活动，为无创研究活体人脑的功能组织规律和网络运作机制提供了重要手段。独立成分分析(ICA)作为一种重要的fMRI分析方法，具有数据自适应、源分离精度高、复现性强等特点，可用于提取空间独立成分(Independent Component，IC)和时间序列(Time Courses, TC)，并基于此计算静/动态功能网络连接(Functional Network Connectivity, FNC), 上述特征被广泛应用于精神疾病的理解、比较与分类研究中。其中时间序列TC反映了特定脑区随时间的动态活动变化，而功能网络连接FNC体现了多个脑网络之间的功能耦合性。虽然已有针对上述单独特征的深度学习模型成功应用，但TC与FNC之间的互补信息尚未被充分挖掘，而这些潜在的互补信息有望提升精神疾病基于客观影像学区别诊断的精度。
受此启发，北京师范大学认知神经科学与学习国家重点实验室隋婧课题组提出了HDLFCA框架(Hybrid Deep Learning Framework integrating brain Connectivity and Activity), 巧妙融合脑活动时序变化与功能连接的信息。一方面采用C-RNN模型挖掘TC数据的时间动态相关性；另一方面采用DNN模型学习脑功能网络之间的相关性；最后将两者的预测输出拼接，通过逻辑回归得到最终的判别结果。为提高算法的可解释性，C-RNN和DNN中又分别引入了注意力机制模块(attention map)和逐层相关传播算法(layer-wise relevance propagation, LRP)，用以确定重要的贡献脑区和功能连接，见图1。
HDLFCA框架在基于精神分裂症(SZ, n=1100) 和孤独症(ABIDE, n=1522)的两种数据集上与十余种算法模型进行了对比测试，均取得了更优的精度。该工作于2022年3月17日在线发表于医学影像权威期刊Medical Image Analysis,题为“An attention-based hybrid deep learning framework integrating brain connectivity and activity of resting-state functional MRI data” (https://authors.elsevier.com/c/1elgR4rfPmACCC)。
1) HDLFCA方法在SZ数据集和ABIDE数据集分别取得了85.1%和72.4%的准确率，优于基于单一特征的12种模型(2.8%-8.9% in accuracy)，如图2，证实了融合时间动态和功能连接的必要性。2) 算法引入的注意力机制模块不仅可以寻找重要脑区，还进一步加强了特征学习，提高了分类性能(1% in accuracy)。除此之外，鉴于动态功能连接(Dynamic FNC)同时含有时间动态信息和脑区间的耦合信息，本研究进一步对比了基于DFNC的方法，结果表明HDLFCA同样优于基于DFNC的深度学习模型。3) 在SZ分类任务中，注意力机制发现的重要脑活动异常主要集中于纹状体、小脑、前扣带回等区域。LRP找到的重要的功能连接主要集中在默认网络与前额叶网络、默认网络与注意力网络之间，如图3，与前期文献发现高度吻合。图2 不同模型的分类性能比较：(A) SZ数据集上的multi-site pooling实验; (B) ABIDE数据集上的mulit-site pooling实验; (C) SZ数据集上基于AAL模板提取的特征作为模型输入的实验; (D) SZ数据集的leave-one-site-out实验图3. 对SZ分类具有重要贡献的特征: A. LRP模块发现的top 50/top 70/top 100重要的功能连接; B. 注意力模块在100次重复性实验中找到的top 10重要脑区的频率分布直方图。综上所述，本文提出的HDLFCA模型基于ICA方法充分整合了脑活动时序变化与脑网络功能连接的互补性信息，具备较好的可解释性，有望广泛应用于多种精神疾病的早期预警和区别诊断。该论文第一作者为赵敏同学, 现为中国科学院自动化研究所和国科大在读博士生; 通讯作者为北京师范大学认知神经科学与学习国家重点实验室隋婧教授。本研究获得了多项国家自然科学基金的支持。原文链接：https://www.sciencedirect.com/science/article/pii/S13618415220006521. Zhao M, et al. (2022) An attention-based hybrid deep learning framework integrating brain connectivity and activity of resting-state functional MRI data. Medical Image Analysis 78:102413.
2. Yan W, et al. (2019) Discriminating schizophrenia using recurrent neural network applied on time courses of multi-site FMRI data. EBioMedicine 47:543-552.
3. Xu M, et al (2021) Brain Imaging-Based Machine Learning in Autism Spectrum Disorder: Methods and Applications. J Neurosci Methods: 109271.
4. Zhao J, et al. (2020) Functional network connectivity (FNC)-based generative adversarial network (GAN) and its applications in classification of mental disorders. J Neurosci Meth 341.
5. Gao S, Calhoun VD, & Sui J (2018) Machine learning in major depression: From classification to treatment outcome prediction. CNS Neurosci Ther 24 (11):1037-1052.