神经影像中预测建模的十项简单规则(一)
关注上方“功能磁共振”即可查看更多原创文章，文末浏览近期脑影像相关课程及服务。
文末阅读原文，即可获得文献英文原文。
文章简介：文章为耶鲁大学Dustin Scheinost等人在2019年发表于神经影像杂志NeuroImage，文章提出了神经影像中预测模型建模的十项规则，希望更多的研究者对神经影像进行预测建模。
简介
众多影像研究的初级目标就是将个体表型与大脑组织方式联系起来，但往往通过大脑-行为之间的关系建模，这些模型大多是解释模型，这种分析通常不会推广到新的个体，并且临床效力不足。因此，研究者们开始建立预测模型，预测神经影像数据中表型的个体差异。
因此，本篇文章作者提出了十项简单规则，鼓励更多的研究者使用这些方法。总体上可以分为几个部分：
（1）为什么使用独立数据验证预测模型以及如何验证？（rule#1— #4）
（2）评估模型性能；(rule#5 — #7)
（3）对混淆结果的考虑以及解释结果。（rule#8 — #10）
首先，以fMRI为例回顾预测模型研究
在神经影像背景下，预测建模的目标通常是：通过神经成像数据（例如，功能连接矩阵）估计个体的状态或特质（表型）。大部分研究会以如下的方式进行分析：
（1）首先，将神经影像数据以及相应的表型数据分成独立的训练集和测试集。表型数据可以为二分变量，如组中的成员关系。也可以为连续变量，如IQ或者临床症状。
（2）接下来，选取算法，并在数据集中选择最为相关的特征，应用这些特征产生数学函数或模型，将高维神经影像数据映射到低维表型数据上。
（3）最后，通过测试数据集评估该模型的表现或预测力。
常用预测模型建模算法有：支持向量机/回归（support vector machines/regression , SVM/R）、偏最小二乘回归（partial least squares regression, PLSR）、神经网络（neural networks）、惩罚回归（penalized regression）、随机森林（random forests）。
下图是10项规则的简图，后文将做出详细解释。
rule #1 使用额外样本预测，生成更准确和更普遍的模型
解释模型在文献中最为常见，得到大脑和表型测量之间有趣的关联，但这些发现通常不会推广到其他样本。相比之下，对预测建模的一个共同关注点是，所得到的模型经常极少地解释预测测量中的变异，尤其是与解释模型得到的结果相比。造成这种现象的两个主要原因是过度拟合和小的样本量。过度拟合或是错误将样本特异性的噪音当做信号，克服这种现象的方法有降低与数据点相关的模型的自由度，以及更大的数据集也可以降低过度拟合的可能性。
rule# 2 保持训练数据和测试数据的独立性
预测模型的独特之处在于它们可以预测新的数据，并具有一定的概括能力。而训练集是用于确定模型，测试集用于评估模型，二者之间必须保持独立。举一个具体例子，用全部100名被试的数据，使用ICA（独立成分分析）定义功能网络，并且将症状严重程度得分标准化，再使用K折交叉验证（将全集分为测试集和训练集），这时候训练集和测试集功能连接网络是不独立的，测试集和训练集症状标准化得分也是不独立的。为了防止这样的缺陷产生，可以问如下一个问题：如果根本没有收集过测试数据，那么模型是否会有不同？，如果答案是不发生变化，则模型将不受到污染。
rule #3 使用内部验证（即交叉验证）作为验证预测模型的实用解决方案
内部验证，也称为交叉验证，是指将单个数据集划分为独立样本的验证策略：用于构建模型的训练数据以及用于测试模型的普遍性。但选用内部验证方式时需要注意。由于再获取一批独立的外部数据集十分困难，所以常常需要将一个数据集分为训练集和测试集，常用的方法是K折（K-fold）交叉验证、leave-one-out（留一个数据）以及split-half（平分数据集）。
K折交叉验证：将原始数据集随机分为K个大小相等，单不重叠的子集，接下来K-1数据集用做训练集，余下一个子集作为测试集。然后将子集的分配作为训练和测试数据的过程重复K次，其中每个K子集仅作为测试数据使用一次。然后对来自训练和测试数据的每个组合的预测性能进行平均，得到对预测性能的评估。而leave-one-out是K=被试数的情况，split-half是K=2的情况。
虽然大多数情况下K折交叉验证是一种默认策略，但K的选择需要慎重考虑。增加K，会减小误差(bias)，即预测值与真实值之间的差异，但与此同时，K的增加将带来方差(varaiance)增加，即模型由不同训练数据引起变化的敏感性。下图展示了不同交叉验证方法偏差(bias)—方差(varaince)之间的权衡。总的来说，对于大多数情况，K的选择与样本大小成反比，较低的K值适用于较大的样本量。
图 (A)可变训练数据大小或(B)恒定训练数据大小时不同交叉验证方法的标准化MSE（均方误差）的比较。
图A 使用来自人类连接组（HCP）数据集中500个个体进行200次迭代随机抽样，使用基于连通的预测建模（CPM）来预测流体智力（PMAT），采用4种不同的交叉验证策略（图中从左至右）：split-half（分半），5-fold，10-fold和leave one out（LOO）交叉验证。对于每种策略，训练数据的大小是可变的（即总样本保持不变），分数半交叉验证时训练集N = 250，leave one out训练集N = 499。所有交叉验证策略都提供类似的预测性能，但对于数量更多的训练数据，leave one out交叉验证表现最佳。
图B 相反，当200次迭代随机抽样，但保持训练数据中的个体数量恒定时（N = 180），即每个策略的总样本是可变的，leave one out验证表现出最大的性能差异。此外，分半交叉验证表现出最小的性能差异。这些数据证明了不同交叉验证策略的偏差—方差权衡。
rule #4 共享数据，代码和模型，以促进外部验证和开放科学
虽然交叉验证提供了验证预测模型的实用方法，但最大化模型概括性的是使用独立收集的或外部数据集作为测试数据，这种类型的验证称为外部验证。使用这种方法，研究人员可以在收集或下载测试数据之前训练模型，可能在出版物或其他出口预先注册模型，与其他研究者共享模型来进行独立验证。在这种情况下，测试数据不可能影响预测模型，更重要的是，通过不同数据集验证模型，有助于识别出数据集依赖的不适合特征。
参考文献（阅读原文即可获得）
Scheinost, D., Noble, S., Horien, C., Greene, A. S., Lake, E. M., Salehi, M., … Barron, D. S. (2019). Ten simple rules for predictive modeling of individual differences in neuroimaging. NeuroImage, 193, 35–45.
培训信息
科研服务
灌注数据处理服务
EEG/ERP数据处理服务
脑电数据预处理：使用EEGLAB对Neuroscan、Brain Products、EGI、ANT、Biosemi等主流脑电设备采集的脑电数据进行预处理。
ERP成分统计分析：提取ERP成分的波幅和潜伏期，并进行统计分析。
EEG频谱分析：使用傅里叶变换的方法计算脑电各个频段的功率，并进行统计分析；使用短时傅里叶变换、小波变换和希尔伯特变换的方法进行脑电时频分析（如ERD/ERS分析、试次间相位同步分析）。
基于sLORETA的脑电源分析：ERP成分源定位；特定频段EEG源定位；源空间的脑功能连通性分析。
功能连通性分析：使用相关、相干、相位锁定值和格兰杰因果分析研究电极之间功能连通性。
近红外数据处理服务
PET数据处理服务
功能磁共振数据处理
任务态激活脑区分析
任务态E-prime实验实
功能连接分析
局部一致性（ReHo）分析
低频振幅（ALFF/fALFF）分析
基于图论及ICA的脑网络分析
结构磁共振数据处理
基于VBM的灰白质分析
基于Freesurfer的皮层厚度分析
基于FSL的纤维束追踪
详情联系：13381109780（杨老师）