基于深度条件生成学习的时间序列马尔可夫性质检验
周云哲，UC Berkeley生物统计系在读博士。
今天要跟大家分享的主题是介绍一种基于深度条件生成学习来检验时间序列中马尔可夫性质的方法。内容主要包括背景介绍、算法步骤、理论分析以及实验结果。
背景介绍
相信你对马尔科夫这个词一定不陌生。事实上，马尔可夫性质在时间序列分析中具有重要的意义。例如，在经济学和人工智能等领域，马尔可夫决策过程为顺序决策模型提供了通用框架，而其中马尔可夫性质是最为基本的模型假设。在实际的应用中，检验马尔可夫性质以及推断马尔可夫模型的阶数也至关重要。然而，这个问题其实非常复杂，尤其是对于高维时间序列，仍然存在着诸多挑战。
在Zhou et al. (2023)这篇文章中，我们提出了一种基于深度条件生成学习进行高维时间序列马尔可夫性质的非参数检验方法。同时，它也可以被应用于马尔可夫模型的阶数选择。深度条件生成学习方法提供了一套强大的工具来灵活地学习条件概率分布，并已在诸多应用领域中使用，例如计算机视觉、图像处理和人工智能。然而，在统计学领域中，这类工具的使用和研究相对较少。我们采用这类模型以非参数的方式学习高度复杂的条件分布，并展示了相对于传统的核平滑和局部多项式回归的优势。
具体来说，我们考虑一个严格平稳的维时间序列，，。我们希望检验以下的假设：
其中表示数据历史。在下，马尔可夫性质成立。直观上，这个性质要求过去和未来的观测在给定现在的条件下是独立的。事实上，为了检验，我们只需检验一系列条件独立性：
对于任意时间和任意间隔，其中表示条件独立。我们接下来利用条件特征函数（CCF）来描述条件独立性。类似的结果可以在Chen and Hong (2012, 方程 2.6)中找到。对于与具有相同维度的任意向量，定义给定的情况下的CCF为
Theorem 1. 当且仅当条件独立性(2)成立时，(3)式对于任意的，和向量几乎处处成立。
根据我们定义的CCF，定理1为假设检验问题(1)提供了另一种形式。在下，对(3)两边再次进行期望操作，我们得到
对于任意都成立。这启发了我们构造如下的检验统计量：其中表示CCF 的某个估计量，。然而，计算(4)需要构造一个适当的估计量来估计。Chen and Hong (2012)提出使用局部多项式回归来估计。但是当的维度增加时，局部多项式回归往往表现不佳(Taylor and Einbeck, 2013)，相应的检验也可能失去相合性。现如今深度条件生成学习模型展示了估计复杂条件分布的出色能力(e.g., Kobyzev et al., 2020; Sohn et al., 2015)。这些工具可以用于估计，从而估计CCF 。然而，简单地将深度条件生成学习估计器代入到(4)中会在最终结果中引入严重的偏差，无法保证检验统计量的收敛到合理的极限分布。
为了解决这个问题，我们提出构建一个双重稳健的检验统计量。具体而言，对于与具有相同维度的任意向量，定义在给定的情况下的CCF为
在这个基础上，我们在下面的定理中引入了一个双重稳健的估计方程。
Theorem 2. 在下，对于任意，，，我们有 此外，(5)是双重稳健的，即对于任何CCF 和 ，只要或，我们有
受(5)的启发，我们提出了以下的检验统计量：
其中和分别表示和的某种估计量。正如同定理2，这个统计量具有双重稳健性。其中一个关键优势是，与个体估计量和的收敛速度相比，该检验统计量可以更快地收敛。相比之下，(4)中的检验统计量的收敛速度与的数量级相同。因此，这种双重稳健性使我们能够使用一些高度灵活的非参数估计器来估计和。算法步骤
混合密度网络
我们首先来介绍混合密度网络（Mixture Density Network; MDN）。它是是一种经典的深度生成模型，将高斯混合模型与深度神经网络相结合，并且在条件密度估计方面表现出良好的性能。图1展示了MDN模型的基本结构。
假设我们的目标是估计给定预测向量（其中是输入维度）的某个未知一维因变量的条件概率密度函数。假设给定的条件下，的条件密度服从混合密度网络模型，形式为
其中是混合成分的数量，深度神经网络被用来估计均值向量，标准差向量和权重向量。输入层是维的向量。接下来是个隐藏层，每个隐藏层有一定数量的隐藏单元。隐藏层位于输入层和输出层之间，通过激活函数接受一组加权输入，并通过激活函数产生输出。最后一个隐藏层输出一个维的向量，并连接到三个并行层，其输出分别为
其中是一个的系数矩阵，，需要通过反向传播算法进行训练。然后，其中两个函数通过激活函数进行处理，得到
其中、、、、和都是维的向量，并且激活函数是逐元素作用的。最后，所有这些元素结合在一起，按照(7)对进行参数化，得到的模型最终总共有个参数。对于多元因变量的条件密度的建模，我们可以将联合条件密度函数因子化为个条件密度的乘积，每个条件密度都有一个一维因变量，即
因此，只需要分别对每个用MDN单独来建模即可。
假设检验
我们将假设检验过程分成以下五个步骤，并将其总结为算法1。
步骤一
在第一步中，我们将时间序列分成个大小相似的非重叠区间。为简单起见，假设时间序列的长度是的倍数，并设。记为第个区间的索引集合，记为直到第个区间的所有区间的索引的并集，这里。数据拆分使我们可以使用部分数据，即到第个区间为止的数据来训练MDN模型，并使用另一部分数据，即，来构建检验统计量。然后，我们将所有区间的估计结果汇总以提高估计效率。
步骤二
在第二步中，我们使用MDN来估计CCF（交叉相关函数）。具体而言，对于每个子集，我们首先将MDN应用于直到第个区间的数据，以获得两个条件概率密度函数的估计值，即前向生成器和后向生成器。对于前向生成器，MDN模型(8)的“自变量”是，而“因变量”是；而对于后向生成器，“自变量”是，而“因变量”是。给定两个估计的密度函数 和，我们随机分别从中抽取个维时间序列观测值和 。接下来，我们考虑(6)中的检验统计量的不同组合。为此，我们从均值为零、协方差矩阵为单位矩阵的多元正态分布中随机抽取个独立同分布的对。根据定义的和，我们对每对计算蒙特卡罗估计量和，如下所示：
步骤三
在第三步中，我们基于和的估计值构建我们最终的复合检验统计量。我们首先使用交叉拟合策略计算(6)中的，即
步骤四
在第四步中，我们计算检验统计量的临界值。在下，每个和都对应于一系列鞅差分序列的和。由于鞅差分仍然是鞅(Hamilton, 2020)，根据高维鞅中心极限定理，在分布上收敛到一些高斯随机变量的最大值。这使我们能够使用Belloni and Oliveira (2018)的高维乘法自助法来估计临界值。具体而言，我们将给定和所有的和堆叠在一起形成一个维向量，并通过以下方式估计该向量的协方差矩阵：
步骤五
在第五步中，给定的显著性水平下，如果，我们拒绝。
确定马尔可夫模型的阶数
以上提出的检验也可以用于确定马尔可夫模型的阶数。具体而言，设表示在每个时间点里连接临近个观测值的多元时间序列。假设数据遵循阶马尔可夫模型。那么对于任意，零假设在连接的时间序列上成立，但对于任何，该假设不成立。
理论分析
令和分别表示给定时和给定时的真实条件密度函数。我们知道，以及，其中属于具有平滑度
我们首先对MDN的收敛性进行了分析，并推导出MDN的收敛速率。
Theorem 3. 在一系列正则条件下（详见论文中的假设一到三），存在一类MDN函数，使得得到的MDN估计量满足以下不等式： 对于某个常数，任意，以至少的概率成立。
这里表示MDN模型中混合成分的数量，和来自于我们的正则条件假设，它们分别取决于真实模型被MDN逼近的速率和MDN函数空间的范围。
依据MDN的收敛性，我们同时证明了所提出假设检验方法在零假设和备择假设下的相合性。
Theorem 4. 在一系列正则条件下（详见论文中的假设一到五），当时，在零假设下有。在备择假设下有。
实验结果
实验模拟
我们通过模拟研究来评估我们提出的检验方法的经验效果。我们考虑三种不同的马尔可夫时间序列模型，每个模型的阶数为，维度为，且时间长度变化为。我们对进行假设检验，并展示在500个重复模拟中拒绝零假设的次数占比。当时，该百分比反映了检验的经验功效，而当时，它显示了检验在零假设下第一类错误是否被合理的控制。
我们考虑了线性型VAR模型、非线性阈值模型和非线性GARCH模型，这些模型在时间序列文献中被广泛使用(e.g., Auestad and Tjøstheim, 1990; Cheng and Tong, 1992; Tschernig and Yang, 2000)。我们将我们提出的检验与两个基准检验方法进行比较，其中包括Chen and Hong (2012)的检验方法，该方法使用局部多项式回归（LPF）来估计相关系数函数（CCFs），以及Shi et al. (2020)的基于随机森林的检验方法，该方法最初用于强化学习，并经过修改和调整以适应我们的场景。
表1汇报了在显著性水平下，每个检验方法在500个重复模拟中的经验拒绝率。可以看出，当时，我们提出的检验方法有效地控制了第一类错误，并且在时有很好的效果去拒绝零假设。相反，两个基准检验方法在大样本下存在过高的第一类错误。例如，当时，Chen and Hong (2012)的检验方法在所有情况下的第一类错误超过0.09。这可能是由于局部多项式回归在多变量设置中在更高维度下容易出现问题(Taylor and Einbeck, 2013)。而Shi et al. (2020)的检验方法在应用于多元ARCH模型时存在相当大的第一类错误。这可能是因为他们的检验方法并不是针对时间序列数据设计的。
表 1: 在显著性水平为的情况下，当零假设被拒绝时，在500个数据复制中的比例。在所有示例中，马尔可夫模型的真实阶数为。我们比较了三种方法：我们提出的检验方法（MDN），Shi et al. (2020)的方法（RF）和Chen and Hong (2012)的方法（LPF）。真实数据分析
我们将我们的方法运用于三个数据集：温度数据集(Chang et al., 2018)，PM2.5数据集(Chang et al., 2018)，以及糖尿病数据集(Marling and Bunescu, 2018)。表2展示了不同检验方法相应的-值。对于温度和PM2.5数据集，我们的检验表明马尔科夫性质成立。这个结果与文献中的研究结果一致，因为一个一阶的简单向量自回归模型足以对这些高维数据集进行建模(Chang et al., 2018)。对于糖尿病数据，检验结果表明马尔科夫模型的阶数为4，这与 Shi et al. (2020)的研究结果一致。相比之下，Chen and Hong (2012)的检验方法对于糖尿病数据集上在时的-值数值较大，而在时-值却很小。此外，Shi et al. (2020)的检验方法倾向于在温度数据集和PM2.5数据集上选择较大的值。
表 2: 以下是三个数据集（温度数据集、PM2.5数据集和糖尿病数据集）在下的顺序检验的-值，这里使用了三种方法：我们提出的检验方法（MDN），Shi et al. (2020)的方法（RF）和Chen and Hong(2012)的方法（LPF）。参考文献
Auestad, B. and Tjøstheim, D. (1990), “Identification of Nonlinear Time Series: First Order Characterization and Order Determination,” Biometrika.
Belloni, A. and Oliveira, R. I. (2018), “A high dimensional Central Limit Theorem for martingales, with applications to context tree models,” arXiv preprint arXiv:1809.02741.
Chang, J., Guo, B., and Yao, Q. (2018), “Principal component analysis for second-order stationary vector time series,” The Annals of Statistics, 2094–2124.
Chen, B. and Hong, Y. (2012), “Testing for the Markov property in time series,” Econometric Theory, 28, 130–178.
Cheng, B. and Tong, H. (1992), “On Consistent Nonparametric Order Determination and Chaos,” Journal of the Royal Statistical Society: Series B (Methodological), 427–449.
Hamilton, J. D. (2020), Time series analysis, Princeton university press.
Kobyzev, I., Prince, S., and Brubaker, M. (2020), “Normalizing flows: An introduction and review of current methods,” IEEE Transactions on Pattern Analysis and Machine Intelligence.
Marling, C. and Bunescu, R. C. (2018), “The OhioT1DM dataset for blood glucose level prediction,” in KHD@ IJCAI.
Shi, C., Wan, R., Song, R., Lu, W., and Leng, L. (2020), “Does the Markov Decision Process Fit the Data: Testing for the Markov Property in Sequential Decision Making,” in ThirtySeventh International Conference on Machine Learning.
Sohn, K., Lee, H., and Yan, X. (2015), “Learning structured output representation using deep conditional generative models,” Advances in neural information processing systems, 3483– 3491.
Taylor, J. and Einbeck, J. (2013), “Challenging the curse of dimensionality in multivariate local linear regression,” Computational Statistics, 28, 955–976.
Tschernig, R. and Yang, L. (2000), “Nonparametric Lag Selection for Time Series,” Journal of Time Series Analysis.
Zhou, Y., Shi, C., Li, L., and Yao, Q. (2023), “Testing for the Markov Property in Time Series via Deep Conditional Generative Learning,” J. R. Stat. Soc. Ser. B. Stat. Methodol., accepted.