线性代数拾遗（六）：特征值与特征向量

算法数学俱乐部

日期：2019年12月23日

正文共：2436字28图

预计阅读时间：7分钟

来源:Mengqi's blog

上一章《线性代数拾遗（五）：矩阵变换的应用》最后，我们引入了马尔可夫链。马尔可夫链简单来说就是一个个状态组成的链，其中每个状态只于前一个状态有关。然而，除了这个简单定义之外，马尔可夫链还有一个有趣的性质：平稳分布。要解释平稳分布是什么，我们先从一个例子讲起。

一、马尔可夫链的平稳分布

比如一个地区有三个政党：「民主党」、「共和党」、「自由党」，我们用一个向量 x∈R3 来表示每年选举的投票结果:

假设每年的选举结果只和上一年的结果有关，即选举向量构成的序列满足马尔可夫性质，是一个马尔可夫链。那么，像 上一章 那个人口迁移的例子一样，我们可以用一个状态迁移矩阵来描述每年选举结果的变化情况。

比如我们要研究某一年开始，该地区选举变化情况，而且已经得到了该地区选举变化的迁移矩阵P：

假设在起始年，三个党的得票情况为：

那么我们顺着迁移矩阵看一下接下来几年，这个地区的选举情况会发生怎么样的变化。通过递推公式

我们可以计算出

我们可以发现，这个选举结果向量X越来越逼近于向量

事实上，当我们把迁移矩阵乘上这个向量：

就会发现，不但选举结果越来越趋向某一个固定向量 q，而且当结果达到和 q 一致时，这个系统便不再改变！这也就是我们所说的达到平稳分布。这个固定向量 q 就是 稳态向量。

可以证明，这个稳态向量由迁移矩阵所控制。一个马尔可夫链中，迁移矩阵一旦确定，那么不管它的起始状态（x0）是什么样，它的稳态将唯一确定（有种宿命论的感觉）。这是马尔可夫链的一个重要性质，对于一个系统的长期发展很有帮助。此外，这个性质也反应了矩阵的两个重要属性：特征值与特征向量。

二、特征值与特征向量

当我们把一个矩阵看作是一个线性变换：x↦Ax时，我们将矩阵理解成为一种运动，一种能使向量 x 向着向量 Ax 移动的“力”。一般来说，向量 x 经 A 进行变换有可能是朝着各个方向移动。然而，总有某些特殊向量，线性变换在这些向量上的作用是十分简单的。

比如：已知向量

矩阵

表示的线性变换分别应用于（即矩阵左乘）向量 u 和 v 后的结果如下图所示：

事实上，Av=2v，从图像上看就是拉伸了向量 v。

更一般的， > A 为 n×n矩阵，x为非零向量，若存在数 λ 使得 Ax=λx，则称 λ 为矩阵 A 的特征值，x 为 A 对应于特征值 λ 的特征向量。

这就是我们其实已经很熟悉的特征值与特征向量定义了。特征值与特征向量的一个作用就是来研究线性变换中那些“特殊情况”，这些特殊情况可以看作是这个线性变换的“特征”。当我们把矩阵看作线性变换时，特征值与特征向量可以相配合作为描述这个线性变换的一个“特征”（有的文献也把特征值与特征向量称为本征值与本征向量）。

至于特征值和特征向量的求解，相信大家比较熟练了（建立特征方程 (A−λI)x=0 进行求解），这里不再赘述。注意，一个特征方程所有解的集合构成了一个空间，即对于某一个特征值，它所对应的特征向量将构成一个空间，被称为 A 对应于 λ 的特征空间，特征空间由零向量和所有对应于 λ 的特征向量组成。

不同特征值对应的特征向量线性无关，而同一个特征值对应的不同特征向量能张成整个特征空间。如果一个特征值只对应一个特征向量，那么这个特征值对应的特征空间就是一条一维直线；而如果一个特征值对应两个特征向量，那么这个特征值对应的特征空间将是一个二维平面。

由于 Ax=λx，因而线性变换 A 对于特征空间只起到“扩张”的作用（扩张后还是同样的特征空间）。

三、特征向量与马尔可夫链

我们已经知道 xi+1=Axk，而如果我们找一个 A 的特征值 λ 及其对应的特征向量 x0，则有

因此，如果我们已经知道一个马尔可夫链的转移矩阵 A，我们不需要看它的初始状态是什么，只要找 A 的特征值 λ 及其对应的特征向量 x0，那么我们就能通过计算得到这个马尔可夫链达到稳态时的状态。

x0 除了用一个特征向量外，也可以用多个特征向量的线性组合。比如 A 的特征值为 λ1,λ2，对应的两个特征向量为

那么我们可以用

来表示

这样得到的

为：

3.1 人口迁移例子

回顾 上一章 那个关于城市人口迁移的研究，那个例子我们引入了马尔可夫链这个概念，而从这章我们知道马尔可夫链有个平稳分布的性质，那么上一章那个人口迁移的例子最终也一定会达到某种稳定状态，即城乡人口比例保持不变。

上一章中，我们已经得出：

即迁移矩阵

这次的套路是求解特征方程 (A−λI)x=0（事实上，这里的2阶方阵通过计算行列式解 detA=0 会更方便些。当然，手边有电脑的话直接交给 matlab、python 之类的就行 :D），得到特征值为 1 和 0.92，对应的特征向量分别为

和

的倍数。

由于有两个互不相等的特征值，我们可以知道它们对应的两个特征向量也线性无关，我们将初始向量 x0 用两个特征向量的线性组合表示：

假设我们已知

（单位：百万人），那么就可以解得 c1=0.125,c2=0.225.

所以，每年的人口分布为：

这就显示了这个马尔可夫链最终总会达到平稳分布，达到平稳分布时的稳态向量就是 0.125v1。这也印证了我们之前的观察：马尔可夫链达到平稳分布时，稳态向量与初始状态无关，只与迁移矩阵（特别是迁移矩阵的特征向量）有关。

总结

这一章，我们通过马尔可夫链了解到了矩阵特征值与特征向量的概念。在本章中，我们把一个矩阵看作是一个线性变换，这个矩阵不断应用于某一个向量，使这个向量在空间中发生“运动”。而直观的讲，特征值与特征向量就是来描述这个“运动”的一个“本征”的，即在某些方向上的线性变换不会改变向量的方向。

# 参考文献

线性代数及其应用：第3版/（美）莱（Lay, D.C.）著；沈复兴等译. ——北京：人民邮电出版社，2007.7

原文链接： http://mengqi92.github.io/2016/07/01/linear-algebra-6/

— THE END —

☞这六个被印上彩票的最美数学公式，都改变了世界
☞线性代数拾遗（四）：线性方程组的应用☞线性代数拾遗（三）：线性变换以及矩阵的意义☞斯坦福大学教育学院院长：学习本身就是一门学问☞数学大师北大巅峰对话——数学到底有没有用？☞斐波那契数列之美