预测未来的神技——有趣的马尔科夫链
本文为量子金服原创文章,转载须授权
作为概率论的一个重要分支,随机过程撑起了概率论的半壁江山,如今,它广泛使用在诸如天气预报、统计物理、天体物理、运筹决策、经济数学、安全科学、人口理论、可靠性及计算机科学等领域。
自然中存在的随机过程非常广泛,利用随机过程的理论建模,就总也逃不开马尔科夫链,比如我们熟知的液体中颗粒所做的布朗运动、商业活动中索要研究的每天销售情况、在数字通信中的语音信号、视频信号等等。它可以将无规则的运动用数学描述出来,对现实生产生活有着巨大的指导意义!
它究竟是什么,又是如何得到广泛应用的?笔者今天将向大家一一道来。
研究背景
▲安德雷·马尔科夫
1856年出生的马尔科夫是俄国非常有名的数学家,他和切比雪夫、李雅普诺夫一起,将概率论从濒临衰亡的边缘拯救出来。三人中以马尔科夫的贡献尤为重要,潜心向学的马尔科夫,年仅40岁就被选为科学院院士,一生中发表的概率论方面的文章或专著共有二十五篇(部)之多。
他研究并提出一个用数学方法就能解释自然变化的一般规律模型,后人将其命名为马尔科夫链(Markov Chain)。
什么是马尔科夫链?
马尔科夫性:过程或(系统)在时刻t0所处的状态为已知的条件下,过程在时刻t>t0所处状态的条件分布过程在时刻t0之前所处的状态无关的特性成为马尔科夫性或无后效性。
即:过程“将来”的情况与“过去”的情况是无关的。具有马尔科夫性的随机过程成为马尔科夫过程。
马尔可夫链:时间和状态都是离散的马尔科夫过程。
马尔可夫链(Markov Chain),描述了一种状态序列,其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列。这些变量的范围,即它们所有可能取值的集合,被称为“状态空间”,而
就称为马尔科夫链。
我们熟悉的泊松过程和维纳过程(布朗运动)都是马尔科夫过程(泊松过程是时间连续状态离散的马尔科夫过程;维纳过程是时间状态都联系的马尔科夫过程。)
马尔可夫链是由一个条件分布来表示:
这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三,以及更多步的转移概率可以导自一步转移概率和马尔可夫性质,同样地,这些式子可以通过乘以转移概率并求k−1次积分来一般化到任意的将来时间n+k。
有趣的马尔科夫链
看似简单的马尔科夫链,在现实生活中已经无孔不入了!
笔者在《上帝手中的骰子——无所不能的贝叶斯(下篇)》中提到了马尔科夫链一个最终要的应用:语音识别
让机器“听懂”人类的语言,两个马尔科夫模型就解决了:
声学模型:利用HMM建模(隐马尔可夫模型),HMM是指这一马尔可夫模型的内部状态外界不可见,外界只能看到各个时刻的输出值。对语音识别系统,输出值通常就是从各个帧计算而得的声学特征。
语言模型:N-Gram最简单有效,所以应用的也最广泛。它基于独立输入假设:第n个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。
简单来说,人们利用马尔科夫模型,来计算事件的状态转移概率矩阵,除了语音识别,只要随机过程具有马尔科夫性,都少不了应用马尔科夫链。
拿最常见的天气预报来说,就可以利用马尔科夫链建立天气预测模型。运用马尔可夫链,只需要最近或现在的动态资料则可按转移概率可预测将来,这样就可以很方便地达到预测天气变化的目的。
博彩领域,马尔科夫链的 应用同样普遍。比如足球博彩,可以应用加权马尔科夫链对结果进行预测,使投资者取得正收益的概率大于50%。
在金融领域,利用马尔科夫链可以进行股指建模、时间序列分析、组合预测模型。甚至著名的BS公式(期权定价),也用到了马尔科夫链(维纳过程)。
人穷果然要多读书,同样是博彩,有人求神拜佛,有人早就开始用马尔科夫链建模获取绝对收益了,同样是炒股,有人不断重复赚了赔了的过程,收益跑不过指数不说,还可能亏损,而有人利用马尔科夫链建模,早在一茬茬割韭菜了。
在这个科技发达,信息泛滥的年代,个体的主观判断已经不足以击败科技,在看似无规则的变化中,马尔科夫链为我们揭开了随机过程的神秘面纱,从简单的拼音输入法,到复杂的预测建模,处处都离不开它的应用,小编在这里抛砖引玉,未来期待看到更多关于它的精彩!
- END -
2018天善智能SVIP热力来袭
学你所想,冲破禁锢!
特色课程,15选8,学习目标一网打尽
点击阅读原文查看详情