1。2  马尔科夫链

定义：设是随机变量列，空间状态，若对任意正整数n,任意的，有则称为马尔科夫链。

马尔科夫链即是时间是离散的且状态也是离散的马尔科夫过程，简称马氏链。它采用转移概率矩阵从而探究事物的状况和转移的理论。我们假定时间n为“此刻”，0,1,2n-1是“过去“，n+1是将来，那么马尔科夫性就是已知此刻的状况，而且将来的状况与过去经历的状况无关。它有以下几个特点：1。每个时期所处的系统状态是随机的；2。下一时期的状态只与本时期状态和转移概率有关；3。从一个时期到下一个时期的状态按一定转移概率。文献综述

1。3   马氏性的检验

马尔科夫概型分析有一个必要前提即是检验随机过程是否具有马氏性，通常用统计量来检验离散序列的马尔科夫链。

详细步骤如下所示：

  表达的是（）的第j列的总和与同各行各列的总和的比例，表示：状态转移到状态的概率。

=，=。

统计量服从自由度为（q-1）²的分布。选定置信度a，查表得（（q-1））²，令

=2|log（/）|，若（（q-1））²，则{， =T}具有马氏性。

第二章   马尔科夫链预测法的理论基础

 2。1  转移概率矩阵

一般情况下我们对状态有一个定义即是事物在某一个时间点内的状况。比如说就是事物的第种状态处在时间t的时候，我们假定事物有n种不同的状态，所以空间状态S就被能构成，因此。

那么状态概率顾名思义就是一种可能性即被研究对象在时间t处于的种种状态。由研究对象所组建成一个系统，它的状态是渐渐变化因为伴随着时间不同。状态转移便是从状态到状态的转变，那么发生这种状态变动的可能性即是转移的概率简称转移概率。来`自+优-尔^论:文,网www.youerw.com +QQ752018766-

马尔科夫链的转移概率矩阵是由转移概率构成的矩阵，他的基本形式为

这个矩阵的每一个行元的和是1。

当转移概率满足特定情况下拥有平稳性，即当转移概率()仅仅与及时间间距有关系时。相对应的，也可以叫做是时齐或者是齐次的。

 2。2  C-K方程

设齐次马尔科夫链，于是对任意的,有这就是有名的方程，简而言之为C-K方程。C-K方程遵循于以下事实，即从“时刻S所处的状态出发，经过时段转变到状态，即 = ”。