马尔科夫链

?马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量X_1,X_2,X_3...的一个数列。这些变量的范围，即它们所有可能取值的集合，被称为“状态空间”，而X_n的值则是在时间n的状态。如果X_{n+1}对于过去状态的条件概率分布仅是X_n的一个函数，则