文档介绍：第一节基本原理
一、基本概念
、随机函数与随机过程
一变量x,能随机地取数据(但不能准确地预言它取何值),而对于每一个数值或某一个范围内的值有一定的概率,那么称x为随机变量。
假定随机变量的可能值xi发生概率为Pi
即P(x = xi) = Pi
对于xi的所有n个可能值,有离散型随机变量分布列:
∑Pi = 1
对于连续型随机变量,有∫P(x)dx = 1
在试验过程中,随机变量可能随某一参数(不一定是时间)的变化而变化.
如测量大气中空气温度变化x = x(h),随高度变化。这种随参变量而变化的随机变量称为随机函数。而以时间t作参变量的随机函数称为随机过程。
也就是说:随机过程是这样一个函数,在每次试验结果中,它以一定的概率取某一个确定的,但预先未知的时间函数。
2、马尔科夫过程
随机过程中,有一类具有“无后效性性质”,即当随机过程在某一时刻to所处的状态已知的条件下,过程在时刻t>to时所处的状态只和to时刻有关,而与to以前的状态无关,则这种随机过程称为马尔科夫过程。
即是:ito为确知,it(t>to)只与ito有关,这种性质为无后效性,又叫马尔科夫假设。
3、马尔科夫链
时间和状态都是离散的马尔科夫过程称为马尔科夫链。例:蛙跳问题
假定池中有N张荷叶,编号为1,2,3,……,N,即蛙跳可能有N个状态(状态确知且离散)。青蛙所属荷叶,为它目前所处的状态;因此它未来的状态,只与现在所处状态有关,而与以前的状态无关(无后效性成立)
写成数学表达式为:
P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1)
  =P( xt+1 = j | xt = it )
定义:Pij = P( xt+1 = j | xt = i)
即在xt = i的条件下,使 xt+1 = j的条件概率,是从 i状态一步转移到j状态的概率,因此它又称一步状态转移概率。
由状态转移图,由于共有N个状态,所以有
1
2
3
4
P33
P22
P44
P41
P42
P31
P32
系统有N个状态,描述各种状态下向其他状态转移的概率矩阵
P11 P12 …… P1N
 定义为 P21 P22 …… P2N
: : :
PN1 PN2 …… PNN
这是一个N阶方阵,满足概率矩阵性质
1) Pij ≥ 0,i,j = 1,2, ……, N 非负性性质
2) ∑ Pij = 1 行元素和为1 ,i=1,2,…N
N×N
P =
如: W1 = [1/4, 1/4, 1/2, 0]
  W2 = [1/3, 0, 2/3]
  W3 = [1/4, 1/4, 1/4, 1/2]
 W4 = [1/3, 1/3, -1/3,0, 2/3]
3)若A和B分别为概率矩阵时,则AB为概率矩阵。
概率向量
非概率向量
若系统的一步状态转移概率不随时间变化,即转移矩阵在各个时刻都相同,称该系统是稳定的。
这个假设称为稳定性假设。蛙跳问题属于此类,后面的讨论均假定满足稳定性条件。
经过k步转移由状态i转移到状态j的概率记为
  P(xt+k =j | xt = i) = Pij(k)
i,j = 1,2, ……, N
定义:k步状态转移矩阵为:
  P11(k) P12(k) …… P1N(k)
P = : : :
  PN1(k) PN2(k) …… PNN (k)
当系统满足稳定性假设时
  P = P = P• P•…… P
其中P为一步状态转移矩阵。
即当系统满足稳定性假设时,k步状态转移矩阵为一步状态转移矩阵的k次方.
[k]
[k]
k