文档介绍：****题三对Markov链试证条件P=P(1)等价于对所有时刻n,m及所有状态有P=P(2)证明:P=P=÷P利用(1)=P……÷P=….P=P….P=……..=P在(2)中取m=1,即得(1)。考虑状态0,1,2上的一个Markov链它有转移阵P=,初始分布为试求概率P解:P==0××=0注:=,=。信号只有0和1两种,分为多个阶段传输,在每一步上出错的概率为。=0是送出的信号,而是在第n步接收到的信号。假定为一Markov链,它有转移概率矩阵P=,0<<1试求:(a)两步均不出错的概率P(=0,=0,=0)(b)试求两步传送后收到正确信号的概率。(c)试求5步之后传送无误的概率P解:(a)P(=0,=0,=0)=P(=0)P(=0|=0)P(=0|=0)=.P(=0)=P(=0)(b)P(=0|=0)=P(=0,=0|=0)+P(=0,=1|=0)=P=0|=0)P(=0|=0)+P(=1|=0)P(=0|=1)=+(c)=(1-)[]+[]==[+].{+}+2(1-){}=(1-)[+3]=(1-)(1-2+4)]+(3-6+9)]=+4)=(1-)[1-4+16-224、A、B两罐各装N个球,做如下试验:在时刻n从n个球中等概率任取一球,然后从A、B两罐中任选一罐,选中A的概率为p,选中B的概率为q,(p+q=1),之后再将选出的球放入选好的罐中,设为每次试验时A罐中的球数。试求此Markov过程的转移概率。解:X1=,X2=,=,=p(=j/=i)=,i=N,N+1,N+25、重复掷币一直到连续出现两次正面为止,假定钱币是均匀的,试引入以连续出现次数为状态空间的Markov链,并求出平均需要掷多少次试验才可以结束。解:用表示第n次掷币时连续出息正面的次数,掷出反面的次数为0,显然,当给定,时与,…无关,故为Markov链,且为时齐的。这是因为,只要没有掷出2次正面,过程都与时刻n无关,一般转移概率阵,P=,=,N=infP(N=2)=P(X1=1,X2=2)=P(N=3)=p(x3=2,x2=1,x1=0)=P(N=4)=P(x4=2,x3=1,x2=0,x1=0)+p(x4=2,x3=1,x2=0,x1=1)=p(x4=2,x3=1,x2=0)=,如下图所示。在迷宫的第7号小格内放有美味食品而第8号小格内则是电击捕鼠装置。假定当家鼠位于某格时有K个出口可以离去,则它总是随机选择一个,概率为1/,试写出这一Markov过程的转移概率阵,:据题意,=0,指小鼠最先位于0号小格.=inf{n:,,k≤n-1}P(小鼠未遭到电击而找到食物)==,为P中去掉第8,9两行两列所得到的二子阵.,,+++++=,,,,,,.记试求转移阵。Solution.,即Pik=Pk,i,k=0,1,2…,?如果是,其转移阵是什么?,的取值与,…,,无关故为Markov链1,j=00,j>0P0j=01-P0j=1j>1P0j=0P1j=1Pi-1j=i-1,i=1,2,…j=ij>,试证明:Poorf..,定义,试证:MarkovChain,.(由的独立性知).(还是由独立性得到)∴,1,2,3和转移概率阵P=,试求:,n=1,2,3,4,5…….Solution:=P{=0|=0}=0=P{=0,=1|=0}+P{=0,=2|=0}+P{=0,=3|=0}=(,,)===P{=0,0,0|=0}=(,,)======,……所以=,,每次试验结果或为成功(S),或为失败(F),同一结果相继出现称为一个游程(run),比如FSSFFFSF中共有两个成功游程,三个失败游程,设成功概率为p,失败概率为q=1-p,记为n次试验后成功游程的长度(若第n次试验失败,=0).试证{,n=1,2,……},试求T的分布及均值,并进行分类.。Solution:,=,,为Markov链。①②①-②有0123K4…PPP…PPqqqqqq所有状态可以互通,共为一类。,而在三维时却是瞬时的。Proof:(1