第五章_马尔科夫过程.ppt

2020年9月28日星期一,第1页共72页,,,第5章马尔科夫过程,5.1马氏过程的定义,5.2马氏链的转移概率与概率分布,5.3齐次马氏链状态类型的分类,5.4转移概率的稳定性能,5.5状态离散参数连续的马氏过程,5.6柯氏前进方程和后退方程,5.7状态分类与平稳分布,2020年9月28日星期一,第2页共72页,5.1马氏过程的定义,X00,以概率为p和q向左或右移动一个位置，经n步移动后随机点的位置为,特点时刻n随机点的位置只依赖与时刻n-1时的位置,而与时刻n-2及以前的位置无关。,引例2、电话交换台在t时刻前要求提供服务的次数Xt。,具有与引例1类似的特点。,2020年9月28日星期一,第3页共72页,1、马尔科夫性,2、马尔科夫过程,5.1马氏过程的定义,2020年9月28日星期一,第4页共72页,则称,为马尔科夫过程。,由定义可知引例1、2所给出的过程均为马尔科夫过程。,3、马尔可夫链,5.1马氏过程的定义,2020年9月28日星期一,第5页共72页,或,,5.1马氏过程的定义,2020年9月28日星期一,第6页共72页,5.2马氏链的转移概率与概率分布,1、马氏链的转移概率,,2020年9月28日星期一,第7页共72页,同样地,,也具有以上性质。,约定,或,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第8页共72页,证明,即,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第9页共72页,类推可得,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第10页共72页,设,为X的绝对分布，记,即,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第11页共72页,2、齐次马氏链,,1,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第12页共72页,例1、设质点只能停留在在1，2，3，4各点上随机游动,移动规则为移动前若在2，3点，则以概率1/3向左或右移动一个单位、或停留在原处；移动前若在1或4点，则以概率1移动到2或3点上。写出一步转移概率矩阵、设初始分布为（0，1/2，1/2，0），求经一步转移后系统所处的状态、并求概率,解,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第13页共72页,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第14页共72页,球的个数一号球二号球三号球口袋I211口袋II201口袋III320,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第15页共72页,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第16页共72页,4321431123,2123443311,1332122344,2323112431,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第17页共72页,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第18页共72页,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第19页共72页,5.2马氏链的转移概率与概率分布,2020年9月28日星期一,第20页共72页,5.3齐次马氏链状态类型的分类,1、状态的基本属性,1首达概率与迟早概率,2020年9月28日星期一,第21页共72页,称,为系统在0时从状态,出发永远也不能回到状态,的概率。,下面给出引理一,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第22页共72页,下面给出引理二,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第23页共72页,2若,则存在,使得,3若,中一个存在,则另一个也存在,且相等,即,4设,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第24页共72页,非周期状态，则称状态,为遍历态。,下面给出引理四,下面给出引理五和引理六,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第25页共72页,2、状态属性的判定,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第26页共72页,2,是常返态的充要条件是以下三条件之一成立,2,1,3,1,2,3,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第27页共72页,4设状态,是常返态,则,,5对状态,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第28页共72页,所有,均有,3、状态空间的分解,1闭集,显然，状态空间S是一个闭集。,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第29页共72页,若闭集C中不含有任何非空的子集，则称C是不可约的,当状态空间S是不可约时，则称此马氏链为不可约的，否则称为可约的。所以一个马氏链是不可约的充要条件为S中所有状态互通。,为了讨论状态空间的分解，下面给出引理,2由引理可得下列结论,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第30页共72页,I任一个,中的状态到达。,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第31页共72页,III,是一切非常返态所构成,且,中的状态不可,能自,中的状态到达。,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第32页共72页,解由一步转移概率矩阵作出相应的转移概率图如下,由图可知,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第33页共72页,例6、设一齐次马氏链的状态空间为,概率矩阵为,其转移,其中*表示一个正数。试分析状态类型。,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第34页共72页,解由于,所以0是吸收态，又,状态1可达2，2可达1，故{1，2}是周期为2的正常返状态集。{3，4，5}构成一个非周期常返态闭集。,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第35页共72页,1试写出P矩阵；2试写出该链为常返链的充分必要条件。,解1由转移概率图可得,2由于本链的所有状态是互通的,只须确定其中一个状态是常返态的条件即可,如状态0,可得,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第36页共72页,即,5.3齐次马氏链状态类型的分类,2020年9月28日星期一,第37页共72页,5.4转移概率的稳定性能,1、转移概率的极限,以下讨论正常返态的情形。,令,2020年9月28日星期一,第38页共72页,1有关定理,5.4转移概率的稳定性能,2020年9月28日星期一,第39页共72页,特别地，如果,则,5.4转移概率的稳定性能,2020年9月28日星期一,第40页共72页,2极限分布,设C为互通的遍历状态构成的闭集,则,于是，不可约的马氏链为遍历链的充要条件为极限分布存在且唯一。,5.4转移概率的稳定性能,2020年9月28日星期一,第41页共72页,2、平稳分布,2初始分布为平稳分布的充要条件,5.4转移概率的稳定性能,2020年9月28日星期一,第42页共72页,设,即,设,5.4转移概率的稳定性能,2020年9月28日星期一,第43页共72页,5.4转移概率的稳定性能,2020年9月28日星期一,第44页共72页,设马氏链的平稳分布为,（未知）马氏,链的一步转移概率矩阵为,则上述方程组为,3、极限分布与平稳分布的关系,非周期不可约的马氏链，如果是正常返的，其充要条件是它的平稳分布存在，且该平稳分布就是极限分布。,5.4转移概率的稳定性能,2020年9月28日星期一,第45页共72页,解由一步转移概率矩阵知，此链为不可约的遍历链，故平稳分布存在，且就是极限分布，设极限分布为,满足,于是有,解之得,5.4转移概率的稳定性能,2020年9月28日星期一,第46页共72页,例9、,设有状态空间S{0,1,2,,6}的齐次马氏链,其一步转移概率矩阵为,1试对S进行分类,并说明各状态的类型;2求平稳分布,其平稳分布是否唯一为什麽3求,5.4转移概率的稳定性能,2020年9月28日星期一,第47页共72页,解1由转移概率矩阵作出转移概率图如下,其中,2由1知本链有三个不同的正常返状态的不可约闭集,故其平稳分布不唯一,并且具有无穷多个平稳分布。,每个状态都有闭路,5.4转移概率的稳定性能,2020年9月28日星期一,第48页共72页,3,所以,5.4转移概率的稳定性能,2020年9月28日星期一,第49页共72页,5.5状态离散参数连续的马氏过程,1、基本概念与性质,1,2,2020年9月28日星期一,第50页共72页,3,4,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第51页共72页,2,证明设,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第52页共72页,所以有,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第53页共72页,即,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第54页共72页,而,称为从状态,跳到其它任意,状态,的强度，即发生跳跃的强度。,3.状态转移概率强度矩阵,将上述导数排成一个矩阵,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第55页共72页,当上述状态空间可列时，有,上式等号成立时，称相应的马氏过程为保守过程。,利用极限与无穷小的关系，得,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第56页共72页,4.初始分布,5.5状态离散参数连续的马氏过程,当该链为齐次时，有,2020年9月28日星期一,第57页共72页,解1,2,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第58页共72页,5.5状态离散参数连续的马氏过程,2020年9月28日星期一,第59页共72页,5.6柯氏前进方程和后退方程,1、后退的柯氏方程,证明,2020年9月28日星期一,第60页共72页,即,相应的矩阵形式为,5.6柯氏前进方程和后退方程,2020年9月28日星期一,第61页共72页,2、前进的柯氏方程,其矩阵形式为,证明方法同1、。,5.6柯氏前进方程和后退方程,2020年9月28日星期一,第62页共72页,由于此级数关于t一致收敛，故有,5.6柯氏前进方程和后退方程,2020年9月28日星期一,第63页共72页,又由前进方程,即,初始条件为,5.6柯氏前进方程和后退方程,2020年9月28日星期一,第64页共72页,5.7状态分类与平稳分布,1、离散骨架,3,2020年9月28日星期一,第65页共72页,表示在时刻,系统的状态,由,齐次性,2、离散骨架的性质,设所讨论的随机过程为状态可列、参数连续齐次的马氏过程，假定所有状态互通，即,证明,5.7状态分类与平稳分布,2020年9月28日星期一,第66页共72页,由于,下面证不可约，即对,由假设，对任意,先取足够大的,由于,5.7状态分类与平稳分布,2020年9月28日星期一,第67页共72页,2若有,证明,于是连续参数的马氏过程的所有状态互通的充要条件是它的任意步长的离散骨架的所有状态是互通的。,5.7状态分类与平稳分布,2020年9月28日星期一,第68页共72页,从而可把马氏链的状态分类法应用到连续参数的马氏过程上来。,5.7状态分类与平稳分布,2020年9月28日星期一,第69页共72页,3、平稳分布,设,5.7状态分类与平稳分布,2020年9月28日星期一,第70页共72页,证明,即,5.7状态分类与平稳分布,2020年9月28日星期一,第71页共72页,令,4、极限分布,5.7状态分类与平稳分布,2020年9月28日星期一,第72页共72页,作业P204习题五1、3、6、7、14、15、17、19、21、24、27。,5.7状态分类与平稳分布,