马尔科夫链决策方法.pdf

马尔科夫预测与决策法 2010年6月6日Sunday2 马尔科夫预测与决策法马尔科夫预测与决策法是应用是应用随机过程随机过程中中马尔科夫链马尔科夫链的理 论和方法研究分析有关经济现象变化规律并借此对未来进行预 测和决策的一种方法。 的理 论和方法研究分析有关经济现象变化规律并借此对未来进行预 测和决策的一种方法。 池塘里有三张荷叶，编号为池塘里有三张荷叶，编号为1，，2，，3，假设有一只青蛙随机地 在荷叶上跳来跳去。在初始时刻 ，假设有一只青蛙随机地 在荷叶上跳来跳去。在初始时刻t0，它在第二张荷叶上。在时 刻 ，它在第二张荷叶上。在时 刻t1，它有可能跳到第一张或者第三张荷叶上，也有可能在原 地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状 态。这样，青蛙在未来处于什么状态，只与它现在所处的状态 有关，与它以前所处的状态无关。实际上青蛙在一段时间内在 ，它有可能跳到第一张或者第三张荷叶上，也有可能在原 地不动。我们把青蛙某个时刻所在的荷叶称为青蛙所处的状 态。这样，青蛙在未来处于什么状态，只与它现在所处的状态 有关，与它以前所处的状态无关。实际上青蛙在一段时间内在 荷叶间跳或不跳的过程就是一个马尔科夫过程。荷叶间跳或不跳的过程就是一个马尔科夫过程。 2010年6月6日Sunday3 马尔可夫性与转移概率矩阵马尔可夫性与转移概率矩阵 一个过程或系统在未来时刻的状态只依赖于现 状时刻的状态，而与以往更前的时刻无关，这一特 性就成为无后效性（无记忆性）或马尔可夫性（简 称马氏性）。换一个说法，从过程演变或推移的角 度上考虑，如果系统在时刻的状态概率，仅依赖于 当前时刻的状态，而与如何达到这个状态的初始概 率无关，这一特性即马尔可夫性。 一个过程或系统在未来时刻的状态只依赖于现 状时刻的状态，而与以往更前的时刻无关，这一特 性就成为无后效性（无记忆性）或马尔可夫性（简 称马氏性）。换一个说法，从过程演变或推移的角 度上考虑，如果系统在时刻的状态概率，仅依赖于 当前时刻的状态，而与如何达到这个状态的初始概 率无关，这一特性即马尔可夫性。 2010年6月6日Sunday4 设随机变量序列，设随机变量序列，{X1,X2, ,Xn, },它的状态集合记为它的状态集合记为 S {s1,s2 , , sn, } 若对任意的若对任意的k和任意的正整数和任意的正整数i1, i2 , , ik, ik1,有下式成 立 有下式成 立 P{Xk1 sik1| X1 si1, X2 si2, Xk sik} P{Xk1 sik1| Xk sik} 则称随机变量序列则称随机变量序列{X1,X2, ,Xn, } 为一个马尔可夫 链（ 为一个马尔可夫 链（Markov chains）。）。 2010年6月6日Sunday5 如果系统从状态如果系统从状态si转移到状态转移到状态sj，我们将条件概率，我们将条件概率 P{ si| sj}称为状态转移概率，记作称为状态转移概率，记作P si| sjpij 简单地说，简单地说，pij是从是从 i 到到 j 的转移概率。 对于条件概率 的转移概率。 对于条件概率, njissXPP jik k ij L, 2 , 1,, 1 称为从状态称为从状态si到到 sj的的k步转移概率。当步转移概率。当k1时，称为 从 时，称为 从si到状态到状态sj的一步转移概率。的一步转移概率。 2010年6月6日Sunday6 如果一个经济现象有如果一个经济现象有n状态状态s1,s2 , , sn, 状态的转移是每隔单位 时间才可能发生，而且这种转移满足马氏性的要求，那么我们就 可以把所研究的经济现象视为一个马尔可夫链。虽然一个经济现 象是复杂的，但只要具有马氏性，我们便可以简单而方便的进行 预测和决策。需要指出的是，马尔可夫链适用于近期资料的预测 和决策。例如，在对某公司的一种商品的市场占有率进行预测 时，就可以利用这种模型加以解决。又如对一个工厂转产的前景 进行预测时，也同样可以利用这种方法来处理。在预测的基础 上，在利用这种方法进行决策，即马尔可夫决策。 需要指出的是，这里我们只限于研究一种特殊的马尔可夫链， 即齐次马尔可夫链。所谓齐次是指状态转移概率与状态所在的时 间无关，而且这里只考虑状态集是有限的情形。 状态的转移是每隔单位 时间才可能发生，而且这种转移满足马氏性的要求，那么我们就 可以把所研究的经济现象视为一个马尔可夫链。虽然一个经济现 象是复杂的，但只要具有马氏性，我们便可以简单而方便的进行 预测和决策。需要指出的是，马尔可夫链适用于近期资料的预测 和决策。例如，在对某公司的一种商品的市场占有率进行预测 时，就可以利用这种模型加以解决。又如对一个工厂转产的前景 进行预测时，也同样可以利用这种方法来处理。在预测的基础 上，在利用这种方法进行决策，即马尔可夫决策。 需要指出的是，这里我们只限于研究一种特殊的马尔可夫链， 即齐次马尔可夫链。所谓齐次是指状态转移概率与状态所在的时 间无关，而且这里只考虑状态集是有限的情形。 2010年6月6日Sunday7 假设系统的状态为假设系统的状态为s1,s2 , , sn共共n个状态，而且任 一时刻系统只能处于一种状态 个状态，而且任 一时刻系统只能处于一种状态si，那么下一个单位时 间，它可能由 ，那么下一个单位时 间，它可能由si转向转向s1,s2 , , si, , sn中之一状态；相 应的转移概率为 中之一状态；相 应的转移概率为pi1, pi2 , , pii, , pin。因此有。因此有 1 ,, 2 , 1, 1 10 1 nip p n j ij ij L ≤≤ ∑ 2010年6月6日Sunday8 不难看出，一般的矩阵并不一定满足式（不难看出，一般的矩阵并不一定满足式（1），因此我们 称式（ ），因此我们 称式（2）的矩阵）的矩阵P或或Pk为随机矩阵，或概率矩阵。为随机矩阵，或概率矩阵。 2 21 22221 11211 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ nnnn n n ppp ppp ppp P L LLLL L L 并称矩阵 为状态转移概率矩阵。 对于 并称矩阵 为状态转移概率矩阵。 对于k步转移概率矩步转移概率矩 ）也满足式（其中1, k ijnm k ij k ppP 2010年6月6日Sunday9 稳态概率稳态概率 定义 设定义 设{Xn,n≥≥0}为有限状态齐次马尔科夫链，对 所有的 为有限状态齐次马尔科夫链，对 所有的i, j1,2,1,2,,N,存在与,N,存在与i无关的极限无关的极限 j k ij k Pπ ∞→ lim 其中 π其中 πj 为常数，则称此为常数，则称此{Xn,n≥≥0}为具有为具有遍历性遍历性的马 尔科夫链。 的马 尔科夫链。 2010年6月6日Sunday10 举例讨论转移概率矩阵的遍历性。举例讨论转移概率矩阵的遍历性。 定理 设设{Xn,n≥≥0} 为有限状态齐次马尔科夫链，为有限状态齐次马尔科夫链，P为 其一步转移概率矩阵，若存在正整数 为 其一步转移概率矩阵，若存在正整数s 0，使对所有 的 ，使对所有 的i, j1,2,,N，有，有 0 s ij p 则此马尔科夫链满足则此马尔科夫链满足遍历性遍历性。。 ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ 5 . 05 . 0 01 3 , 6 . 04 . 0 10 2 , 4 . 06 . 0 6 . 04 . 0 1 321 PPP 2010年6月6日Sunday11 设设P是标准概率矩阵，则必存在非零向量 π是标准概率矩阵，则必存在非零向量 π π π1,π π2, , π πn 使得π使得π P π 称π为 π 称π为P的平衡向量。如果进一步满足 π 的平衡向量。如果进一步满足 π 1 π π2 π πn1 称此π称此πj为状态为状态sj的稳态（平衡）概率。的稳态（平衡）概率。P的这一特性在实 用中有重要的价值。通常在市场预测中，所讨论的用户转 移概率矩阵就属于标准概率矩阵，它可以通过几步转移达 到稳定（平衡）状态。在这种情况下，各厂家的用户占有 率不再发生变化，此时的π称为最终用户的占有率 的这一特性在实 用中有重要的价值。通常在市场预测中，所讨论的用户转 移概率矩阵就属于标准概率矩阵，它可以通过几步转移达 到稳定（平衡）状态。在这种情况下，各厂家的用户占有 率不再发生变化，此时的π称为最终用户的占有率P向量。向量。 2010年6月6日Sunday12 例例1 某地区有甲、乙、丙三家食品厂生产同一食 品，有 某地区有甲、乙、丙三家食品厂生产同一食 品，有1000个用户（或订购点）。假设在研究期间 无新用户加入业务老用户退出，只有用户的转移。 已知 个用户（或订购点）。假设在研究期间 无新用户加入业务老用户退出，只有用户的转移。 已知2009年年5月份有月份有500户是甲厂的顾客；户是甲厂的顾客；400户是乙 厂的顾客； 户是乙 厂的顾客；100户是丙厂的顾客。户是丙厂的顾客。6月份，甲厂有月份，甲厂有400 户原来的顾客，上月的顾客有户原来的顾客，上月的顾客有50户转乙厂，户转乙厂，50户转 丙厂；乙厂有 户转 丙厂；乙厂有300户原来的顾客，上月的顾客有户原来的顾客，上月的顾客有20户 转甲厂， 户 转甲厂，80户转丙厂；丙厂有户转丙厂；丙厂有80户原来的顾客，上 月的顾客有 户原来的顾客，上 月的顾客有10户转乙厂，户转乙厂，10户转甲厂。试计算其状 态转移概率。 户转甲厂。试计算其状 态转移概率。 2010年6月6日Sunday13 解由题意得解由题意得6月份的顾客转移表（表月份的顾客转移表（表1）） 1000210360430合计合计 100801010丙丙 4008030020乙乙 5005050400甲 合计丙乙甲从 甲 合计丙乙甲从 2010年6月6日Sunday14 由表由表1可知，可知，6月份有月份有430户是甲厂的顾客，户是甲厂的顾客，360户是 乙厂的顾客， 户是 乙厂的顾客，210户是丙厂的顾客。于是，户是丙厂的顾客。于是， 8 . 0 100 80 1 . 0 100 10 1 . 0 100 10 2 . 0 400 80 75. 0 400 300 05. 0 400 20 1 . 0 500 50 1 . 0 500 50 8 . 0 500 400 333231 232221 131211 PPP PPP PPP 2010年6月6日Sunday15 故转移矩阵故转移矩阵 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 8 . 01 . 01 . 0 2 . 075. 005. 0 1 . 01 . 08 . 0 P 2010年6月6日Sunday16 一般地，马尔可夫链的二步转移概率阵一般地，马尔可夫链的二步转移概率阵P2中任一元素中任一元素p2ij可 以用下一公式来计算 可 以用下一公式来计算 p2ij PTi*Pj ∑ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 3 1 2 331323121311 2 13 321322121211 2 12 311321121111 2 11 333231 232221 131211 K KjiKij PPP PPPPPPP PPPPPPP PPPPPPP PPP PPP PPP P 即 设 2010年6月6日Sunday17 用矩阵表示用矩阵表示 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 333231 232221 131211 333231 232221 131211 2 33 2 32 2 31 2 23 2 22 2 21 2 13 2 12 2 11 2 PPP PPP PPP PPP PPP PPP PPP PPP PPP P 即即P2 PP P2,从而可得从而可得 Pn P P PP PnPPn-1 Pn-1P 2010年6月6日Sunday18 例例2 某经济系统有 三种状态（比如畅 销、一般，滞 销）。系统状态转 移情况见表 某经济系统有 三种状态（比如畅 销、一般，滞 销）。系统状态转 移情况见表2。试求 系统的两步和五步 转移概率矩阵。 。试求 系统的两步和五步 转移概率矩阵。 状态 次数 状态 状态 次数 状态 系统本部 所处状态 系统本部 所处状态 系统下步所处状态系统下步所处状态 E1 E1 E3 E2 E2E3 21714 168 108 12 2 表表2 系统状态转移情况表 解按照与例 系统状态转移情况表 解按照与例1相同的步骤可得一步状态转移概率矩阵相同的步骤可得一步状态转移概率矩阵 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 1 . 04 . 05 . 0 334. 0222. 0444. 0 333. 0167. 05 . 0 P 2010年6月6日Sunday19 于是于是 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 31. 021. 048. 0 25. 026. 049. 0 26. 025. 049. 0 1 . 04 . 05 . 0 334. 0222. 0444. 0 333. 0167. 05 . 0 2 2 P ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 27. 024. 049. 0 27. 024. 049. 0 27. 024. 049. 0 31. 021. 048. 0 25. 026. 049. 0 26. 025. 049. 0 2 224 PPP ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⋅ 27. 024. 049. 0 27. 024. 049. 0 27. 024. 049. 0 27. 024. 049. 0 27. 024. 049. 0 27. 024. 049. 0 1 . 04 . 05 . 0 333. 0222. 0444. 0 333. 0167. 05 . 0 45 PPP 2010年6月6日Sunday20 马尔可夫分析方法马尔可夫分析方法 马尔可夫分析方法是用近期资料进行预测和决策的方法，目 前已广泛用于市场需求的预测和销售市场的决策。这里只讨 论这种方法的主要用途，即利用它来进行决策。其基本思想 方法主要是利用转移概率矩阵和它的收益（或利润）矩阵进 行决策。 设市场销售的转移概率矩阵为 马尔可夫分析方法是用近期资料进行预测和决策的方法，目 前已广泛用于市场需求的预测和销售市场的决策。这里只讨 论这种方法的主要用途，即利用它来进行决策。其基本思想 方法主要是利用转移概率矩阵和它的收益（或利润）矩阵进 行决策。 设市场销售的转移概率矩阵为 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ nnnn n n ppp ppp ppp P L LLLL L L 21 22221 11211 2010年6月6日Sunday21 其中其中pij表示从状态表示从状态 i 经过一个单位时间（比如一个月、一 个度、一年等）转移到状态 经过一个单位时间（比如一个月、一 个度、一年等）转移到状态 j 的概率（即一步转移概率）的概率（即一步转移概率）,又 设在经营过程中，从每一状态转移到另一状态时都会带来赢 利（负值表示亏损） ，用 又 设在经营过程中，从每一状态转移到另一状态时都会带来赢 利（负值表示亏损） ，用 rij表示从销售状态表示从销售状态 i 转移到转移到 j 的赢 利。这时赢利矩阵为 的赢 利。这时赢利矩阵为 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ nnnn n n rrr rrr rrr R L LLLL L L 21 22221 11211 2010年6月6日Sunday22 在现时为销售状态在现时为销售状态 i，下一步的销售期望赢利为，下一步的销售期望赢利为 qi pi1ri1 pi2ri2 pinrin, i1,2, ,n 现设有现设有k个可能采取的措施（即策略），则在第个可能采取的措施（即策略），则在第k个措 施下的转移概率矩阵、赢利矩阵分别为 个措 施下的转移概率矩阵、赢利矩阵分别为 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ 21 22221 11211 21 22221 11211 krkrkr krkrkr krkrkr R kpkpkp kpkpkp kpkpkp P nnnn n n k nnnn n n k L LLLL L L L LLLL L L 2010年6月6日Sunday23 用用fiN表示现在状态表示现在状态 i，经，经N个时刻并选择最优策略的 总期望赢利，则有 个时刻并选择最优策略的 总期望赢利，则有 [] niN Nfkpkq Nfkrkpnf n j jiji mk n j jijij mk i ,, 2 , 1;, 2 , 1 1 11 11 max max LL ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ∑ ∑ ≤≤ ≤≤ 1 krkpkq ij n j iji∑ 当现时为状态当现时为状态 i ，采取第，采取第k个策略，经一步转移后的期望赢利为个策略，经一步转移后的期望赢利为 2010年6月6日Sunday24 马尔科夫决策案例 例例3 某地区有甲、乙、丙三家公司，过去的历史资料表明，这三家公司某 产品的市场占有率分别为 某地区有甲、乙、丙三家公司，过去的历史资料表明，这三家公司某 产品的市场占有率分别为50，，30和和20 。不久前，丙公司制定了一 项把甲、乙两公司的顾客吸引到本公司来的销售和服务措施。设三家公司 的销售和服务是以季度为单位考虑的。市场调查表明，在丙公司新的经营 方针的影响下，顾客的转移概率矩阵为 。不久前，丙公司制定了一 项把甲、乙两公司的顾客吸引到本公司来的销售和服务措施。设三家公司 的销售和服务是以季度为单位考虑的。市场调查表明，在丙公司新的经营 方针的影响下，顾客的转移概率矩阵为 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 90. 005. 005. 0 10. 080. 010. 0 20. 010. 070. 0 P 使用马尔科夫分析方法研究此销售问题，并分别求出三家公司 在第一、二季度各拥有的市场占有率和最终的市场占有率。 使用马尔科夫分析方法研究此销售问题，并分别求出三家公司 在第一、二季度各拥有的市场占有率和最终的市场占有率。 2010年6月6日Sunday25 解解设随机变量设随机变量Xt1,2,3t 1,2,3分别表示顾客在分别表示顾客在t季度 购买甲、乙和丙公司的产品，显然 季度 购买甲、乙和丙公司的产品，显然{Xt}是一个有限状态 的马尔科夫链。已知 是一个有限状态 的马尔科夫链。已知PX010.5, PX020.3, PX030.2，又已知马尔科夫链的一步转移概率矩 阵，于是第一季度的销售份额为 ，又已知马尔科夫链的一步转移概率矩 阵，于是第一季度的销售份额为 31. 030. 039. 0 90. 005. 005. 0 10. 080. 010. 0 20. 010. 070. 0 20. 030. 050. 0 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 即第一季度甲、乙、丙三公司占有市场的销售份额分 别为 即第一季度甲、乙、丙三公司占有市场的销售份额分 别为39，，30和和31。。 2010年6月6日Sunday26 再求第二季度的销售份额，有再求第二季度的销售份额，有 387. 0294. 0319. 0 90. 005. 005. 0 10. 080. 010. 0 20. 010. 070. 0 31. 030. 039. 0 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 即第二季度三家公司占有市场的销售份额分别为即第二季度三家公司占有市场的销售份额分别为 31.9，，29.4和和38.7。。 2010年6月6日Sunday27 设π设π1,π π2,π π3为马尔科夫链处于状态为马尔科夫链处于状态1，，2，，3的稳态概 率，由于 的稳态概 率，由于P是一个标准概率矩阵，因此有是一个标准概率矩阵，因此有 ⎪ ⎩ ⎪ ⎨ ⎧ 1 05. 080. 010. 0 05. 010. 070. 0 321 2321 1321 πππ ππππ ππππ 解得 π解得 π （ π（ π1,π π2,π π3））（（0.1765，，0.2353，，0.5882） 故甲、乙、丙三家公司最终将分别占有 ） 故甲、乙、丙三家公司最终将分别占有18，，23 和和59的市场销售份额。的市场销售份额。 2010年6月6日Sunday28 例例4考虑例考虑例3的销售问题。为了对付下降的销售趋势，甲公 司考虑两种对付的策略第一种策略是保留策略，即力图保 留原有顾客的较大百分比，并对连续两期购货的顾客给予优 惠价格，可使其保留率提高到 的销售问题。为了对付下降的销售趋势，甲公 司考虑两种对付的策略第一种策略是保留策略，即力图保 留原有顾客的较大百分比，并对连续两期购货的顾客给予优 惠价格，可使其保留率提高到85，新的转移概率矩阵为，新的转移概率矩阵为 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 90. 005. 005. 0 10. 080. 010. 0 05. 010. 085. 0 P 第二种策略是争取策略，即甲公司通过广告宣传或跟踪服务 来争取另外两家公司的顾客，新的转移概率矩阵为 第二种策略是争取策略，即甲公司通过广告宣传或跟踪服务 来争取另外两家公司的顾客，新的转移概率矩阵为 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 80. 005. 015. 0 10. 075. 015. 0 20. 010. 070. 0 P 试问（试问（1）分别求出在甲公司的保留策略和争取策略下，三 家公司最终分别占有市场的份额； （ ）分别求出在甲公司的保留策略和争取策略下，三 家公司最终分别占有市场的份额； （2）若实际这两种策略的代价相当，甲公司应采取哪一种策 略 ）若实际这两种策略的代价相当，甲公司应采取哪一种策 略 2010年6月6日Sunday29 解解 在保留策略下在保留策略下,有有 ⎪ ⎩ ⎪ ⎨ ⎧ 1 05. 080. 015. 0 05. 010. 085. 0 321 2321 1321 πππ ππππ ππππ 解得π解得π π π1,π π2,π π3 0.316, 0.263, 0.421，即在 保留策略下 ，即在 保留策略下,三家公司最终将各占三家公司最终将各占31.6, 26.3和和 42.1的市场份额。的市场份额。 2010年6月6日Sunday30 在争取策略下在争取策略下,有有 ⎪ ⎩ ⎪ ⎨ ⎧ 1 10. 075. 015. 0 20. 010. 070. 0 321 2321 1321 πππ ππππ ππππ 解得π解得π π π1,π π2,π π3 0.333, 0.222, 0.445。即在保留 策略下，三家公司最终将各占 。即在保留 策略下，三家公司最终将各占33.3, 22.2和和44.5的 市场份额。 的 市场份额。 2 在保留策略下甲公司将占在保留策略下甲公司将占31.6的市场份额，而在争 取策略下将占 的市场份额，而在争 取策略下将占33.3的市场份额，故甲公司应采取争取 策略。 的市场份额，故甲公司应采取争取 策略。 2010年6月6日Sunday31 例例5 某商店在最近某商店在最近20个月的商品销售量统计记录如表个月的商品销售量统计记录如表 3，试预测第，试预测第21个月的商品销售量。个月的商品销售量。 120209010 11019629 8018508 4517407 7016386 55151105 120141204 14013803 13012452 11011401 销售量时间销售量时间 t销售量时间销售量时间 t 2010年6月6日Sunday32 解 解 （1）划分状态。按盈利状况为标准选取）划分状态。按盈利状况为标准选取（（a）销售量）销售量100千件，属畅销。 （ 千件，属畅销。 （2）计算初始概率）计算初始概率Pi。为了使问题更直观，绘制销售散点图，并 画出状态分界线，如图 。为了使问题更直观，绘制销售散点图，并 画出状态分界线，如图2-1所示。由图所示。由图2-1可算出处于滞销状态 的有 可算出处于滞销状态 的有M17；处于一般状态的有；处于一般状态的有M25；处于畅销状态的有；处于畅销状态的有M38。。 0 20 40 60 80 100 120 140 160 12345678910 11 12 13 14 15 16 17 18 19 20 2010年6月6日Sunday33 （（3）计算状态转移概率矩阵。在计算转移概率时，最后 一个数据不参加计算，因为它究竟转到哪个状态尚不知 道。求得状态转移概率如下 ）计算状态转移概率矩阵。在计算转移概率时，最后 一个数据不参加计算，因为它究竟转到哪个状态尚不知 道。求得状态转移概率如下M113, M124, M130, M211, M221, M233, M312, M320, M335 从而从而p113/7,p124/7,p130,p211/5, p221/5,p233/5,p312/7,p320,p335/7 所以所以 ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 75072 535151 07473 P 2010年6月6日Sunday34 （（4）预测第）预测第21个月的销售情况。由于第个月的销售情况。由于第20个月销售量 处于畅销状态，而经由一次到达三种状态的概率分别为 个月销售量 处于畅销状态，而经由一次到达三种状态的概率分别为 p312/7,p320,p335/7 由由Max{p31,p32,p33} 5/7 p33 可知第可知第21个月的销售量将处于个月的销售量将处于“畅销畅销”状态。因此，第状态。因此，第 21个月的销售量超过个月的销售量超过100（千件）的可能性最大。（千件）的可能性最大。 2010年6月6日Sunday35 例例6 某销售部门对某种产品的销售状态有三种 畅销、一般、滞销。在畅销情况下采取两个策略 登广告和不登广告；在一般情况下采取不送货上门 服务和送货上门两种策略；在滞销时采取不降价和 降价销售两种策略。经过调查研究，得到各种策略 下不同销售状态的转移概率和赢利，如表 某销售部门对某种产品的销售状态有三种 畅销、一般、滞销。在畅销情况下采取两个策略 登广告和不登广告；在一般情况下采取不送货上门 服务和送货上门两种策略；在滞销时采取不降价和 降价销售两种策略。经过调查研究，得到各种策略 下不同销售状态的转移概率和赢利，如表4所示。试 用马尔可夫分析方法进行决策。 所示。试 用马尔可夫分析方法进行决策。 2010年6月6日Sunday36 r32-2.5r331-1r2320.5r2311r1321r1312 r3221.5r3213r2222.5r2213r1223r1214 r3123.5r3115r2124r2115r1125r1116 赢利赢利 万 元 万 元 P3320.2P3310.9P2320.0P2310.2P1320.1P1310.3 P3220.7P3210.1P2220.8P2210.8P1220.3P1210.3 P3120.1P3110.0P2120.2P2110.0P1120.6P1110.4 转移 矩阵 转移 矩阵 2.降价降价1.不降价不降价2.送货送货1.不送货 登广告不登广告策略 （ 不送货 登广告不登广告策略 （3）滞销策略（）滞销策略（2）一般（）一般（1）畅销销售 状态 ）畅销销售 状态 表表4 2010年6月6日Sunday37 解根据表解根据表4，计算期望赢利值如下，计算期望赢利值如下 q110.4*60.3*40.3*24.2 同理可算得同理可算得 q124 ，， q212.6 ，， q222.8 ，， q31-0.6 ，， q320.9 ， 设初始值 ， 设初始值 fj00，，j1,2,3。则有。则有 ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ∑ ≤≤ 3 121 1 max j ijij k i krkpf 2010年6月6日Sunday38 {}{} {}{} {}{}9 . 09 . 0 , 6 . 0max2,1 max 1 8 . 28 . 2 , 6 . 2max2,1 max 1 2 . 40 . 4 , 2 . 4max2,1 max 22, 1 1 max 1 333 222 11 3 1 11 3 1 111 − ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ∑∑ qqf qqf qq rprpf j jj j jj { } {}45. 745. 7 ,99. 6max 9 . 01 . 08 . 23 . 02 . 46 . 0 4 ,9 . 03 . 08 . 23 . 02 . 44 . 0 2 . 4max 1 2 2 ,1 1 1 max 2 3 1 3 1 11111 ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ∑∑ jj jjjj fpqfpqf 2010年6月6日Sunday39 45. 6399. 8358.103 46. 3288. 52 321 32 fff ff 同理可得 现在求出当现时状态为 同理可得 现在求出当现时状态为 i 经经N时刻后（即时刻后（即N步转移矩阵）， 使得总期望赢利最大的策略－最优策略，并记为 步转移矩阵）， 使得总期望赢利最大的策略－最优策略，并记为diN。将以上 计算结果列于表 。将以上 计算结果列于表5 2010年6月6日Sunday40 222d3N 222d2N 221d1N 6.4533.460.9f3N 8.9945.882.8f2N 10.587.454.2f1N 321N 表表5 2010年6月6日Sunday41 从表从表5看到，若现时状态为畅销，如果采取不登 广告的策略，经过一个单位时间后（一步转移）可 使期望赢利最大（ 看到，若现时状态为畅销，如果采取不登 广告的策略，经过一个单位时间后（一步转移）可 使期望赢利最大（4.2万元）；但若经过两个单位时 间，则必须采取登广告的策略，才能使总期望赢利 取得最大（ 万元）；但若经过两个单位时 间，则必须采取登广告的策略，才能使总期望赢利 取得最大（7.45万元）。万元）。