股票投资的马尔可夫决策规划模型.pdf

第3 4 卷第2 期 2 0 0 5 年3 月 中国矿业大学学报 J o u r n a lo fC h i n aU n i v e r s i t yo fM i n i n g ＆T e c h n o l o g y V 0 1 ．3 4N O ．2 M a r ．2 0 0 5 文章编号1 0 0 0 1 9 6 4 2 0 0 5 0 2 0 2 6 1 ．0 4 股票投资的马尔可夫决策规划模型 韩苗，薛秀谦，周圣武，康建林 中国矿业大学理学院，江苏徐州2 2 1 0 0 8 摘要应用马尔可夫决策规划理论，讨论了一种股票动态投资策略，将股票价格随机时间序列 分解成趋势序列和残差序列两部分之和．在验证残差序列具有马尔可夫性的基础上，对其建立 模型并进行投资决策．所给定理保证了在一定条件下该模型目标函数最优投资策略的存在，同时 给出了求解最优策略的算法，并进行了二阶段算例分析．最后，通过具体实例验证了该投资决策 模型的可行性． 关键词马尔可夫决策规划；Z 2 检验；最优策略；股票 中图分类号02 9 ；F8 3 0 ．9 1文献标识码A M a r k o vD e c i s i o nP r o g r a m m i n gM o d e lf o rS t o c kI n v e s t m e n t H A NM i a o ，X U EX i u - q i a n ，Z H O US h e n g - w u ，K A N GJ i a n l i n S c h o o lo fS c i e n c e s ，C h i n aU n i v e r s i t yo fM i n i n g ＆T e c h n o l o g y ，X u z h o u ，J i a n g s u2 2 1 0 0 8 ，C h i n a A b s t r a c t B ya p p l y i n gt h eM a r k o vd e c i s i o np r o g r a m m i n gt h e o r y ，ad y n a m i ci n v e s t m e n ts t r a t e g y f o rs t o c k sw a sd i s c u s s e d ．T h es t o c h a s t i ct i m es e r i e so fs t o c kp r i c ew a sd e c o m p o s e di n t ot h es u mo f t e n d e n c ys e r i e sa n dr e s i d u a ls e r i e s ．A n di tw a sp r o v e dt h a tt h el a t t e rh a saM a r k o vp r o p e r t y ，a sa r e s u l t ，am o d e lf o ri n v e s t m e n td e c i s i o nw a se s t a b l i s h e d ．T h et h e o r e mp r o p o s e ds h o w e dt h a tt h e o p t i m a li n v e s t m e n ts t r a t e g yo ft h et a r g e tf u n c t i o ne x i s t su n d e rc e r t a i nc o n d i t i o n ．I na d d i t i o n ．a n a l g o r i t h mt os e e ko p t i m a ls t r a t e g ya n da ne x a m p l eo ft W Os t a g e sw e r eg i v e n ．T h ef e a s i b i l i t yo ft h i s i n v e s t m e n td e c i s i o nm o d e lw a sp r o v e db ys o m ep r a c t i c a le x a m p l e s ． K e yw o r d s M a r k o vd e c i s i o np r o g r a m m i n g ；X 2t e s t ；o p t i m a ls t r a t e g y ；s t o c k 马尔可夫决策过程[ 1 ] M a r k o vd e c i s i o n p r o c e s s e s ，M D P 是研究可控随机动态系统序贯决 策优化问题而迅速发展起来的一门科学．M D P 起 源于2 0 世纪5 0 年代贝尔曼 R ．E ．B e l l m a n 与沙 普利 L ．S ．S h a p l e y 的工作．马氏决策过程在存储 销售、目标分配[ 2 ] 、更换维修排队系统、水库调度及 管理等领域已有成功的应用，近年来在金融投资风 险管理[ 3 ] 等方面的应用取得了令人瞩目的成就． 股票价格短期内具有一定的趋势特征，研究股 价从过去到现在的变化状况，可以预测股价未来的 走势，从而可以做出投资决策，这对于股票投资者 来说无疑具有现实意义．本文利用马尔可夫决策规 划理论，讨论了一种股票的动态投资策略，将股票 价格随机过程分离，在验证其残差满足马尔可夫性 的基础上应用马尔可夫决策方法，给出了最优投资 策略．本文所讨论的投资策略，对短期股票及其它 类似证券投资具有一定的应用参考价值． 1股票的最优投资策略模型 我们利用马尔可夫决策规划理论叫讨论股票 的最优投资策略．设股票价格过程{ z 。 可以分解为 Z K 五，其中{ K 为趋势变动序列，应用妒检 验法[ 5 1 可以验证{ X 。} 是否满足马尔可夫性． 收稿日期2 0 0 4 0 5 1 0 作者简介韩苗 1 9 8 1 一 ，女，江苏省徐州市人，硕士研究生，从事金融数学方面的研究． E r a i l L u c k h a n m i a o h o t m a i l ．e o m 万方数据 2 6 2中国矿业大学学报第3 4 卷 1 ．1 模型的建立 假设 1 时间的变化是离散的，以天为单位． 2 市场无摩擦，即不存在交易费用和税收[ 6 | ． 3 允许卖空，并且可以自由支配卖空所得． 4 投资者投资股票的收益只考虑买卖股票的 价差收益，不考虑股票红利等其它收益． 5 { x 。，t l ，2 ，⋯，N } 是一个齐次的马尔可夫 链[ 7 ] ． 6 在任何时刻投资者既可以买人股票也可以 卖出股票，从而完成一个投资过程．而且每次买人 或者卖出的股票数量是一个有界的常数B ． 设{ Z 0 为随机过程，并且{ Z 。 可以分解为z ， K x ，，其中{ y ，} 为趋势过程，{ x 。，t 1 ，2 ，⋯，Ⅳ 为残差随机过程．定义五重组{ S ，A ，P ，r ，y 如下 1 S 为系统状态集．将x ，的最小值优。和最 大值m 。所限定的区间划分成若干个小区间[ 优。， m 1 ，E m l ，m 2 ，⋯，[ m H ，m 女 ，⋯⋯，定义S 中的元 素为J 。 J 。一E m 。一，，m 。 ，为了记法方便，可将厶简 记为是 ．若X f 一X 。∈I k ，且X ￡ ，2 一x 。∈ ，则 表示X 。，兄状态相同都为忌． 2 A 为系统可用的决策集，若巩 n ，a ∈A 表 示在t 时刻选用决策以，决策口表示在t 时刻买卖 一定数量B 的股票，由条件可知A 为有限集合．设 ，是定义在S 上的映射，且， i ∈A ，i ∈S ，称厂为 决策函数，全部决策函数的集合记为F ．决策函数 列{ ， ，⋯，丘，⋯⋯ 一，r ∈l I ，丌表示一个策略，日 表示全体策略的集合． 3 P 表示{ X ，，￡一1 ，2 ，⋯，Ⅳ 上的状态转移概 率族，设P 时间上齐次，称 P i i 口 一尸{ x ￡ 1 ∈I j I X f ∈I i ，7 r t 一口 ， I i ，L ∈S ，a E A 为一步转移概率族，称P 口 一 户i ， 以 为一步转移 概率矩阵，尚 玎 一P { x f 志 ∈I i I x ￡ ∈I i ，丌 为 选用策略丌时的愚步转移概率，P 瞳’ 7 r 一 掰’ 丌 为选用策略丌时的尼步转移概率矩阵． 4 r 是定义在A x S 上的实函数，称为报酬函 数． 记A 一{ 口，，a 。 ，其中a ，为买人一定数量B 的 股票，a 为卖出一定数量B 的股票．投资者可以预 测下一时刻的股票价格[ 川，即投资者心中有自己的 一个股票预期价格P 。一E Z 州 ，式中z Ⅳ 。表示 z Ⅳ ，的预测值．当t 时刻系统状态x f ∈I i E m H ，m i 时，定义期望报酬函数r i ，口。 一B P 。一 z 。 ．记t l 时刻y f 1 的预测值为y f l ，则 当P o Y f 1 m i 时，r i ，a 1 o ，r i ，a 2 O ； 当P o Y 件l ，，z H 时，r i ，a 1 - 0 ； 当P o y f 1 ∈E m H ，m i 时，，． i ，a m 0 ，m 1 ，2 ． 5 定义目标函数 y p 7 r ，i 一∑[ p ∑户’，- J ， _ 『 ] ， f 0 』∈S i 五∈S ， 1 式中卢∈ o ，1 为折现因子；V 丌，i 为用策略，r ，t 0 时从状态i 出发的条件下长期折扣期望总报 酬． 根据上述定义，五重组 S ，A ，P ，广，y } 构成一个 马尔可夫决策规划． ‘ 1 ．2 最优平稳策略耳 ，”的存在性 定义‘1 3设，r ∈Ⅱ，如果对任何巧∈Ⅱ，i ∈ 5 ，均有％ 丌 ，i ≥％ 丌，i ，则称丌‘关于折扣目 标为最优的，或称丌’为卢最优的．，r 。简称为最优策 略；‰ 丌。 称为最优报酬函数． 定理1E 3 最优值函数n i 是以下最优方程 在C 中的唯一解 y i _ m a 。x 、∽，口 p ∑p j l i ，厂 i y 歹 } ， a E A i ’乓 i ∈S ， 且 V o i m a x V p ，，i ． 此时称模型具有平稳策略优势． 注c 是折扣目标函数值空间，由假设条件知 r i ，口 有界，令M m a xI r i ，口 I ，C 一{ y 一 1 一 “E 诓A s i p _ M P ≤y ≤ 1 一卢 - 1 M e ，P 是L 维单位向量。这 个结果表明，存在一个平稳策略是最优的，因此只 要在平稳策略类删上寻找最优策略即可． 1 ．3 模型的求解 由于最优策略广使y 广 满足公式y 广 ， 广 即 厂 y 广 ，于是可以利用策略迭代法求 解y 广 ，具体步骤如下 步骤1策略求值运算．任取一个决策厂∈F ， 解线性方程组 r i ，厂 i 1 9 ∑户 j l i ，厂 i y 歹 一y i ， 』∈S i ∈S ， 求得y i y 广，i i E5 ． 步骤2策略改进算法．对步骤1 求出的 坼 广 ，寻求一个g ∈F ，使得 呀㈨，n p ∑E S 加 n y 广，_ 『 万方数据 第2 期韩苗等股票投资的马尔可夫决策规划模型 2 6 3 r i ，g i 卢≥P i j g i y ／”，歹 一 j E S r i ，厂 p ≥ 岛 厂 y 广，歹 ， 2 廷s i ∈S ． 步骤3 终止规则．若对所有的i ∈S ，式 2 等 式恒成立，则终止计算，且广为最优策略．若至少 存在一个i ∈S 使式 2 严格不等式成立，则以g 代 替厂转入步骤1 ． 算法说明1 若式 2 中达到最大的g 多于一 个，则任取其一即可，这也说明最优报酬函数是唯 一的，但达到最优函数的平稳策略可能多于一个． 2 上述算法还可略加修改以减少计算量．在 c 上定义一个变换 映射 丁对任给y ∈C 有乃y r 厂 即 厂 y ，且丁y m a x 丁∥ m a x [ r 厂 即 ， y ] ．若厂，∈F ，使得丁，坼 广 r 厂 卯 尸 K 厂 z 3 ．0 1 2 5 ，所以 { 疋 具有马氏性，因而{ X ，，￡≥1 为一个马尔可夫 链，其状态空间，一 1 ，2 ，⋯，6 } ．若给出其初始 f o 概率分布为 P X o ∈I k P t 志 1 ，2 ，⋯，6 ， 则其k 步转移概率矩阵为 P 妒 。舯 如果由{ Y 。，t 1 ，2 ，⋯，Ⅳ 得到了第N 1 时 刻的预测值y Ⅳ ，，则z N 。的预测值Z Ⅳ 。的概率 分布和均值分别可以求得[ 5 ] ． 注在计算E Z 。。。 。 时可以选用公式 E 艺Ⅳ 。 一p Ⅳ 。 ∑∑m t P ，P 如 据此可算得E Z ，。。十。 1 0 ．4 9 2 0 ，即预测了 第1 0 0 1 个交易日一汽轿车股票的收盘价格为 1 0 ．4 9 2 0 ，而2 0 0 3 年5 月1 3 日该股票的实际价格 为1 1 ．1 9 ，相对误差为6 ．6 5 ％，这个结果表明了公 式改进的有效性． Ⅳ 1 时刻股票价格的有效预测，为决策做了 必要的准备．为了说明算法的可行性，现具体给出 简单两阶段算例． 设S 一{ 1 ，2 ，A 1 一A 2 { 口，，口。 ．记口。为 买入一定数量股票，a 为卖出一定数量股票，其报 酬函数和转移概率分别为 ，- 1 ，1 7 ，，． 1 ，2 4 ， r 2 ，1 一一3 ，r 2 ，2 一6 ， P 1J 1 ，a 1 一0 ．5 ，P 2J 1 ，a 1 一0 ．5 ， P 11 ，a 2 一0 ．8 ，P 21 ，口2 一0 ．2 ， P 1f 2 ，a 1 一0 ．4 ，P 2 i2 ，a 1 0 ．6 ， P 12 ，a 2 一0 ．7 ，P 22 ，a 2 一0 ．3 ． 取p 一0 ．9 ，可求出最优策略与最优报酬函数． 通过上述给出的算法可求出f 2 i 一{ 口。，a 。 ， 即两阶段所选策略为第一阶段是卖出一定数量股 票，第二阶段是买人一定数量股票，最优报酬函数 y o ．9 ／享 一 2 0 ．2 ，9 ．2 6 1 ． 万方数据 2 6 4中国矿业大学学报第3 4 卷 3 模型的评价 本文所选的折扣期望总报酬目标函数，折扣因 子p 是固定常数．由于实际中折扣因子与市场利率 密切相关，而市场利率随机可变，因此假设p 为固 定常数主要是为了模型简化，合理的| | 9 选择应是可 变的．由于折扣因子反映了投资者的机会成本，因 此在一定情况下假设折扣因子为时间的函数是合 理的．更一般的，若考虑折扣因子卢为随机变 量‘8 | ，即设成 ￡≥o 为一个取值于 o ，1 上的随机 变量序列的情况下，如何来处理马尔可夫决策规划 问题还有待继续讨论研究． 本文建立的马尔可夫决策模型适用于短期内 股票投资，这主要是由于长期股票价格过程趋势性 减弱，其残差过程可能不满足马尔可夫性． 参考文献 [ 1 ] 侯振挺，郭先平．马尔可夫决策过程[ M ] ．湖南湖南 科学技术出版社，1 9 9 8 ．5 0 1 2 5 ． [ 2 ] 韩松臣，秦俊奇，韩品尧，等．马尔可夫决策过程在目 标分配中的应用[ J ] ．哈尔滨工业大学学报，1 9 9 6 ，2 8 2 3 2 3 6 ． H a nS C ，Q i nJ Q ，H a n P Y ，e ta 1 ．A na p p l i c a t i o no f t h em a r k o vd e c i s i o np r o c e s st Ot a r g e ta s s i g n m e n t [ J ] ． J o u r n a lo fH a r S i nI n s t i t u t eo fT e c h n o l o g y ，1 9 9 6 ，2 8 2 3 2 3 6 ． 罗捍东．证券动态投资策略[ J ] ．预测，1 9 9 9 ，1 8 2 5 3 5 4 ． L u oHD ．S e c u r i t m sd y n a m i ci n v e s t m e n ts t r a t e g y [ J ] ． F o r c a s t i n g ，1 9 9 9 ，1 8 2 5 3 5 4 ． 胡奇英，刘建庸．马尔可夫决策过程引论[ M ] ．西安 西安电子科技大学出版社，2 0 0 0 ．2 2 2 4 ． 韩东，胡锡健．经济和金融数学模型的理论与实践 [ M ] ．上海上海交通大学出版社，2 0 0 3 ．8 6 一i 0 1 ． 吴晓求．证券投资学[ M ] ．北京中国人民大学出版 社，2 0 0 0 ．2 0 3 5 ． 胡锡键，韩东，朱维宝．股票价格的回归马氏链 分析与预测口] ．预测，1 9 9 7 ，1 6 5 6 6 7 2 ． H uXJ ，H a nD ，Z h uWB ．S t o c kp r i c er e g r e s s i o n - M a r k o vc h a i n sa n a l y s i sa n df o r c a s t i n g [ J ] ．F o r c a s t i n g ， 1 9 9 7 ，1 6 5 6 6 7 2 ． 刘迪芬，刘克，刘建庸．无限阶段部分可观察马尔可 夫决策规划口] ．高校应用数学学报，1 9 9 3 ，8 2 2 1 0 2 2 0 ． L i uDF ，L i uK ，L i uJY ．P a r t i a l l yo b s e r v a b l e M a r k o vd e c i s i o np r o g r a m m i n go v e rt h ei n f i n i t e h o r i z o n [ J ] ．A p p l i e dM a t h e m a t i e s - AJ o u r n a lo f C h i n e s eU n i v e r s i t i e s ，1 9 9 3 ，8 2 2 1 0 2 2 0 ． 责任编辑邓群 胡 钉 明 明 力 胡 [ [ r L [ [ [ 万方数据