基于长短时记忆神经网络的回采工作面瓦斯浓度动态预测_孙卓越.pdf

第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines Vol.50No.12 Dec. 2019 瓦斯是制约矿山安全生产的主要灾害源之一[1-2]， 井下瓦斯浓度数据是煤矿瓦斯灾害防治措施制定的 重要依据。各种数学方法辅以计算机手段预测煤矿 瓦斯浓度成为未来发展方向[3]， 神经网络技术在煤 矿瓦斯浓度预测领域也已取得长足发展[4-5]。众多学 者对瓦斯预测作了大量研究并取得丰硕成果[6-11]。 神 经网络不仅可用于瓦斯浓度预测，在瓦斯涌出量预 测[12-13]领域也取得了长足发展。由于煤矿瓦斯浓度 DOI10.13347/ki.mkaq.2019.12.035 基于长短时记忆神经网络的回采工作面 瓦斯浓度动态预测 孙卓越 1， 2， 曹垚林3， 4， 杨 东3， 4， 韩楚健5， 马小敏3， 4， 赵岳然3， 4 （1.煤炭科学研究总院， 北京 100013； 2.天地科技股份有限公司 开采设计事业部， 北京 100013； 3.煤科集团沈阳研究院有限公司， 辽宁 沈阳 110016； 4.煤矿安全技术国家重点实验室， 辽宁 抚顺 113122； 5.中国矿业大学 （北京） 能源与矿业学院， 北京 100083） 摘要 为提高煤矿回采工作面瓦斯浓度预测精度， 考虑瓦斯浓度受历史状态制约， 提出长短时 记忆神经网络 LSTMNN 煤矿回采工作面瓦斯浓度动态预测模型。 利用山西省某煤矿回采工作面 瓦斯浓度实测数据构建该模型学习训练样本， 并检验预测效果。研究表明， LSTMNN 算法通过遗 忘、 记忆过程对过去一段时间瓦斯浓度信息进行筛选， 克服传统预测方法将输出值独立看待的 短板， 提高矿井瓦斯浓度预测精确度及可靠性； 将 LSTMNN 算法预测结果与实测值对比， 预测模 型平均绝对误差、 平均相对误差、 均方根误差、 纳什模型效率指数分别为 0.004 319、 0.800 6、 0.005 714、 0.436 3。 关键词 时序效应； 长短时记忆神经网络； 回采工作面； 瓦斯浓度； 动态预测 中图分类号 TD712文献标志码 A文章编号 1003-496X （2019 ） 12-0152-06 Dynamic Prediction of Gas Concentration in Mining Face Based on Long Short-term Memory Neural Network SUN Zhuoyue1,2, CAO Yaolin3,4, YANG Dong3,4, HAN Chujian5, MA Xiaomin3,4, ZHAO Yueran3,4 （1.China Coal Research Institute, Beijing 100013, China；2.Coal Mining and Designing Department, Tiandi Science and Technology Co., Ltd., Beijing 100013, China；3.China Coal Technology Engineering Group Shenyang Research Institute, Shenyang 110016, China；4.State Key Laboratory of Coal Mine Safety Technology, Fushun 113122, China；5.School of Energy and Mining Engineering, China University of Mining and Technology（Beijing） , Beijing 100083, China） Abstract To improve the prediction accuracy of gas concentration in mining face, considering that gas concentration is restricted by historical state, a dynamic prediction model of gas concentration in mining face based on long short-term memory neural network（LSTMNN）is proposed. Using the measured data of gas concentration in a coal mining face in Shanxi Province, the model learning training samples were constructed and the prediction effect was tested. The research shows that LSTMNN algorithm filters the ination of gas concentration in the past period through forgetting and memory process, overcomes the short board of traditional prediction which regards the output value independently, and improves the accuracy and reliability of mine gas concentration prediction； by comparing the prediction results of LSTMNN algorithm with the measured values, the average absolute error, average relative error, root mean square error and Nash model efficiency index of the prediction model were respectively 0.004 319, 0.800 6, 0.005 714 and 0.436 3. Key words timing effect； long short-term memory neural network （LSTMNN） ； mining face； gas concentration； dynamic prediction 基金项目 国家自然科学基金青年科学基金资助项目 （51304119） ； 国家重点研发计划资助项目 （2017YFC0804205） 152 ChaoXing Vol.50No.12 Dec. 2019 第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines 图 2S 型激活函数 变化规律具有明显的时序特征，前人研究将各时刻 瓦斯浓度独立看待，并未考虑历史瓦斯浓度对当前 时刻影响。长短时记忆神经网络 （LSTMNN） 算法模 型克服这一缺陷，并已成功运用于给水排水、机械 运转状态等领域[14-15]， 且表现突出， 因此将该方法引 入煤矿瓦斯浓度预测，利用现场实测数据进行学习 训练，并定量评价预测结果，以期探索更加精确的 煤矿瓦斯浓度预测方法。 1长短时记忆神经网络算法 神经网络是从信息处理角度对人脑神经元网络 进行抽象模拟，深度学习方法具有无须人工特征选 择等优势， 在语义分析、 机器翻译、 图像识别等领域 中取得重大突破 ，引 入 长短时 记 忆神经网 络 （LSTMNN） 算法模型预测煤矿井下瓦斯浓度。 1.1神经网络基础模型 长短时记忆神经网络与传统神经网络相同， 建 立由输入值 xi、 偏置项 b、 输入值权重 wi、 激活函数 f 和输出值 y 等 5 部分组成的数学模型，单个神经元 模型如图 1。 输出值 y 可表示为 yf （ n i 1 ∑xiwib）（1） 由式 （1） 可知， 神经网络输出值可由各项输入值 与其权重乘积的累加，并考虑偏置值影响通过激活 函数变换得到。 常用的 S 型激活函数主要有 sigmoid 函数和 tanh 函数 sigmoid （x） 1 1e-x （2） tanh （x） ex-e-x exe-x （3） 激活函数对 x 求导可知 f′ （x） f （x） （1-f （x） ）（4） S 型激活函数如图 2。 S 型激活函数具有非线性放大增益特征，对任 意输入的增益等于激活函数曲线在该输入点斜率。 由图 2 可知， sigmoid 激活函数可将任一实数映射到 区间（0， 1） 中； tanh 激活函数可将任一实数映射到 （-1， 1 ） 区间， 较 sigmoid 函数具有更快收敛速度， 激 活函数映射值决定该节点信息能否通过。基于元素 组成， 构建单层神经网络， 单层神经元网络结构如 图3。 由式 （1 ） 可知， 神经网络预测准确性对各项输入 值权重 wi及偏置值 b 等参数高度依赖， 为提高预测 精度须动态调整输入层至隐含层和隐含层至输出层 之间各项权重值。将真实值与神经网络预测值之差 求平方和作为误差函数， 并将误差逐层回传， 调整权 重建立反馈式神经网络。 记每个真实值为 dj， 每个预 测值为 yj， 则误差函数 E （w， b） 表示为 E （w， b） 1 2 m-1 j 0 ∑（dj-yj） 2 （5 ） 进一步调整权值， 根据学习规则， 其沿最快方向 下降， 则第 j 个输出节点的梯度值△w （i， j） 为 △w （i， j） -η ∂E （w， b） ∂w （i， j） （6） 式中 η 为梯度下降系数。 由式 （4）和式 （6）可知隐藏层至输出层的权重 wij为 图 1单个神经元模型 图 3单层神经元网络结构 （a ） sigmoid 激活函数（b） tanh 激活函数 153 ChaoXing 第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines Vol.50No.12 Dec. 2019 ∂E （w， b） ∂wij ＝ 1 ∂wij 1 2 n－1 j ＝ 0 ∑（dj－yj） 2＝ （dj－yj） ［f （Sj） （1－f （Sj） ） ］ xi（7） 式中 Sj为训练集中的第 j 个数据。 同理， 计算得第 j 个偏置值 bj为 ∂E （w， b） ∂bj ＝ （dj－yj） ［f （Sj） （1－f （Sj） ） ］（8） 再从隐藏层推至输入层，记第 i 个输入层节点 到第 k 个隐藏层节点的权值为 wik， 偏置值 bi， 调整 结果分别为 wikwik-η （f （1-f） ） xi（9） bibi-η （f （1-f） ）（10 ） 递归神经网络在原始神经网络基础之上将误差 以梯度方式逐层回传至隐藏层、 输入层， 进而调整各 神经网络层权重值， 不断提高神经网络预测准确性。 1.2长短时记忆神经网络运算方法 长短时记忆神经网络 （LSTMNN） 是一种特殊的 循环神经网络，不仅考虑上一时间节点输出值影 响， 同时将附近几个时间节点的输出值都考虑进来， 并且采用 “门” 结构选择性地遗忘或记忆某些时间节 点输出值对当前节点输出值的影响，长短时记忆神 经网络结构如图 4。 图 4 中方框 A 表示 1 个计算单元， 称之为 “元 胞” ； 线表示信息向量传递， 从上一个节点输出端传 递至下一个节点输入端；小方框内的圆圈表示信息 向量乘积或加和运算； xt表示第 t 时刻输入序列值； ht表示第 t 时刻隐含层状态序列值； σ 表示 sigmoid 激活函数运算层， tanh 表示 tanh 激活函数运算层， 计算结果分别落于区间 （0， 1）和 （－1， 1） ， 用于判断 对应部分信息是否通过。LSTMNN 计算过程主要由 遗忘过程、记忆过程、输出过程和更新过程 4 步组 成， 长短时记忆网络计算过程如图 5。 图 5 （a） 展示 LSTMNN 计算中遗忘过程， 用于选 出需被放弃的信息， 该决定由 sigmoid 激活函数运算 层控制， 运算函数如下 ft[σ （Wf[ht-1， xt]bf） ]Waba（11 ） 式中 ft为 sigmoid 激活函数运算结果； σ 为 sig－ moid 激活函数； Wf为自循环体输入层至隐含层权重 值； ht-1为 t-1 时刻隐含层权重值序列状态； xt为输 入值序列值； bf为 sigmoid 激活函数运算结果偏置 值； Wa为修正权重； ba为遗忘过程偏置值。 图 5 （b） 展示 LSTMNN 计算中记忆过程， 分 2 步 完成 第 1 步通过 sigmoid 激活函数运算选取需被更 新及输出的信息 it， 运算函数如式 （12 ） ； 第 2 步由 tanh 激活函数计算候选值C t， 运算函数如式 （13） itσ （Wi[ht-1， xt]bi）（12 ） C ttanh （Wc[ht-1， xt]bc） （13） 式中 Wi为记忆过程权重值； bi为记忆过程偏 置值； Wc为候选权重值； bc为候选偏置值。 图 5 （c） 展示 LSTMNN 计算中输出过程，“元胞” 新状态值 Ct的计算分 3 步完成① 计算遗忘过程 中滤出信息 ft与上一 “元胞” 状态值 Ct-1乘积； ② 计 算记忆过程保留信息 （it， C t） 之乘积； ③ 将两乘积求 和， 运算函数如下 CtftCt-1itC t （14） 图 5 （d） 展示 LSTMNN 计算中隐含层状态更新 过程， 首先通过 sigmoid 激活函数运算选取 “元胞” 输 出信息 Ot， 运算函数如式 （15 ） ；“元胞” 状态通过 tanh 激活函数运算之后， 与 sigmoid 激活函数层运算结果 Ot相乘， 最终完成隐含层状态的更新计算， 运算函 数如式 （16） 。 Otσ （W0[ht-1， xt]b0）（15 ） 图 4长短时记忆神经网络结构 154 ChaoXing Vol.50No.12 Dec. 2019 第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines 图 5长短时记忆网络计算过程 htOttanh （Ct）（16） 式中 W0为隐含层状态更新过程时权重值； b0 为更新过程偏置值。 2算例分析 2.1长短时记忆神经网络模型构建 某时刻矿井瓦斯浓度受历史瓦斯情况影响， 具 有明显的时序效应。 以 2016 年 6 月至 8 月山西省某 煤矿回采工作面瓦斯浓度为研究背景，共提取 413 组数据，因选取对象处于同一煤层相同采区，地质 条件变化较小，同时选取未揭露地质构造时瓦斯浓 度监测数据作为研究对象，由于地质条件变化引起 的瓦斯浓度差异可忽略不计。长短时记忆神经网络 计算流程图如图 6。 由前文分析可知，某时刻瓦斯浓度受历史瓦斯 状态制约，所以首先需要确定影响当前时刻瓦斯浓 度的历史时间长度范围， 即输入序列长度。显然， 预 测精度随输入序列长度增加而提高，但计算量及内 存消耗呈指数增长， 因此， 在保证预测精度前提下应 尽量缩短序列长度， 将其取值为 5。 按照 9∶1 将数据总量分为 10 的等分， 取前 9/10 作为预测训练集， 后 1/10 作为预测检验集， 即前 372 组瓦斯浓度变化作为 LSTMNN 学习训练集，后 41 组数据作为 LSTMNN 模型测试检验集。考虑短时间 内瓦斯浓度变化甚微， 受监测设备精度限制， 适当增 加监测计数时间间隔， 因此数据量较少， 但仍需要用 有限监测数据进行神经网络学习训练。引入迁移学 习法则， 冻结其神经网络前几层， 使其权重在学习训 练过程中不再发生变化，利用现有少量数据训练神 经网络最后一层，以提高数据利用效率实现良好的 预测效果。 2.2预测效果评价 后 41 组瓦斯浓度预测值与实际值对比如图 7。 可以看出，瓦斯浓度实测值与预测值曲线贴近， 预 测效果良好。 为定量评价 LSTMNN 模型预测精确度、 可信度 155 ChaoXing 第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines Vol.50No.12 Dec. 2019 图 6长短时记忆神经网络计算流程图 图 7瓦斯浓度预测值与实际值对比 及稳定性， 引入 4 种指标[16]评价预测效果 平均绝对 误差 （Mean Absolute Error， MAE） 评价预测值与实测 值偏离程度，即预测准确度；平均相对误差 （Mean Relative Error， MRE）评价预测模型可靠性； 均方根 误差 （Root Mean Square Error， RMSE） 评价预测样本 数据离散程度；纳什模型效率指数（Nash-Sutcliffe Model Efficiency， NSME） 评价预测模型稳定性， 各评 价指标计算方法如下 MAE 1 N N i 1 ∑｜Xi-X ＾ i｜ （17 ） MRE 1 N N i 1 ∑ ｜Xi-X ＾ i｜ Xi 100（18） RMSE 1 N N i 1 ∑（Xi-X ＾ i） 2 ■ （19 ） NSME1- 1 N N i 1 ∑（Xi-X ＾ i） 2 1 N N i 1 ∑（Xi-X i）2 （20 ） 式中 N、 Xi、 X ＾ i、 X 分别为样本数量、 实测值、 预测 值、 实测均值。 由式 （17 ）式 （20 ）计算， 结果保留 4 位有效数 字，预测模型误差评价指标结果平均绝对误差为 0.004 319， 平均相对误差为 0.800 6， 均方根误差 为 0.005 714， 纳什模型效率指数为 0.436 3。从评价 指标可知预测准确度及可靠性极高，离散程度低， 预测模型稳定性良好。 3结论 1） LSTMNN 模型借助 S 型激活函数非线性放大 增益作用，通过遗忘、记忆过程对历史瓦斯浓度信 息进行筛选，并在计算更新过程中将其作为当前瓦 斯浓度影响因素，提高矿井绝对瓦斯浓度预测精确 度及可靠性。 2 ） 矿井瓦斯浓度具有明显时序效应， 建立LSTMNN 模型对回采工作面瓦斯浓度进行预测，与实测值对 比并定量评价预测效果， 预测模型平均绝对误差、 平均相对误差、 均方根误差、 纳什模型效率指数分 156 ChaoXing Vol.50No.12 Dec. 2019 第 50 卷第 12 期 2019 年 12 月 Safety in Coal Mines 别为 0.005 949、 0.020 76、 0.007 845、 0.807 2， 各考 核评价指标表明模型预测准确度、可靠性及稳定性 良好。 参考文献 ［1］ 袁亮．留巷钻孔法煤与瓦斯共采技术 ［J］ ．煤炭学报， 2008， 33 （8） 898－902． ［2］ 安明燕， 杜泽生， 张连军．2007－2010 年我国煤矿瓦斯 事故统计分析 ［J］ ．煤矿安全， 2011， 42 （5） 177－179． ［3］ Lecun Y, Bengio Y, Hinton G． Deep learning［J］ ． Nature, 2015, 521 （7553） 436－444． ［4］ 王晓路， 刘健， 卢建军．基于小波变换和优化预测器的 瓦斯浓度预测 ［J］ ．应用基础与工程科学学报， 2011， 19 （3） 499－508． ［5］ 王军号， 孟祥瑞， 吴宏伟．基于小波包与 EKF－RBF 神 经网络辨识的瓦斯传感器故障诊断 ［J］ ．煤炭学报， 2011， 36 （5） 867－872． ［6］ 李冬， 彭苏萍， 杜文凤， 等．煤层瓦斯突出危险区综合 预测方法 ［J］ ．煤炭学报， 2018， 43 （2） 466－472． ［7］ Dingwen Dong． Mine Gas Emission Prediction based on Gaussian Process Model［J］ ． Procedia Engineering, 2012, 45 334－338． ［8］ 吕伏， 梁冰， 孙维吉， 等．基于主成分回归分析法的回 采工作面瓦斯涌出量预测 ［J］ ．煤炭学报， 2012， 37 （1） 113－116． ［9］Li R, Shi S, Wu A, et al． Research on Prediction of Gas Emission based on Self－organizing Data Mining in Coal Mines ［J］ ． Procedia Engineering, 2014, 84 779. ［10］ 魏春荣， 李艳霞， 孙建华， 等．灰色－分源预测法对煤 矿瓦斯涌出量的应用研究 ［J］ ．采矿与安全工程学 报， 2013， 30 （4） 628－632． ［11］ 尹光志， 李铭辉， 李文璞， 等．基于改进 BP 神经网络 的煤体瓦斯渗透率预测模型 ［J］ ．煤炭学报， 2013， 38 （7） 1179－1184． ［12］ 付华， 姜伟， 单欣欣．基于耦合算法的煤矿瓦斯涌出 量预测模型研究 ［J］ ．煤炭学报， 2012， 37 （4） 654. ［13］ 付华， 谢森， 徐耀松， 等．基于 ACC－ENN 算法的煤矿 瓦斯涌出量动态预测模型研究 ［J］ ．煤炭学报， 2014， 39 （7） 1296－1301． ［14］ 陈英义， 程倩倩， 方晓敏， 等．主成分分析和长短时记 忆神经网络预测水产养殖水体溶解氧 ［J］ ．农业工程 学报， 2018， 34 （17） 183－191． ［15］ 李锋， 陈勇， 向往， 等．基于量子加权长短时记忆神经 网络的状态退化趋势预测 ［J］ ．仪器仪表学报， 2018， 39 （7） 217－225． ［16］ 谢丽蓉， 路朋， 范文慧， 等．基于 LVQ－CPSO－BP 算法 的煤体瓦斯渗透率预测方法研究 ［J］ ．采矿与安全工 程学报， 2017， 34 （2） 398－404． 作者简介 孙卓越 （1992） ， 男， 河北保定人， 研究实习 员， 煤炭科学研究总院在读硕士研究生， 主要从事矿山灾害 及其防治方面的研究。 （收稿日期 2019-10-18； 责任编辑 王福厚） 157 ChaoXing