矿井突水水源判别的ESN正则化模型_李垣志.pdf

第 46 卷 第 1 期 煤田地质与勘探 Vol. 46 No.1 2018 年 2 月 COAL GEOLOGY echo state networks; regularization; singular decomposition; cross validation 矿井水害是煤矿的主要灾害之一，是制约煤炭 资源开发和影响煤炭企业安全的重要因素[1]。随着 我国煤炭开采深度和强度的不断增大，在开采过程 中产生的剧烈扰动使地下涌水通道相互贯通，含水 层的完整性遭到严重的破坏。一旦发生矿井突水， 必须快速、准确地查明突水来源，以便为后续展开 防治水工作提供理论依据和指导。由于地下水的水 化学特征能够准确、 有效地反映含水层的物化特性， 因此，根据水化学特征来判断突水来源具有快速、 准确、经济的特点[2]。但地下涌水通道错综复杂， 水质的水化学特征随时间和空间发生一定的变化， 所以地下水的水化学特征表现出高度的非线性关 ChaoXing 第 1 期 李垣志等 矿井突水水源判别的 ESN 正则化模型 109 系，采用传统的数学模型难以准确判别。 目前，随着机器学习型算法在数据挖掘方面的 飞速发展，已被广泛应用于各种学科领域，尤以神 经网络[3]、支持向量机SVM[4-5]、遗传算法GA[6] 和微粒群算法PSO[4,7]等模型为研究热点。目前， 不少学者已将其应用于矿井突水水源的判别，并取 得了一定的成果。然而任何一种模型都存在自身的 缺陷，传统神经网络具有较强的非线性逼近能力， 但其训练效率低，易陷入局部最小；SVM 泛化能力 强，但不适用于过大的训练样本，训练时间长且效 果不佳；而采用全局优化算法与传统神经网络相结 合的方法，虽解决了局部最优问题，改善并提高了 模型的稳定性和准确性，但全局算法计算复杂，寻 优过程极其耗时，实效性差，不易操作。然而，回 声状态神经网络ESN在非线性系统辨别方面较传 统的神经网络有较大的改进[8]。具有训练算法简单， 计算方便，全局最优等优点。目前该算法已被应用 于时间序列预测[9]、光伏发电输出功率预测[10]、网 络流量预测[11]、 交通流预测[12]等领域。 但 ESN 模型 也具有不足之处， 标准的 ESN 模型因状态矩阵条件 数过大，导致采用伪逆法计算的网络输出权值幅动 较大。若测试样本稍有偏差，将会对网络输出产生 较大的影响，模型的准确性、稳定性及泛化能力大 大降低，过拟合问题严重。 因此，为解决上述问题，笔者分别将 6 种正则 化方法与标准 ESN 模型进行耦合，通过对比分析， 找出一种能够有效解决模型病态解，从而提高模型 准确性、稳定性及泛化能力的方法。 1 样本特征分析 选取的水源样本来自文献[13]的某矿 26 个典型 突水资料，该样本包含了 11 个水化学特征组分 Ca2、Mg2、K、Na、HCO3-、Cl-、SO42-、总硬度、 碱度、pH、总矿化度TDS。其中 1-6 和 X1-X3 号 样本为 4-6 煤顶板水作为第 1 类水源； 7-13 和 X4-X5 号样本为奥灰水作为第 2 类水源；14-20 和 X6 号样 本为 6 煤底至奥灰砂岩水作为第 3 类水源。采用 Rock Ware AqQa 软件对该样本的 6 大常规离子和 pH、TDS 绘制了 Durov 图，如图 1 所示。 图1中2个三角区域为阴阳离子相对浓度分布， 中间方形区域为离子浓度综合分布情况，2 个矩形 区域分别为 pH 和 TDS 分布。从方形区域可以看出 第 2 类水源分布较为集中，结合三角区域阴阳离子 分布可初步得出该水源的水质类型为 SO4Cl KNa 型。第 1，3 类水源分布较为分散且相近，其 水质类型难以确定。3 种水源样本不同程度出现交 叉重叠分布，水源特征分布与突水类型存在较为复 杂的非线性映射关系，故采用简单的成分分析法难 以准确的判别突水来源。 图 1 含水层水化学特征 Durov 图 Fig.1 Durov diagram of hydrochemical characteristics of aquifer 2 基于正则化的 ESN 神经网络 2.1 ESN 神经网络 ESN 是一种新型递归神经网络，由 H. Jaeger 在 2001 年首次提出[11-12,14]。主要由输入层、中间层 储备池、输出层 3 部分组成，如图 2 所示。与传 统的 BP 神经网络不同的是 ESN 神经网络采用了储 备池结构和快速的权值训练方法。储备池结构中含 有大量且稀疏连接的神经元，该结构具有逼近任意 复杂非线性映射关系的能力； 标准 ESN 神经网络是 采用伪逆法计算网络输出权值 Wout，这种权值训练 策略可以有效地提高模型的学习效率，其结果为全 局最优解。 图 2 ESN 神经网络结构 Fig.2 ESN neural network structure 储备池状态更新方程和结果输出方程[11] （）（ ） inter 11 nfnnn ■■ ■■ inbackxW uWxWy 1 （） out 11 , 1nfnn■■ ■■out yWux 2 ChaoXing 110 煤田地质与勘探 第 46 卷 式中 un∈RK为输入变量； K 为样本特征维度； yn ∈RL为输出变量，L 为样本输出维度；xn∈RN为 状态变量，N 为储备池神经元个数；n 为样本数量； finter、fout分别为储备池激活函数和逆激活函数；Win ∈RKN、W∈RNN、Wback∈RNL分别为输入层、中 间层、反馈层连接权重，在训练过程中保持不变。 根据式1收集每个样本的输入变量和状态变 量[un， xn]到矩阵 M∈RnKN， 再由式2算与 M 相对应的输出矩阵 Y∈RnL，最后根据式3计算出 输出权重 Wout∈RKNL。 YMMMYMW T1T - out 3 式中 M为矩阵 M 的伪逆。 从式3可以看出，ESN 神经网络的训练过程转 化为对 Wout的求解过程，由于 M 的法矩阵条件数非 常大，直接求逆会导致 Wout的不稳定。故对 M采用 奇异值分解法SVD[15]。首先对 M 进行 SVD 分解 TT 1 I i σ Σ iii MUΣVuv 4 式中 U∈RnI和 V∈RKNI为正交阵；Σ diag σ1,σ2,,σI∈RII， σ1≥σ2≥≥σI＞0 为矩阵 M 的奇异值；ui，vi分别表示 U，V 的列向量。 因此，Wout可表示为 T 1T out 1 I i i σ - Σ i i u Y WM YVΣU Yv 5 通常认为||Wout||2较小时为稳定解，但由式5 可以看出，i 较大时，σi取较小的值，此时 Wout将会 输出一个较大的值，导致||Wout||2就大，从而产生不 稳定解。因此，采用伪逆法求得的 Wout即使可以保 证学习精度无偏差，但如果待测样本对应的状态矩 阵 Mtest稍有偏差，将会导致 MtestWout的计算结果 被放大。即，模型的学习精度很高，但预测能力却 差，模型出现过拟合。故引入了 Tikhonov、阻尼最 小二乘奇异分解法DSVD和截断奇异值法TSVD 3 种不同正则化方法来解决 ESN 神经网络 Wout的训 练问题。 2.2 Tikhonov 正则化方法 Tikhonov 正则化方法是当前病态问题解算中应 用普遍性最高的一种方法[16]。 对于病态的线性方程， 吉洪诺夫提出了如式6所示的计算准则 min 2 2 2 2 outout RWYMW 2 λ- 6 式中 R 为正则化矩阵；||||表示欧式范数，λ 为正则 化参数。 式6左边第一项为偏差项，第二项为解的方差 项，是对偏差的惩罚项，λ 可以权衡模型的偏差与 解的方差。该准则既要保证偏差最小又要兼顾解的 幅动不能过大。 据 Tikhonov 正则化方法，式6的解可以表示为 T21T WM MIM Yλ - out 7 式中 I 为单位阵，即 RI。 将式3代入式6整理可得 T 1 I i ii f σ Σ i outi uY Wv 8 2 22 i i i σ f σλ 9 对比式5和式8可以发现 Tikhonov 正则化实 际上引入了维纳滤波因子 fi，主要是通过调整 λ 来 减弱较小奇异值对解的影响， 从而减弱了病态问题。 2.3 阻尼最小二乘奇异分解法DSVD 阻尼最小二乘法又称马奎特法[17]。式3与最小 二乘的表达相似，马奎特提出给系数矩阵 MTM 的 对角矩阵加上一个常数，以改善方程的条件，见式 10。 T1T Wα - out MMIM Y 10 同理，采用 SVD 分解法，将式4代入式10 整理可得与式8一样的形式，不同的是维纳滤波因 子变为 fi’ 2 2 i i i σ f σ α 11 由式11可以看出引入的阻尼因子 α 可以对奇 异值的大小进行调整， 削弱奇异值对解的影响程度。 2.4 截断奇异值法TSVD TSVD法[18]主要原理是将Σ中较小的奇异值舍去， 从而消除较小奇异值对 Wout的影响，具体做法是首 先设定一个阈值 β，通常该阈值选择 Σ 中的某个奇异 值。当 σiTikhonov_GCV大于号代表 优于，其他方法因误判率过高或不稳定暂不讨论。 图 5 回判精度对比图 Fig.5 Comparison of re-discrimination accuracy 在回判精度方面，由图 5 可知，6 种方法有着 类似于图 4 的分布特点，也具有相似的结论，故在 模型的回判精度方面有DSVD_LDSVD_GCV Tikhonov_GCV。 过拟合问题通常是由于模型过多的学习样本中 的局部特征，而失去了对全局特征的描述。因此， 综合图 4、图 5 可以看出，采用伪逆法的 ESN 模型 对训练样本是一种无偏差学习，继承了样本中所有 特征要素；而采用了有偏估计的正则化判别模型并 没有出现上述问题，这样的做法可以有效防止模型 过多学习样本的局部特征，从而避免模型过拟合。 由于 Tikhonov_L、TSVD_L 和 TSVD_GCV 模型误 判率高且不稳定，故不作为分析的重点。 图 6 预测误判率对比图 Fig.6 Comparison of the prediction error rate 从图 6 可以看出，标准 ESN 模型的预测误判 率随 N 值的增大而减小，但并未降至最低，在 7001 000 之间仍有较大的波动；DSVD_L 较 ESN 模型有了明显的改善，且在 N600 时开始出现 0 错 误率； DSVD_GCV 和 Tikhonov_GCV 的分布曲线较 为接近，N≥250 时开始出现 0 错误率。因此，从模 型的预测准确率可以看出 DSVD_GCV≈ Tikhonov_ GCVDSVD_L标准 ESN。 图 7 预测精度对比图 Fig.7 Comparison of prediction accuracy 在模型预测精度方面，DSVD_GCV 和 Tikho- nov_GCV 模型在较低 N 值情况下，仍有较高的预测 精度，在 1 000N300 范围内，模型的预测精度不受 N 值的影响； 而标准 ESN 和 DSVD_L 只有在较大的 N 值才有较高的预测精度。因此，综合图 6 和图 7 可以 看出，采用 DSVD_GCV 和 Tikhonov_GCV 法的判别 模型在预测精度和准确率方面有着明显的优势。 综合上述分析可以得出基于 DSVD_GCV 法 的 ESN 判别模型在 4 项评估指标中有着突出的表 现，模型对 N 值的要求较低，具有计算速度快、复 杂程度低、泛化能力强的特点；而基于 Tikhonov_ GCV 法 ESN 模型虽然在预测效果方面近似等于 DSVD_GCV 模型，但回判效果却不及 DSVD_GCV 模型；而基于 DSVD_L 法的 ESN 判别模型的回判 效果好，但预测效果对 N 值的依赖性较强，模型复 杂程度高。 5.4 判别结果与分析 为进一步验证与分析 DSVD_GCV_ESN 模型判 别结果的稳定性与准确性，同时避免样本选取偶然 性，重新随机选取第 4、9 和 13 号样本作为待测样 本，分别对应 1、2、3 类突水类型，其余样本做训 练样本。与 2.2 节网络参数设定步骤一致，N 值分 别取 300 和 1 000，具体参数见表 2。 表 2 ESN 网络参数设定 Table 2 Setting of ESN network parameters 结构 finterfout R ISin, out, backD/ 11[300, 1 000]1tanhsigmoid 0.2 [0.2 0.3 0]1 ChaoXing 第 1 期 李垣志等 矿井突水水源判别的 ESN 正则化模型 113 将整理好的样本数据载入建立好的 DSVD_ GCV_ESN 和标准 ESN 模型中，分别运行 100 次， 判别结果见表 3，标准均方根误差Enrmse分布曲线 如图 8 所示。 表 3 判别结果 Table 3 Discrimination results 模型 运行次数 N/个误判率/ 期望输出预测输出 最佳 Enrmse 平均 Enrmse 最差 Enrmse ESN 100 30049 [1，2，3][1.073 6，2.021 5，2.946 9]0.053 8 0.310 7 0.601 3 DSVD_GCV 100 3000 [1，2，3][0.976 7，1.977 3，2.992 1]0.019 3 0.120 2 0.293 1 ESN 100 1 00012 [1，2，3][0.991 6，2.048 3，2.938 2]0.045 5 0.192 7 0.362 5 DSVD_GCV 100 1 0000 [1，2，3][1.010 3，2.030 9，2.934 0]0.042 5 0.108 7 0.220 5 图 8 模型误差分布曲线 Fig.8 Model error distribution curve 由表 3 和图 8 可知，N300 时，标准 ESN 判别 模型在 100 次运行中判别精度波动较大，误判率高 达 49；而 DSVD_GCV_ESN 模型的 3 项 Enrmse指 标均明显低于标准 ESN 模型， 准确率达到了 100； N1 000 时，标准 ESN 模型的预测精度有所提高， 波动有下降， 但仍有 12的误判率； 而 DSVD_GCV_ ESN 模型的判别精度和波动情况仍维持在较低水 平，变化不明显。表明了增加储备池规模对该模型 的判别效果没有明显的影响。即DSVD_GCV 正则 化方法能够使ESN模型以较少的模型代价获得更高 的模型效益，同时解决了模型 N 值难以确定、判别 精度低、稳定性差及过拟合问题。 6 结 论 通过对某矿 26 个突水样本的水化学特征的分 析，发现不同含水层的水化学特征较为相近，给水 源判别带来了一定的难度。因此，本文建立了标准 ESN 水源判别模型，同时又针对该模型在训练过程 中易出现病态解的问题进行了分析，分别采用 6 种 正则化方法予以解决，并通过实例进行了验证。结 果表明 a. 对于同一种正则化方法，采用 GCV 法计算 的正则化参数的判别效果优于 L 曲线法。 b. DSVD_GCV 正则化方法可以有效地解决模 型病态解的问题，计算出的 Wout更具合理性，有效 解决了 ESN 模型过拟合问题， 增强了模型的泛化能 力，样本的预测精度显著提高。 c. DSVD_GCV 正则化方法受 N 值影响较小， 能够将映射关系控制为最优，同时又能获得高质量 的模型输出，有效解决了 ESN 模型 N 值难以确定、 判别精度低和稳定性差的问题。因此，基于 DSVD_ GCV 正则化方法的 ESN 模型是一种能够快速、准 确、高效的判别矿井突水来源的新方法。 参考文献 [1] 张海鹏. 浅析煤矿中的水灾害防治[J]. 中国安全生产科学技 术，2008，45100–103. ZHANG Haipeng. Probe into prevention and control of water disaster in coal mine[J]. Journal of Safety Science and Technol- ogy，2008，45100–103. [2] 钱家忠，吕纯，赵卫东，等. Elman与BP神经网络在矿井水 源判别中的应用[J]. 系统工程理论与实践，2010，301 145–150. QIAN Jiazhong，LYU Chun，ZHAO Weidong，et al. Comparison of application on Elman and BP neural networks in discriminat- ing water bursting source of coal mine[J]. Systems Engineer- ing-Theory Practice，2010，301145–150. [3] 徐星， 郭兵兵， 王公忠. 人工神经网络在矿井多水源识别中的 应用[J]. 中国安全生产科学技术，2016，121181–185. XU Xing，GUO Bingbing，WANG Gongzhong. Application of artificial neural network in recognition mine multiple water sources[J]. Journal of Safety Science and Technology，2016， 121181–185. [4] 秦波，吴庆朝，张娟娟，等. 基于PSO优化SVM的转炉炼钢 用氧量预测研究[J]. 测控技术，2014，3312121–124. QIN Bo，WU Qingchao，ZHANG Juanjuan，et al. Blowing oxygen volume prediction of BOF steelmaking based on PSO-SVM[J]. Measurement Control Technology，2014， 3312121–124. [5] 焦李成，杨淑媛，刘芳，等. 神经网络七十年回顾与展望[J]. 计算机学报，2016，3981697–1716. JIAO Licheng，YANG Shuyuan，LIU Fang，et al. Seventy years ChaoXing 114 煤田地质与勘探 第 46 卷 beyond neural networksretrospect and prospect[J]. Chinese Journal of Computers，2016，3981697–1716. [6] 李垣志，牛国庆，刘慧玲. 改进的GA-BP神经网络在矿井突 水水源判别中的应用[J]. 中国安全生产科学技术，2016， 12777–81. LI Yuanzhi，NIU Guoqing，LIU Huiling. Application of im- proved GA-BP neural network in the identification of mine water inrush sources[J]. Journal of Safety Science and Technology， 2016，12777–81. [7] 王江荣，黄建华，罗资琴，等. 基于粗糙集的Logistic回归模 型在矿井突水模式识别中的应用[J]. 煤田地质与勘探，2015， 43670–74. WANG Jiangrong，HUANG Jianhua，LUO Ziqin，et al. Ap- plication of Logistic regression model based on rough set in rec- ognition of mine water inrush pattern[J]. Coal Geology Ex- ploration，2015，43670–74. [8] 柴毅，周海林，付东莉，等. 基于ESN和PSO的非线性模型 预测控制[J]. 控制工程，2011，186864–867. CHAI Yi，ZHOU Hailin，FU Dongli，et al. Nonlinear model predictive control based on ESN and PSO[J]. Control Engineer- ing of China，2011，186864–867. [9] 于永兵. 基于改进ESN的混沌时间序列预测方法的研究[D]. 鞍山辽宁科技大学，2012. [10] 胡海峰，伦淑娴. 基于Leaky-ESN的光伏发电输出功率预测[J]. 电子设计工程，2016，241715–17. HU Haifeng，LUN Shuxian. The output power foresting based on Leaky-ESN[J]. Electronic Design Engineering，2016，2417 15–17. [11] 吴佳东. 基于回声状态网络的网络流量预测研究[D]. 兰州 兰州大学，2016. [12] 杨飞. 基于回声状态网络的交通流预测模型及其相关研究[D]. 北京北京邮电大学，2012. [13] 聂凤琴，许光泉，关维娟，等. 马氏距离判别模型在矿井突水 水源判别中应用[J]. 地下水，2013，35641–42. NIE Fengqin，XU Guangquan，GUAN Weijuan，et al. Appli- cation of Ma Distance discriminant model on water source iden- tification of mine water inrush[J]. Ground Water，2013，356 41–42. [14] 乔俊飞，李瑞祥，柴伟，等. 基于PSO-ESN神经网络的污水 BOD预测[J]. 控制工程，2016，234463–467. QIAO Junfei，LI Ruixiang，CHAI Wei，et al. Prediction of BOD based on PSO-ESN neural network[J]. Control Engineering of China，2016，234463–467. [15] 韩敏，任伟杰，许美玲. 一种基于L_1范数正则化的回声状 态网络[J]. 自动化学报，2014，40112428–2435. HAN Min，REN Weijie，XU Meiling. An improved echo state network via L1-norm regularization[J]. Acta Automatica Sinica， 2014，40112428–2435. [16] 范千，张宁. 改进的果蝇优化与Tikhonov正则化相结合的病 态问题稳健解法[J]. 测绘学报，2016，456670–676. FAN Qian，ZHANG Ning. Ill-conditioned problems robust so- lution of improved fruit fly optimization algorithm combining with Tikhonov regularization [J]. Acta Geodaetica et Cartographica Sinica，2016，456670–676. [17] 阮百尧，葛为中. 奇异值分解法与阻尼最小二乘法的对比[J]. 物探化探计算技术，1997，19147–49. RUAN Baiyao，GE Weizhong. Singular value decomposition and damping least square solution[J]. Computing Tech- niques for Geophysical and Geochemical Exploration，1997， 19147–49. [18] 欧明，甄卫民，於晓，等. 一种基于截断奇异值分解正则 化的电离层层析成像算法[J]. 电波科学学报，2014，292 345–352. OU Ming，ZHEN Weimin，YU Xiao，et al. A computerized ionospheric tomography algorithm based on TSVD regulari- zation[J]. Chinese Journal of Radio Science，2014，292 345–352. [19] 胡彬. 基于模型函数方法的正则化参数选取[D]. 抚州东华 理工大学，2012. 责任编辑 张宏 ChaoXing