斗齿检测系统在露天煤矿WK-35采煤电铲上的应用.pdf

煤炭工程 第 52卷第 6期 COAL ENGINEERING Vo l. 52, No . 6 doi 10. 11799/c e202006023 斗齿检测系统在露天煤矿WK-35采煤电铲上的应用 丁瑞元 国家能源集团准能集团信息中心，内蒙古鄂尔多斯010300 摘要露天煤矿采用电铲进行采煤生产，电铲斗齿脱落导致破碎机损坏的问题时常存在，为 解决该问题，在WK-35釆煤电铲上设计安装“红外热成像相机计算机视觉技术”的斗齿检测设 备。斗齿检测设备由热像仪读取模块、视屏存储模块、斗齿缺失检测模块、报警模块组成。通过采 用Vio la-Jo nes Haar级联分类器对采集图像的斗齿行进行检测和卷积神经网络进行二分类的深度学 习算法，判断斗齿是否缺失。斗齿检测设备的应用可达到斗齿完整性的自动检测识别和报警的 目的。 关键词斗齿检测；热成像；计算机视觉技术 中图分类号TP273 文献标识码A 文章编号1671-0959202006-0107-04 Application of bucket tooth detection system in WK-35 open-pit coal mining shovel DING Rui-yuan National Ener gy Gr oup Zh unneng Gr oup Infor mation Center , Or d os 010300, Ch ina Abstract Buc ket tooth falls fr om th e elec tr ic sh ovels in open-pit c oal mines often c auses d amage to c r ush er s. To solve th is pr oblem, th e infr ar ed th er mal imaging c amer a c omputer vision tec h nology is d esigned and installed on WK-35 c oal mining elec tr ic sh ovels. Th e buc ket tooth d etec tion equipment is c omposed of a th er mal imager r ead ing mod ule, a vid eo sc r een stor age mod ule, a buc ket tooth missing d etec tion mod ule, and an alann mod ule. Th e Viola-Jones Haar c asc ad e c lassifier is used to d etec t th e buc ket line of th e c ollec ted image and th e d eep lear ning algor ith m of th e c onvolutional neur al networ k is used to per for m th e two 一 c lass c lassific ation to d eter mine wh eth er th e buc ket tooth is missing. Automatic buc ket tooth integr ity id entific ation and alar m of tooth missing is r ealized . Keywords buc ket tooth d etec tion； th er mal imaging； c omputer vision tec h nology 电铲是用于对矿产表面覆盖物及矿石进行剥离 和采装作业的一种露天矿产采掘设备，具有爆破要 求低、环境适应性强、工作效率高、运营成本低、 国产技术较为成熟等优点，一直是国内大型露天矿 的主要采掘设备⑴。黑岱沟露天煤矿现有电铲12 台，其中2台电铲进行采煤作业，其余10台电铲进 行岩石剥离作业。采煤作业采用的是单斗电铲一自 卸卡车破碎站带式输送机半连续工艺，岩石剥 离作业采用的是单斗电铲一自卸卡车间断工艺。 电铲在剥离和采装作业过程中，首先铲斗在提 升力和推压力共同作用下插入被采掘的物料中，铲 斗的斗齿最先接触物料，切入点小，受力大，铲斗 上原本固定在齿座上的斗齿容易断裂或松动脱落, 且较为频繁。针对这一问题，本文设计了斗齿检测 系统，并在黑岱沟露天煤矿WK-35采煤电铲上完成 安装和使用，实现了的斗齿完整性的自动识别和 报警。 1斗齿检测系统的必要性 黑岱沟露天煤矿WK-35电铲铲斗的斗齿组件, 是靠人工在电铲停机的状态下，进行点检来确定磨 损和断损情况。在电铲挖掘装车作业过程中，司机 根本无法判断斗齿的完好情况。若出现斗齿丢失或 断损，极易发生以下问题 收稿日期2019-07-17 作者简介丁瑞元 1986,男，天津人，工程师，现从事露天煤矿信息化、自动化建设相关工作，E-mail 359940448 qq. c omo 引用格式丁瑞元.斗齿检测系统在露天煤矿WK-35采煤电铲上的应用[J].煤炭工程，2020, 526 107-110. 107 生产技术煤炭工程2020年第6期 1） 铲斗“斗唇”磨损，修复困难，影响铲斗 的使用寿命和工作效率。 2） 电铲斗齿由高猛钢或合金钢制成⑵，在采煤 作业过程中，斗齿断损丢失后若发现不及时，会随 自卸卡车拉运至破碎站，被破碎机误认为是“块 煤”进入破碎系统，导致破碎设备卡堵、损坏或皮 带撕裂等事故，将影响煤矿采煤一破碎生产工艺线 的运行并造成重大经济损失。 3） 脱落的斗齿进入破碎机引发的机械事故，甚 至可能会影响到操作人员的人身安全。 针对上述问题，研究给电铲安装一套能够自动 检测斗齿的缺失状况、及时进行预警的检测系统, 实现斗齿监测自动化、智能化，对加强现场生产管 理和设备正常运行都具有非常重要的意义。 2电铲斗齿检测系统国内使用及发展情况 随着视频技术和计算机技术的不断发展，电铲 斗齿检测系统的监控、检测技术经历了从视频监控、 红外热相机识别到计算机视觉技术几个阶段，技术 在不断成熟和进步。 2008年，宝日希勒露天煤矿在采煤电铲上安装 使用了 “高清摄像机显示器”的视频显示装置， 通过观看驾驶室内显示器的视频画面来确定斗齿的 缺失情况。由于采掘环境的恶劣，挖掘过程伴随着 大量的粉尘和较大石块，加之物料黏性较大或者环 境潮湿，该装置在成像效果上极差，同时受人工观 看显示器的不确定性，斗齿缺失问题很难及时发现。 2011年，本钢铁矿在高清摄像机显示器的基 础上，将高清摄像机改为远红外摄像机，对电铲斗 齿进行实时监控，夜间成像效果有了很大改善⑶。 20132016年期间，太钢铁矿、鞍钢铁矿等矿 山先后使用了红外热成像相机代替红外摄像机，通 过采集电铲斗齿的热像图进行成像，完全不受灰尘 和光照的影响，白天和夜间的成像完全相同，但人 工观看显示器的不确定性还是没有得到很好的解决。 2016年，德兴铜矿购置了一台太原重工生产的 WK-35电铲，随机配套安装了智能斗齿缺失检测系 统，该系统采用计算机视觉技术，对热像仪采集的 图像进行比对来确定斗齿的缺失情况，同时设计了 自动报警功能，解决了灰尘、光照和人为因素等问 题，基本实现了智能化⑷。但模式识别算法只能固 定的识别图像中某几种特征，而斗齿检测画面包括 岩石遮挡、缆绳遮挡等多种干扰因素，准确率只能 达到70。 2017年，德兴铜矿将模式识别算法进行了技术 升级，使用计算机视觉技术进行自动分析，识别斗 齿数目，判断斗齿是否缺失，并通过声光报警的方 式提醒司机，识别的准确率高达96⑸。 2018年，黑岱沟露天矿在现有WK-35电铲上 改造安装了一套“红外热成像相机计算机视觉技 术”电铲斗齿检测系统，使用效果良好，丢齿现象 未发生。 3 “红外热成像相机计算机视觉技术”电 铲斗齿检测系统的组成及关键技术 3. 1硬件组成 “红外热成像相机计算机视觉技术”斗齿检测 系统硬件是由红外热成像相机、工控机和显示器组 成。斗齿检测系统硬件如图1所示。红外热成像相 机安装在电铲大臂两个天轮中间，配套减震装置, 工控机安装在电铲的电气室，触屏显示器安装在驾 驶室的操作台上，三部分通过线缆进行通讯，连接 如图2所示。主要利用了一个红外热成像相机并结 合机器视觉检测算法达到斗齿脱落检测的目地；除 此功能之外，此套系统还通过图像处理技术和人工 智能算法对斗齿的磨损状况进行监测和记录，以便 于维护人员及时对斗齿进行更换。斗齿缺失监测预 警系统设备清单见表1。 图1斗齿检测系统硬件 3.2功能模块组成 系统功能模块分为热像仪读取模块、视屏存 储模块、斗齿缺失检测模块、报警模块。 1）热像仪读取模块。通过热像仪动态库每 108 2020年第6期煤炭工程生产技术 100ms对热像仪读取一次，若读取到图片，将图片 传输到视频存储模块和斗齿识别模块。 驾驶室 图2斗齿检测系统线缆连接图 表1斗齿缺失监测预警系统设备清单 名称规格型号数量 备注 热像仪/套JDIOOIBR 1 含恒温装置 控制器/套JDIOOIBK1 含 500GSSD 触摸屏/套VM-104T1 电源/台CLG150-12A1 热像仪安装支架/套DCT-011 触摸屏安装支架/套VESA 100MM1 控制器安装支架/套DCT-031 通讯线缆（电源 线、数据线）/根 CVXLPCC30MA1 重型聚氨酯 通讯线缆（音频线）/根CVXLMFP8MA1 重型聚氨酯 通讯线缆（VGA线）/根CVXLMFC8MA1 重型聚氨酯 斗齿缺失检测软件/套BTMD V2. 6. 31 2） 视频存储模块。读取图像，并进行计数，累 积八帧进行存储为Is的图像，每帧间隔125ms,时 间累积到30min,生成一个.avi格式文件。文件命 名方式为年-月-日时-分-秒.avi；例女口 2019-03-19_ 22-18-30. avi。 3） 斗齿缺失检测模块。斗齿识别模块是通过机 器学习和模式识别等方法对图像中的斗齿状况进行 识别和检测⑷，通过排序进而判断出斗齿是否缺失， 缺失的斗齿号。检测方法使用训练的模型对整张 图像进行斗齿检测-对检测的目标纵坐标y值进行 分析，若同一水平高度的目标数量大于5个，认为 该区域为斗齿区域计算每个斗齿的宽度图像从 左到右打小方框一＞ 检测每个小方框内是否有斗齿一＞ 从左到右进行排序T通过排序后的结果判断斗齿是 否缺失，以及缺失的斗齿号。斗齿识别和缺失检测 流程如图3所示。 4） 报警模块。根据报警等级设定一个动态数组 T存储缺失的斗齿号T如果连续十张图片斗齿没有 图3斗齿识别和缺失检测流程图 缺失，清空该动态数组T如果该数组已满，计算该 数组占比最大斗齿号，如果该斗齿号占比大于等于 80,就认为该斗齿缺失，进行报警，并清空该动 态数组。 3.3斗齿检测方法 铲齿的位置在摄像机拍摄的图像中是高度可变 的。斗齿检测分为两个阶段 第一阶段目的是将相关信息从图像中分离出 来，忽略其他信息。这一步识别出斗齿在图像的大 概位置，同时又减小了后续处理图像的大小。使用 Vio la-Jo nes Haar级联分类器对原始图像中的斗齿行 进行检测。Vio la-Jo nes检测算法将一系列基于Haar 特征以滑动窗口的方式应用于图像，以识别图像中 可能包含感兴趣对象的区域。这种技术在实时人脸 检测中得到了广泛的应用，因为Haar特征的性质使 得它们能够有效地检测像正面人脸这样的刚性对称 对象“）o虽然Vio la-Jo nes检测框架是为人脸检测而 设计的，但也可以用于检测其他物体，前提是该物 体不表现出明显的结构或构象可变性。铲齿的对称 性和刚性有助于这种类型的检测框架。 第二阶段系统软件对第一阶段检测到的区域 使用卷积神经网络（CNN）进行二分类判断斗齿是否 缺失。卷积神经网络是一类包含卷积计算且具有深 度结构的前馈神经网络，是深度学习的代表算法之 109 生产技术煤炭工程 2020年第6期 其人工神经元可以响应一部分覆盖范围内的周 围单元，对于大型图像处理有出色表现⑷。它包括 卷积层和池化层。卷积神经网络具有表征学习能力， 能够按其阶层结构对输入信息进行平移不变分类, 因此也被称为“平移不变人工神经网络”。笔者设 计了一个特别的神经网络来对第一阶段处理后的图 像进行斗齿缺失的判断。 Haar级联分类器具体过程将114个样本生成 一个Haar级联分类器所要求的文件，图像尺寸为 30 x30。利用OpenCV训练了一个8级级联分类器， 正样本80张图像和负样本500张图像，其中正样本 是图像中含有斗齿的图像，负样本是从背景图像中 随机提取的图像。背景图像是每张图片除去斗齿剩 余的部分。利用OpenCV的检测多尺度特性进行了 测试。以10的尺度因子和最小邻域5,准备率和 处理速度最好。 Haar级联分类器识别斗齿所在位置，根据同一 水平出现斗齿数最多的位置认定斗齿出现该位置的 可能性最大，根据识别到斗齿的平均高度，位置和 图像的宽度，确定感兴趣区域，根据斗齿数量，斗 齿间距和斗齿宽度，将感兴趣区域分割成与斗齿数 量相等斗齿区域，将这些斗齿区域图像送给构建好 的CNN模型处理。 网络由三个卷积层Co nv2D组成，前两个卷积 每层32个过滤器，后一个卷积64个过滤器，三个 2x2最大池化层，一个完全连接层Flat t en,最后 两个为密集层Denseo每个卷积层使用一个内核大 小3x3,步长为1,激活函数为修正线性单元 RELU,中间使用了两个随机失活Dr o po ut,失 活率为0.5。优化采用随机梯度法进行，梯度值为常 数，学习率为0.0001。网络一次处理15张图像，将 样本图像全部处理完叫做迭代一次，总共迭代了 2000次。为了使网络更加健壮，使用Ker as Imag eDat aGener at o r函数对输入图像进行规范化及 将输入除以255,输入值的范围为0到1,并应用 随机操作进一步增加训练集的多样性剪切因子为 0.2,缩放因子为0.2以及水平翻转。 4结论 1采用“红外热成像相机计算机视觉技术” 的电铲斗齿检测系统，能够适用露天矿作业现场灰 尘大、能见度小和昼夜光照等的特殊性，不受外界 环境影响，不需要人工的介入就能做出智能分析， 改变了传统监控系统中由人员进行监控和分析的方 式，减轻了操作人员的负担，弥补了传统视频监控 系统的缺陷。 2 可有效解决岩石、缆绳遮挡问题。训练神经 网络模型做样本时，将被岩石、缆绳遮挡的斗齿图 片送进神经网络训练。神经网络模型训练样本所得 到的斗齿特征不是传统图像处理所得到的有限的特 征。针对缆绳遮挡，可以知道被缆绳遮挡的斗齿位 置，从而对这几个斗齿做宽松的处理，识别到水平 边缘和竖直边缘以及这两边缘角点，竖直位置与其 他斗齿相差像素不是很大，可认为斗齿没有脱落。 3 自2018年安装使用以来，每次斗齿断损后 都能及时报警，系统一直运行良好，故障率较低， 系统还有斗齿缺失日志记录，能为斗齿的更换、统 计和分析工作提供准确的数据依据，彻底杜绝破碎 站卡堵、破碎机损坏或输煤皮带撕裂等事故发生， 有效提升现场生产管理水平和设备使用效率。 参考文献 [1] 韦宝琛.巨型电铲新型工作机构性能研究[D].上海上 海交通大学，2012. [2] 岳海峰.一种基于图像识别的斗齿检测系统在挖掘机上的应 用[J].机械管理开发，20183 73-74. [3] 张延强.WK-75型矿用挖掘机斗齿的磨损分析及结构改进 [D].太原太原理工大学，2016. [4] 张国云，郭龙源，吴健辉，等计算机视觉与图像识别 [M].北京科学出版社，2012. [5] 汤恒.基于机器视觉的电铲斗齿脱落检测算法研究[D]. 太原中北大学，2017. [6] 范晋祥，杨建宇.红外成像探测技术发展趋势分析[J].红 外与激光工程,2012, 4112 3145-3153. [7] 王庆伟，应自炉.一种基于Haar -Like T特征的人脸检测算 法[J].模式识别与人工智能，2015 1 35-41. [8] 蔡灿辉，朱建清.采用Gentle Ad aBoost和嵌套级联结构的实 时人脸检测[J]・信号处理，20138 956-963. [9] 范晋祥，岳艳军.军用红外成像系统新概念新体制的发展 [J].红外与激光工程，20111 1-6. [10] 段宇秀，杜文华，曾志强，王日俊，段能全，李晓男.基于 机器视觉的电铲斗齿缺失检测方法[J].工矿自动化， 2018, 447 75-80. [11] 杨殿成，邱朝阳.红外检测技术原理及应用[J].新疆电 力，20043 28-31. [12] 齐 凯，韩维国.大型矿用挖掘机电铲概述[J]. 一重 技术，2008 1 5-6. [13] 吴晓军，邹广华.基于边缘几何特征的高性能模板匹配算法 [J].仪器仪表学报，20137 1462-1469. 责任编辑赵巧芝 110