链篦机台车侧板裂缝检测方法研究.pdf

分类号分类号TP391密级公开密级公开 U D C 学校代码学校代码10127 硕士学位论文硕士学位论文 论文题目论文题目链篦机台车侧板裂缝检测方法研究 英文题目英文题目Research on the Detection of the Crack on the Side Plate of the Chain Grate Car 学位类别学位类别工程硕士 研 究 生 姓 名研 究 生 姓 名圣园园学号学号 2019022165 学科学科 领域领域 名称名称控制工程 指导教师指导教师王月明职称职称教授 协 助 指 导 教 师协 助 指 导 教 师职称职称 2021 年 6 月 5 日 独创性说明独创性说明 本人郑重声明所呈交的论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得内蒙 古科技大学或其他教育机构的学位或证书所使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示 了谢意。 签名日期 关于学位论文使用授权的说明关于学位论文使用授权的说明 本人完全了解内蒙古科技大学有关保留、使用学位论文（纸质版和 电子版）的规定，即本人唯一指定研究生院有权保留送交学位论文在 学校相关部门存档，允许论文在校内被查阅和借阅，可以采用影印、缩 印或其他复制手段保存论文。在论文作者同意的情况下，研究生院可以 转授权第三方使用查阅该论文。 （保密的论文在解密后应遵循此规定）（保密的论文在解密后应遵循此规定） 签名导师签名日期 万方数据 内蒙古科技大学硕士学位论文 摘要摘要 钢铁产业常作为衡量现代化国家的工业水平的重要指标，中国的粗钢产量在 2019 年占据了全球总量的 53.3，位居世界首位，主要以产量大、产品质量稳定的链 篦机回转窑球团生成工艺为主。但是链篦机台车结构复杂，侧板会因温度的交替变 化而发生形变，产生裂缝甚至部分破碎，影响球团烧结质量，所以需要定期检查侧板 损坏情况。目前以人工查看为主的检测手段费时费力，本文利用图像处理技术，设计 了一种结合深度学习算法与计算机视觉技术的裂缝检测方法，为链篦机侧板裂缝检 测领域提供新的思路。 本文的主要研究内容分为两大部分基于 DeepLabv3 语义分割模型的侧板裂缝 检测和基于图像处理的裂缝数量与长度计算。首先是裂缝数据集的制作，本文使用了 工业实地拍摄的链篦机侧板图像视频，按帧率截成图片，挑选了清晰度较好与裂缝 较为明显的 1000 张图片进行标注，作为训练数据集。然后是裂缝检测算法模型的选 择，选择使用谷歌团队开发的 DeepLabv3 模型作为侧板裂缝检测算法。使用标注与 解析好的裂缝数据集进行训练，以多次的预测实验来验证得到效果最优的权重模型。 最后是对裂缝数量与长度的计算，将识别后的带有掩膜的图像以 HSV 颜色空间分离、 高斯滤波、泛洪填充等基本图像处理方法处理后，以基于形态学的连通域和骨架提 取操作获得裂缝的骨架信息，统计计算裂缝的数量与长度，并根据设定的判伤规则， 分析侧板当前损坏情况，在必要时进行报警处理，及时安排维修工作。 本文将对链篦机侧板裂缝检测与基于图像处理技术的裂缝参数计算结合在一起， 实现了从对台车侧板裂缝的识别，到对裂缝数量与长度的计算，再到以此为依据判断 侧板损伤情况的全部环节。 实验中对裂缝大致区域识别的准确率达到了 99， 对裂缝 数量计算的准确率为 94，对裂缝长度计算的准确率为 96，平均误差率为 2.12。 实验结果表明该法能有效地识别图像中的裂缝，对于现代钢铁企业提高球团烧结质 量，延长机器设备使用寿命，指导工业生产，提升企业效益具有一定的参考价值。 关键词关键词 裂缝检测；计算机视觉；DeepLabv3；图像处理；裂缝计算 I 内蒙古科技大学硕士学位论文 Abstract The steel industry is often used as an important indicator to measure the industrial level of a modern country. China’s crude steel production accounted for 53.3 of the global total in 2019, ranking first in the world, mainly based on the grateslewing machine with large output and stable product quality. The kiln pellet generation technology is mainly used. However, the structure of the grate trolley is complex, and the side plates will de due to the alternating temperature changes, causing cracks or even partial breakage, which affects the sintering quality of the pellets. Therefore, it is necessary to check the damage of the side plates regularly. At present, the detection based on manual inspection is time consuming and laborious. This paper uses image processing technology to design a crack detectioncombiningdeeplearningalgorithmandcomputervisiontechnology,which provides a new idea for the field of crack detection in the side plate of the grate. The main research content of this paper is divided into two parts side slab crack de tection based on DeepLabv3 semantic segmentation model and calculation of the number and length of cracks based on image processing. The first is the production of the crack data set. This article uses the image video of the side plate of the grate machine taken on the spot in the industry, cuts into pictures according to the frame rate, and selects 1000 pictures with better definition and more obvious cracks for annotation, as the training data set. Then there is the choice of the crack detection algorithm model. The DeepLabv3 model developed by the Google team was chosen as the side slab crack detection algorithm. Use the welllabeled and resolved fracture data set for training, and use multiple prediction experiments to verify the optimal weight model. Finally, the number and length of the cracks are calculated. After the recognized image with the mask is processed by basic image processing s such as HSV color space separation, Gaussian filtering, flooding and filling, the connected domain and skeleton based on morphology are extracted. Operate to obtain the skeleton ination of the cracks, calculate the number and length of the cracks, and analyze the current damage of the side panels according to the set damage rules, give an alarm if necessary, and arrange maintenance work in time. This paper combines the crack detection of the side plate of the chain grate with the calculation of the crack parameters based on image processing technology, and realizes the II 内蒙古科技大学硕士学位论文 identification of the cracks in the side plate of the trolley, to the calculation of the number and length of the cracks, and then based on this All aspects of judging the damage of the side panel. In the experiment, the accuracy of crack identification reached 99, the accuracy of the calculation of the number of cracks was 94, the accuracy of the calculation of the crack length was 96, and the average error rate was 2.12. The experimental results show that the can effectively identify the cracks in the image, and it has certain reference value for modern steel companies to improve the quality of pellet sintering, extend the service life of machinery and equipment, guide industrial production, and improve corporate efficiency. Key words Crack Detection; Computer Vision; DeepLabv3; Image Processing; Crack Calculation III 内蒙古科技大学硕士学位论文 目录目录 摘要I Abstract II 1 绪论 1 1.1 选题背景 1 1.2 国内外研究现状 2 1.3 论文研究内容 8 1.4 章节安排 8 2 链篦机台车侧板裂缝检测系统研究方案 10 2.1 桥梁裂缝检测方案简述 10 2.2 公路路面裂缝检测方案简述 11 2.3 侧板裂缝检测总体方案设计 12 2.4 本章小结 14 3 基于 DeepLabv3 的侧板裂缝检测算法设计 15 3.1 DeepLabv3 算法 15 3.1.1 DeepLabv3 的结构 15 3.1.2 空洞卷积 16 3.1.3 空洞空间金字塔池化 17 3.1.4 Xception 主干网络 18 3.2 模型训练与预测结果 19 3.2.1 数据集的制作 19 3.2.2 模型训练与预测结果分析 22 3.3 本章小结 24 4 基于形态学的侧板裂缝参数算法设计 25 4.1 裂缝图像的预处理 25 4.1.1 HSV 颜色空间分割 25 4.1.2 高斯滤波 28 4.1.3 泛洪填充 30 4.2 形态学处理 32 4.2.1 膨胀与腐蚀 32 4.2.2 连通域操作 33 4.2.3 骨架提取 34 4.2.4 参数计算 35 4.3 本章小结 38 IV 内蒙古科技大学硕士学位论文 5 链篦机台车侧板损伤检测 39 5.1 基于裂缝数量的检测 39 5.2 基于裂缝长度的检测 41 5.3 实验结果与分析 44 5.4 本章小结 46 结论 47 参考文献 48 在学研究成果 53 致谢 54 V 内蒙古科技大学硕士学位论文 1 绪论绪论 1.1 选题背景选题背景 在高炉炼铁的工艺中，富矿粉或精矿生产的球团矿是当前的主要材料[1]，而球团 矿被称为高炉的“精料” ，具有品位高、碱度低、强度好、透气性强等特点。目前国 内的烧结系统主要有竖炉、带式焙烧机和链篦机回转窑环冷机系统[2]，我国主要以 产量大，产品质量稳定的链篦机回转窑球团生产工艺为主。链篦机回转窑球团法是 一种联合机组生产球团矿的方法。它的主要特点是生球的干燥预热、预热球的焙烧固 结、焙烧球的冷却分别在三个不同的设备中进行，主要设备由链篦机回转窑和环式 冷却机组成[3]，而链篦机则是最为关键的设备。 链篦机的工作环境比较恶劣，温度变化极大，由 20◦C 到 1000◦C 左右交替变化， 链篦机工作时，承载着沉重的矿石材料从低温区向高温区运动，既要面对高温下的氧 化作用，又要承受由于温度交替变化产生的热应力、台车运作时扭矩产生的扭转应 力、球团矿对台车侧板的撞击与挤压产生的应力，这些因素导致链篦机板发生变形， 产生裂缝。这样主要会造成多方面的危害。一是链篦机挡板上的裂缝会对生产现场 烧结球团矿的质量产生影响，过多过宽的裂缝会造成链篦机的漏风率上升，对矿石 原材料的受热受压等生产工艺条件产生不良影响[4]， 导致最终的产品在质量上不如设 计要求上的标准，进而影响企业的信誉，甚至危害之后的生产和制造环节；二会影响 整个工业生产的产能，不管是停机检修还是更换材料，都极大地限制甚至降低了原 来的产能，影响了企业的生产活动安排，损害了企业的经济利润，甚至于链篦机正在 工作时发生安全事故，链篦机挡板破裂造成矿石材料外泄，对现场工作员工和企业 安装的生产设备造成重大危害，这都是企业和社会不希望发生的重大事故。因此，对 链篦机的侧板进行实时查看，在台车侧板产生裂缝的时候，能及时地了解，并对裂缝 的相关数据进行统计与分析，判断链篦机侧板损坏情况，及时安排维修和更换工作， 是十分有必要的。 传统钢铁企业面临的环保、人工成本上涨、原材料成本上涨利润空间缩小等问 题，开始逐渐朝生产自动化、智能管控一体化的方向转型。在如今计算机技术和人工 智能高速发展的背景下，将机器视觉与传统的钢铁生产流程相结合，实现智能钢铁 制造，不仅可以降低成本，优化管控，还能实现技术创新，利用大数据技术，结合深 度学习算法，实现对钢铁生产多个环节的智能检测和分析，及时给出处理意见，对现 1 内蒙古科技大学硕士学位论文 代钢铁企业提高产品质量、增长机械设备的使用寿命、减少生产过程中的安全事故、 提升企业经济效益具有重要意义。 1.2 国内外研究现状国内外研究现状 人们对裂缝检测的研究起于路面和桥梁裂缝的检测，多以人工检测为主。主要是 由测量技术人员以相关检测设备（例如搭载相关探测传感器的台车设备）亲身近距离 观察裂缝，采集信息，然后进行相关处理。这一类的人工方法比较耗费时间和工作人 员的精力，而且会根据检测技术人员的工作状态，因主观原因使得测量结果不够精 确。而且近距离观察裂缝现场，特别是在高楼和桥梁等工作场景下，具有一定的安全 隐患。所以，更加高效、更加安全的无损检测技术也随之发展起来。 无损检测技术就是在不损坏检测对象结构的前提下，利用选定的仪器设备对指 定的参数进行检测的技术手段[5]。 简单地来说就是不会对检测目标产生破坏的检测技 术。其优秀之处在于无损检测技术对检测目标没有产生损坏。例如针对桥梁、道路、 高楼等混凝土建筑进行检测，能最大程度地减少对检测目标的损坏；其次，由于无损 检测技术依赖于选定的传感器等仪器设备，对比人工大大减少了工作量，也不会对检 测目标例如道路桥梁的正常运行产生影像；最后一点是测量的精度，无损检测技术 的检测精度比较高，可靠度更好。发展至如今，实际应用的无损检测技术根据应用场 景和使用的传感器的不同，可分为超声波探测技术、激光探测技术、红外成像探测技 术、探地雷达检测技术和光纤传感器检测技术等。 超声波技术被应用在无损检测领域内最初是在 20 世纪 30 年代，60 年代开始出 现了电磁超声换能器，主要应用于金属材料的缺陷检测。我国在 50 年代初开始进入 这个研究领域，并在 60 年代就有单位开始尝试使用超声脉冲波来进行混凝土裂缝检 测，并逐渐研制了多种型号的超声波检测仪器。它的基本原理是人为地在混凝土材料 或者结构中发射超声脉冲波，这种脉冲波在混凝土内部中传播，通过计算它的传播时 间、频率和波幅值的变化来实现对混凝土结构裂缝的检测。这种方法具有操作简单、 快捷准确和成本低廉等优点[6]， 但是会因为混凝土内部存在的水分或者空气而产生较 大的误差，这是其不足之处。 激光检测是一门随着光电检测领域的发展而出现的学科[7]，它利用对光的反射、 折射和衍射到全息干涉等光学原理，根据检测目标出现裂缝时检测到的图像的变化 来实现对裂缝的检测和裂缝相关参数的计算（例如裂缝的实际宽度，位置的偏移情况 2 内蒙古科技大学硕士学位论文 等） 。 红外成像探测技术是 20 世纪 60 年代发展起来的一种先进无损检测手段[8]，此后 国内外的许多学者逐渐开展相关领域内的研究。发展到如今，较为成熟的红外热成像 仪主要有美国的 FLIR、RNO 和日本的 NEC，法国的 CA 等产品。国内的武汉高德、 浙江大立的发展情况也十分不错。红外成像检测的原理在于混凝土建筑表面在一定 范围内具有相同的结构和材质，因此其物质的比热容相近，如果其表面没有裂缝，那 么温度的分布应该是比较均匀的，而裂缝区域的温度会有所变化。红外热成像仪就是 根据混凝土表面的红外辐射来获取各个区域的点的温度信息，裂缝的区域和大小等 参数就可以根据红外成像来进行初步的判断。这种检测方法精度高、范围广，但是成 本较为昂贵。 探地雷达是 20 世纪 70 年代发展起来的，在后续十多年内逐渐开始商业化，我国 在 90 年代开始引用这项技术应用于在桥梁、堤坝和道路等场景[9]。这种检测方法的 原理在于高频电磁脉冲波在有损介质中传播时遇到不同的介质，部分雷达脉冲波能 量会被反射到表面上，雷达主机接收到反射的电磁波，进行记录与分析。此法测量精 度高，但是要求操作人员具有大量的工程操作经验。 光纤传感技术是美国航空航天局在 1979 年开展的一项新型传感技术[10]，发展到 如今其种类多达上百种，涉及到能源环保、生物医药、航空航天等多个领域。国外已 有许多采用光纤传感器检测技术的工程应用实例德国的混凝土公路桥采用光纤传 感器来长期监测桥面裂缝情况；加拿大的泰勒大桥使用光纤传感器来检测桥梁的劣 化情况及交通流量；美国的 Rio Puerco River 40 号高速公路大桥使用光纤传感器监测 高性能混凝土的强度和裂缝情况。目前在混凝土桥梁裂缝检测方面使用的最为广泛 的就是光纤传感器技术，它具有灵敏度高、耐久性好等特点，但是需要预先在桥体内 部安装好光纤传感器，没有安装传感器的桥梁无法使用这项技术。 但在这些方法中，大多数裂缝检测技术都基于各种类的传感器，尽管这些传感器 能确保工作人员的安全，提高检测率，但是亲临现场操作各种传感器设备对于管理工 作人员来说是较为繁琐的，费时费力。所以研究人员开始开发更为高效、成本更低的 裂缝检测技术。 基于图像处理的裂缝检测技术起源于 20 世纪 50 年代出现的数字图像处理技 术[11]，它的出现与计算机的发展、数学的发展以及社会各行各业的需求是密不可分 的。随着计算机的出现，专业人员便逐渐设计使用计算机来获取对应的图像信息。计 3 内蒙古科技大学硕士学位论文 算机技术经过这些年的蓬勃发展，许多专业的工作人员借助更好的硬件和更优的算 法开发了许多有独到效果的裂缝检测方法。 在裂缝检测领域中，图像分割技术的使用较多，应用的范围更加广阔。对图像的 识别检测主要有三类，第一类是简单的分类工作，也就是能将图像分为不同的类别， 比如划分为行人、车辆、动物这些；第二类是以先验框将目标物体标记出在图像中的 具体位置，这比第一类简单的分类工作识别精度更高，信息更加多，但是方框也会框 入无用的背景信息；第三类就是精度更高的图像分割。凭借更优秀的算法技术，将目 标物体与背景区域分割开来，准确地识别其信息。 图像分割主要有两个方向，一是语义分割，将所有的像素点都分成对应的类别； 二是实例分割，它是识别图像中的每一个对象。举个简单的例子，如果一幅图中有两 只小狗，语义分割会将这两只小狗标记为一类，并打上标签比如 dog；而实例分割会 分开识别，标记为 dog1 和 dog2。实质上，图像分割技术就是指将图像划分成互不相 交、有具体含义的子区域[12]，在相同区域内的像素点都有部分的相似性，不同区域的 像素点存在一定的差异性，即对图像中具有相同性质的像素点赋予相同标签的过程。 传统的图像分割主要有基于阈值、边缘、区域等几种方法。这些方法对算法程序要求 较高，还需要工作人员有较好的专业知识来进行人工干预操作，效率慢一点。 基于阈值的分割法，其原理在于把图像中的像素点进行分类。通过设置不同的阈 值，将像素点分成不同的类别，来达到图像分割的目的。阈值的设计方法也有多种， 诸如全局阈值， 自适应阈值等。 Melissa R 等人提出了一种半自动的图像分割法[13]， 以 基于骨骼影像设置的阈值和用楔形文字骨骼作为模型，在用 24 具尸体标本测试后， 结果显示有所改进，更为可靠；Javeria Amin 等人[14]提出了以磁共振成像得到大脑中 肿瘤的图像后，经过阈值分割、形态处理等操作后，能获得更好质量的脑部图像为医 生提供更可靠的参考。 基于边缘的分割法，其原理在于找出灰度值相差较大处的像素点，将此处的像素 点连接起来形成边缘轮廓，从而达到分割图像的效果。此方法大致分为串行与并行两 种。串行法先找边缘的起始点，并以相似性搜寻周围的像素点，最后连成一线达到分 割的效果；而并行法是以空域微分算子进行卷积操作，实现图像分割。常用的边缘检 测微分算子主要有 Roberts、Sobel、Prewitt、LoG、Canny 等。Mamta Mittal 等人论述 了边缘检测的好处与局限性[15]，关键在于边缘连接性与边缘厚度。F.Orujov 等人设计 了基于模糊的图像边缘检测算法来识别处理视网膜血管图像[16]，在实验中对 STARE 4 内蒙古科技大学硕士学位论文 数据集的精度为 0.865，对于 DRIVE 数据集的精度为 0.939，对于 ChaseDB 数据集的 精度为 0.950。 基于区域的分割法，原理在于以图像的空间信息来进行分割。根据像素点的相 似性对其进行分类并合成区域，比较典型的方法就是区域生长法和分裂合并法。区 域生长法原理也是将相似的像素点合并构成一个区域来实现分割的效果，以种子生 长反复迭代合并，最后迭代到整个图像区域为止，种子生长规则主要以图像的颜色、 空间特征等信息为主。 近些年，随着深度学习概念的发展与成熟，结合人工智能与深度学习概念的新计 算机视觉技术有了很大的发展，许多具有创新意识的工作研究人员已经在尝试将深 度学习的概念应用到各个领域中，包括图像分类[17]、目标检测[18]、智能驾驶[19]、AI 机器人[20]等。在深度学习语义分割领域，也出现了许多优秀的算法。 最早将深度学习概念应用在图像分割中的方法就是著名的 FCN。在 FCN 网络中 所有的层都是卷积层[21]，所以叫全卷积网络，它主要使用了卷积化操作，上采样操 作和跳跃结构，实现对图像进行像素界别的分类。传统的 CNN 网络使用固定长度的 特征向量来实现分类，但是 FCN 区别于传统网络，它可以输入任意大小的图像，在 最后的 feature map 进行 upsample 操作，恢复成最初的大小。既没有丢失原始图像中 的空间信息，又实现了对图像进行逐像素分类。 Segnet 模型是一个比较简单的语义分割模型，它以基础的 EncoderDecoder编码 解码结构 为主题，对图像中的像素点进行分类判别，前部分是 Encoder 环节，先是 用一步步的卷积操作来提取图像的特征，并通过 Pooling 扩大感受野，缩小图像。后 半部分是 Decoder 环节，通过反卷积和上采样操作来重现图像的特征与尺寸。Badri narayanan Vijay 等人在 2017 年提出了 Segnet 网络[22]，改进了 max pooling，减少了参 数量，提升了对边界的分割效果。在后续的 Bayesian SegNet 中[23]，增加了 dropout 层 和贝叶斯决策，并以多输出代替了单输出，求取多输出的平均值作为最后的分割结 果，将分割精度提升了 2 3。 UNet 网络也是在 FCN 网络上做改进形成的[24]。因为它的网络结构就是一个大 写的 U 字形，所以叫做 UNet。UNet 的结构分为两部分，分别是特征提取和上采样 两个环节。左起的特征提取环节类似于 VGG 网络，在 UNet 网络中，输出的图像每 次经过一个池化层，其尺度大小就会变化一次，一个有五次变化。而在上采样环节则 有和之前五次尺度变换相对应的通道数的尺度融合。UNet 以多尺度和大图像分割， 5 内蒙古科技大学硕士学位论文 所以在医学影像处理中应用的特别广泛。Dolz J, Desrosiers C 等人[25]在脊柱成像的计 算方法和临床应用国际研讨会上提出了一种用于多模式磁共振图像中椎间盘图像定 位与分割的方法，以基于 UNet 网络在公开的 MICCAI 2018 挑战数据集上取得不错 的效果。 然后是由何恺明博士在 2017 年提出的 Mask RCNN, 作为最为著名的图像分割算 法之一，Mask RCNN[26]在之前的 Fast RCNN 中将 RoI Pooling 层替换成了 RoIAlign 层，并且添加了并列的全卷积层。Mask RCNN 不同于以往的算法，Mask RCNN 训 练起来难度较小，训练时间更短，十分的省时高效。M G Dorrer,Dorrer M G 等人将 Mask RCNN 应用在智能冰箱“Robimarket”的视觉检测中[27]，与 YOLOv3 同时训练 测试数据集，实验结构中 Mask RCNN 显示出了更好的性能，有更高的检测精度。 DeepLab 系列是谷歌针对语义分割提出的网络模型。最初的 DeepLabv1[28]是在 2015年的ICLR上出现的。 它在VGG16的基础上， 结合了深度卷积神经网络 （DCNNs）