资源描述：
分类号TD5密级 U D C621.3学校代码10500 硕士学位论文硕士学位论文 （非全日制专业学位） 题目面向矿石破碎无人化系统的手眼标定及误差补偿研究 英文题目 Study on Hand-Eye Calibration and Error Compensation for Ore Crushing Unmanned System 学位申请人姓名丁先之学位申请人姓名丁先之 申请学位学科专业控制工程申请学位学科专业控制工程 指 导 教 师 姓 名指 导 教 师 姓 名 武明虎武明虎 二○二○年八月 万方数据 分类号TD5密级 U D C621.3学校代码10500 硕士学位论文硕士学位论文 题目面向矿石破碎无人化系统的手眼标定及误差补偿研究 英文题目 Study on Hand-Eye Calibration and Error Compensation for Ore Crushing Unmanned System 研究生姓名（签名） 指导教师姓名（签名）职 称教授 申请学位学科名称控制工程学科代码 085210 论文答辩日期2020.8.15学位授予日期2020.8.30 学院负责人（签名）张晓星 评阅人姓名张华军评阅人姓名程莉 2020 年 8 月 30 日 万方数据 学位论文原创性声明和使用授权说明 原创性声明原创性声明 本人郑重声明所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 学位论文作者签名日期2020 年 8 月 30 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名指导教师签名 日期2020 年 8 月 30 日日期2020 年 8 月 30 日 万方数据 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 I 摘 要 随着“工业 4.0”时代的不断推进，为打造“绿色矿山” 、 “智慧矿山” ，矿山 智能化逐步发展成为了矿产技术开发领域新的发展趋势。 在矿石开采运输过程中， 需要对溜井口的大块矿石进行破碎处理。 目前破碎作业的主要方式以人工操作为 主， 由矿工操作液压破碎锤对大块矿石进行破碎处理，自动化程度较低且存在一 定的安全隐患。为实现矿石破碎的无人化作业，提高矿石破碎的智能化，本课题 将机器视觉技术与矿石破碎作业相结合， 对深度相机和机械臂组成的视觉系统进 行手眼标定和深度测量误差补偿的应用研究。 本文的工作主要包含以下四个方面 1为得到手眼标定所需的目标点机械坐标，首先对破碎锤的液压机械结构 进行分析建模。根据液压机械臂的关节构造将其等效为四自由度机器人，利用 D-H 建模方法， 建立机械臂关节和连杆间的模型。 对建模后的液压机械臂进行运 动学分析，得到目标执行点所在坐标系与机械臂基坐标系间的齐次变换关系。通 过测量液压机械臂油缸行程可计算得到目标点的机械坐标。 2 将手眼标定技术在液压机械臂构成的视觉系统中应用实现。根据现场作 业环境及作业流程搭建 Eye-to-Hand 视觉系统。 利用棋盘格完成深度相机的标定， 得到相机的内外参数。通过设计的三维标定件，对 Eye-to-Hand 视觉系统进行手 眼标定，得到目标点从相机坐标系到机械臂基坐标系的转换关系。 3对深度测量中产生的深度误差进行分析补偿。根据深度相机的 TOF 成像 原理分析得到误差的产生与同一平面不同的光径飞行时间有关， 通过建立误差查 找表和曲线拟合的方法得到误差补偿模型， 而后利用深度成像时像素点的旋转对 称关系、像素点间的等效距离对补偿模型进行优化。补偿后的最大误差不超过 5mm，平均误差不超过 1mm，较补偿前有明显提高，经现场试验后，测量精度 明显提升。 4根据研究结果和现场作业流程基于.NET 平台设计矿石破碎无人化系统上 层软件界面。 关键词关键词矿石破碎，液压机械臂建模，手眼标定，深度误差补偿 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 II Abstract With the continuous advancement of the “Industry 4.0“ era, to build “green mines“ and “smart mines“, the intelligent development of mines has gradually become a new development trend in the field of mineral technology development. In the process of ore mining and transportation, it is necessary to crush the bulk ore at the wellhead. At present, the main way of crushing operation is a mainly manual operation. Miners operate hydraulic crushing hammer to crush and treat large ore. The degree of automation is low and there are some safety hidden dangers. To realize the unmanned operation of ore crushing and improve the intelligentization of ore crushing, this subject combines machine vision technology and ore crushing operation to conduct the application research of hand-eye calibration and depth measurement error compensation for the visual system composed of Kinect camera and mechanical arm. The work of this paper mainly includes the following four aspects 1 To obtain the mechanical coordinates of the target point required for hand-eye calibration, first, analyze and model the hydraulic mechanical structure of the breaker. According to the joint structure of the hydraulic mechanical arm, it is equivalent to a four-degree-of-freedom robot, and the model between the joint of the mechanical arm and the connecting rod is established by the D-H modeling . The kinematics analysis of the hydraulic manipulator after modeling is pered to obtain the homogeneous transation relationship between the coordinate system where the target cution point is located and the base coordinate system of the manipulator. The mechanical coordinates of the target point can be calculated by measuring the stroke of the hydraulic mechanical arm cylinder. 2 The hand-eye calibration technology is applied and realized in the visual system composed of a hydraulic mechanical arm. Set up an eye-to-hand visual system according to the working environment and working process. The checkerboard grid was used to calibrate the Kinect depth camera and the internal and external parameters of the camera were obtained. The hand-eye calibration of the eye-to-hand visual system was carried out through the designed 3D calibration pieces, and the transation relationship of target points from the camera coordinate system to the manipulator base coordinate system was obtained. 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 III 3 Analyze and compensate for the depth error in-depth measurement. Obtained according to the principle of TOF called depth camera imaging analysis of error related to the same plane of the different optical path of flight time, through the establishment of the errorlookup table and curve-fitting for error compensation model, and then using depth imaging pixel rotational symmetry relations, when the equivalent distance between pixels on compensation model optimization. The maximum error and average error after compensation shall not exceed 5mm and 1mm, which is significantly higher than before compensation and the measurement accuracy is significantly improved. 4 Design the upper layer software interface of ore crushing unmanned system based on.NET plat according to research results and field operation process. Keywords Ore crushing, Hydraulic manipulator modeling, Hand-eye calibration, Depth error compensation 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 IV 目 录 摘 要....................................................................................................................................................I Abstract...............................................................................................................................................II 目 录.................................................................................................................................................IV 第 1 章 绪论.......................................................................................................................................1 1.1 研究背景.............................................................................................................................1 1.2 研究现状.............................................................................................................................3 1.2.1 矿石破碎自动化发展及研究现状.........................................................................3 1.2.2 Kinect 应用研究现状............................................................................................. 4 1.2.3 相机标定及误差补偿的研究现状........................................................................6 1.3 本文主要研究内容............................................................................................................ 7 1.4 本文创新点.........................................................................................................................7 1.5 本文章节安排.....................................................................................................................8 第 2 章 图像信息获取及手眼系统分类.......................................................................................... 9 2.1 图像信息获取.....................................................................................................................9 2.1.1 Kinect 硬件结构及工作原理................................................................................. 9 2.1.2 Kinect_v2 图像信息获取......................................................................................11 2.2 机器视觉手眼系统分类.................................................................................................. 13 2.3 本章小结...........................................................................................................................14 第 3 章 矿石破碎无人化系统标定................................................................................................ 15 3.1 液压机械臂建模及运动学分析......................................................................................15 3.1.1 液压机械臂 D-H 建模方法.................................................................................15 3.1.2 液压机械臂连杆坐标系的建立..........................................................................16 3.1.3 正运动学分析......................................................................................................18 3.1.4 逆运动学分析......................................................................................................19 3.2Kinect 相机标定.............................................................................................................21 3.2.1 相机成像模型及标定原理..................................................................................21 3.2.2 深度图像和彩色图像的配准..............................................................................22 3.2.3 Kinect 深度相机标定........................................................................................... 24 3.3 矿石破碎控制系统手眼标定..........................................................................................26 3.3.1 液压机械臂与相机的标定原理..........................................................................26 3.3.2 矿石破碎无人化系统手眼标定..........................................................................28 3.4 本章小结...........................................................................................................................31 第 4 章 深度测量误差分析.............................................................................................................32 4.1 误差原因分析.................................................................................................................. 32 4.1.1 TOF 成像原理.......................................................................................................32 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 V 4.1.2 TOF 成像误差分析...............................................................................................34 4.2 相机误差补偿模型研究.................................................................................................. 36 4.2.1 Kinect 相机深度误差补偿原理...........................................................................36 4.2.2 误差补偿模型的优化..........................................................................................38 4.3 误差补偿实验及结果分析..............................................................................................39 4.4 本章小结...........................................................................................................................42 第 5 章 矿石破碎无人化系统设计................................................................................................ 43 5.1 系统框架设计.................................................................................................................. 43 5.2 矿石破碎控制系统软件平台设计..................................................................................44 5.2.1 系统工作流程.......................................................................................................44 5.2.2 系统功能设计.......................................................................................................45 5.2.3 系统界面实现.......................................................................................................45 5.3 本章小结...........................................................................................................................46 第 6 章 总结与展望........................................................................................................................47 6.1 总结....................................................................................................................................47 6.2 展望....................................................................................................................................47 参考文献...........................................................................................................................................49 致 谢.................................................................................................................................................53 附录 1 攻读硕士学位期间获得的成果奖励.................................................................................54 附录 2 攻读硕士学位期间参加的科研项目.................................................................................55 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 1 第 1 章 绪论 1.1 研究背景 随着我国工业化进程的不断发展和社会生产力的进一步提高， “工业 4.0”的 智能化需求愈加广泛,在矿业技术开发领域 “智慧矿山” 、 “绿色矿山”等新的理 念和举措也在不断探索和推行。矿山智能化、自动化逐步发展成为了矿产技术开 发领域新的发展趋势。在矿石的地下开采和破碎处理过程中，为了尽可能提高对 矿石资源的利用，同时也为后续冶炼工序提供优质的矿石原料，就需要对这些矿 石原材料进行一定的破碎和预处理。 另一方面为保证和提高原始矿石运输和后续 处理工序的效率,矿石在地下开采后需经过固定位置的溜井口下放至运输矿石的 巷道。 通过溜井口的网筛初步的筛选出大块矿石原料，并利用溜井口的固定式破 碎锤对筛选出的大块矿石进行破碎处理， 减少后续精矿提炼工序中对矿石原料的 打磨、破碎，提高矿产提炼作业的生产质量和效率。 在原始矿石的冶炼和运输过程中， 破碎处理工艺的准确性和质量直接影响到 矿石冶炼的最终效果。据具体的统计数据资料显示，铁精矿的品位提高 1，则 对应的高炉利用率就上升约 3， 因此可以看出破碎工艺占有非常重要的地位[1,2]。 在矿业技术研究的目标规划中，对破碎选矿领域的工艺工序倡导“多碎少磨” ， 在前期生产的各个环节尽可能的对矿石进行破碎处理。 从而提高后续磨机的处理 能力来进一步的减少能源的消耗，以此来降低选矿过程的成本[1]。 溜井口矿石破碎处理的方法和流程， 直接影响后续矿石的工艺处理的效果以 及最终产品的质量和产量。 在山东黄金所属的赤峰矿区红岭铅锌矿为进一步加强 和贯彻落实“智慧矿山” 、 “绿色矿山”的建设规划。在地下矿山矿石的筛选和开 采以及矿石运输等地下作业的流程中逐步增加自动化机械设备， 提高矿山地下作 业的效率和自动化的同时，减少不必要的时间和人力成本，保障了矿工地下作业 的便利性和其人身安全。 图1-1为红岭铅锌矿地下705溜井中段的现场作业环境。 现场筛网图片如图 1-1a所示。对于遗留在筛网上的大块矿石，由人工操作液压 破碎锤对其进行破碎处理。图 1-1b为网筛筛选出的大块矿石，图 1-1 c为现场 作业液压破碎锤。 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 2 a溜井口网筛b网筛筛选的大块矿石 （c）作业机械臂 图 1-1 溜井口网筛及大块矿石示意图 为提高破碎处理的自动化，减少人工干预，前期在项目现场对液压机械臂的 控制部分进行了相关的改造作业并安装了网络监控摄像头。 通过网络摄像头监控 溜井口的矿石情况，在地面上通过操纵杆控制液压机械臂对大块矿石进行破碎。 采用此种方式，一方面对机械臂的动作反应存在延时且操作不便。另一方面，网 络摄像头的画面传输存在延时情况， 地面操作人员无法控制机械臂准确的到达目 标位置，效率较低。同时井下的种种不确定因素也会对操作过程造成干扰，自动 化程度很低。 在目前的工业流水线生产控制中，机器视觉技术的应用愈加广泛，得益于视 觉技术对工件的定位、识别、检测引导等功能的实现，在汽车生产车间、口罩生 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 3 产车间等相关领域已经实现全自动化的无人作业。 就国内破碎过程控制现状而言， 对溜井口大块矿石的破碎作业仍采用人工干预处理的方式， 半自动化的处理方式 并不能达到理想的矿石破碎处理的控制效果。 为了进一步提高溜井口大块矿石破 碎控制的智能化和规范化程度，实现完全独立自主的无人化作业。通过对现场来 料、 破碎流程了解以及现场环境的分析。本文将机器视觉技术与矿石破碎作业结 合，改造后的破碎控制系统在实现智能化操作的同时可以保障矿工的作业安全， 减少相关人力成本， 对于后续选矿以及矿业冶炼都具有一定的社会经济以及科学 工程上的应用价值。 1.2 研究现状 1.2.1 矿石破碎自动化发展及研究现状 传统的矿石破碎控制，作业时间长、效率较低且产出不稳定。井下复杂的作 业环境阻碍了矿石的破碎作业自动控制系统的开发和优化， 增加了矿石破碎系统 作业自动化的复杂性和难度。针对这一技术难题，国外部分大型的矿产破碎企业 在矿石破碎作业自动控制的问题已经进行了系统的深入研究， 在系统研究的过程 中将破碎系统关键的部分使用自动控制的组件进行替换， 并通过选用高精度的自 动控制组件和传感器对矿石破碎作业的破碎程度和来料进行了感知和监测， 大大 提高了矿石破碎系统的作业自动化和可靠程度， 同时提高了矿石破碎作业的效率， 节省了破碎生产作业的成本[3]。 在澳大利亚的芒特-埃塞铅锌矿，研究人员对矿石破碎的原始来料以及预破 碎的作业管理流程都进行了优化。通过控制矿石来料的种类和数量，针对不同种 类和不同数量的矿石改变破碎锤的电机电流尽可能的提高作业效率， 同时也减少 了对作业设备的损耗， 对延长设备的使用寿命以及能源的有效利用都起到一定的 作用[4]。 国内相关的矿产企业对于井下的破碎作业仍然以人工为主， 自动控制设备的 应用并不广泛。相较于国外相关方面的研究起步较晚且研究不全面。目前国内矿 产相关产业对破碎系统的控制主要采用连锁控制的方式， 尚未形成一个完整的控 制体系。随着科学技术水平的提高以及相关研究的不断深入，小范围的智能化设 备也逐步应用到破碎系统作业流程的控制中。 首钢水厂选矿厂前期对于破碎系统的控制一直采用继电器连锁控制的方式， 一方面控制技术比较落后，另一方面控制流程的复杂会造成部分无产出的作业， 效率低对能源造成浪费。后期升级改造后，在现有破碎系统中引入与网络通信技 万方数据 湖 北 工 业 大 学 硕 士 学 位 论 文 4 术相结合的 PLC 控制系统，对系统设备的作业流程进行了集中控制。在集控平 台上可以通过网络监控设备， 对各部分作业设备的运行情况及作业参数进行实时 监测[5]。 马钢所属的广东南山矿业公司通过高速工业以太光纤网络， 对破碎系统的各 个作业节点进行监控。 将各个节点的作业管理环节及各个管理节点的作业流程组 态监控画面、工艺参数、设备状态等相关信息，使用高速的 osm 光交换机向各 个中央作业流程监控系统主站实时传送[6]。不同作业节点的相关信息同样通过光 交换机进行数据信息间的交互。 南山矿业公司通过对破碎监控系统工艺流程的改 进和优化，建立了一整套矿石破碎全过程的集散式作业流程监控管理系统。通过 系统的破碎流程集控作业管理平台和以太光纤网络实时组态画面， 只需数个专业 技术工人的配合，便可以便捷高效的对整个系统的集散式作业管理流程，及各个 节点的状态信息进行实时的监控。 矿石破碎系统的自动控制研究，一直吸引着国内外的研究学者。本文的研究 中所采用的机械设备为固定式液压破碎锤， 在矿山溜井口进行大块矿石的粗破碎 工作。 研究根据破碎锤液压机械臂的机械构造及现场已有的设备进行破碎系统自 动控制的改造工作，旨在提高破碎系统的智能化和无人化程度。 1.2.2 Kinect 应用研究现状 Kinect 是一款微软系列游戏机的体感外设， 因其价格低廉且小巧便携被玩家 青睐。Kinect 内部系统搭载了一个彩色镜头和一个深度红外镜头，可以同时的获 取目标对象的彩色图像和红外深度图像。另外 K
展开阅读全文
