基于双目视觉的矿用挖掘机环境感知系统研究.pdf

专专 业业 学学 位位 硕硕 士士 学学 位位 论论 文文 基于双目视觉的矿用挖掘机环境感知系统研究基于双目视觉的矿用挖掘机环境感知系统研究 Research of Environment Perception System of Mining Excavator based on Binocular Vision 作 者 姓 名 牛帅旗 工 程 领 域 机械工程 学 号 31704036 指 导 教 师 郭正刚 副教授 王欣 副教授 完 成 日 期 2020 年 5 月 大连理工大学 Dalian University of Technology 万方数据 大连理工大学学位论文独创性声明 作者郑重声明所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目 基于双目视觉的矿用挖掘机环境感知系统研究 作 者 签 名 日期 2020 年 05 月 23 日 万方数据 大连理工大学专业学位硕士学位论文 I 摘 要 矿用挖掘机是露天矿开采的重要装备，但由于开采现场环境恶劣，人员健康与安全 无法保障，熟练的矿用设备操作人员难以培养，生产效率难以最大化，所以矿用挖掘机 的无人化越来越引起重视。而对于周围环境的三维感知是实现挖掘机无人化的关键技 术，针对矿用挖掘机环境感知的相关研究对于实现挖掘机无人化具有重要意义。本文对 于双目相机用于挖掘机的环境感知进行研究，利用双目相机的立体成像原理获取周围环 境的三维数据。 为了研究双目相机在矿用挖掘机环境感知中的使用效果，本文选择挖掘场景中常见 的矿石堆作为实验对象， 搭建环境感知实验平台。 确定了感知系统双目视觉的软件构成， 包括交互控制模块、图像数据采集模块、相机标定模块、图像预处理模块、图像校正模 块、立体匹配模块、三维重建模块，针对系统软件进行重点研究。为了得到双目相机图 像与被拍摄目标之间的转换关系，对双目相机进行标定，根据常见的相机标定方法的特 点，选择张正友相机标定法作为双目相机的标定方法。进行了左右单目相机的单独标定 以及双目相机标定，得到左右相机的内部参数矩阵、畸变系数以及外部参数，并使用标 定参数进行图像的畸变校正，降低图像畸变对三维重建的影响。选取合适的灰度化以及 滤波算法进行图像预处理，并进行了双目图像立体校正，以提高图像的处理速度与准确 性。设计了基于 SURF 特征检测的立体匹配算法，使用实验对象的双目图像进行了立体 匹配实验，将实验结果与 FAST 以及 SIFT 特征检测算法的立体匹配效果进行比较分析。 根据三维重建原理，选择基于视差值的三维重建方法。利用视差图进行实验对象的三维 重建工作。设计了不同条件下三维重建实验，研究了不同光照条件以及拍摄距离对三维 数据的影响。 本文完成了矿用挖掘机环境感知系统方案设计，完成了相关实验研究。通过实验证 明基于 SURF 的立体匹配算法在矿用挖掘机工作场景中具有较好的匹配速度和匹配效 果， 在光线均匀充足以及合理拍摄距离下使用双目相机可以有效提高三维重建数据的准 确性。 利用双目相机进行三维重建获得空间三维点云数据， 生成实验对象的三维点云图， 实现了基于双目视觉进行挖掘机三维环境感知的研究目的。 关键词矿用挖掘机；双目视觉；相机标定；立体匹配；三维重建 万方数据 基于双目视觉的矿用挖掘机环境感知系统研究 II Research of Environment Perception System of Mining Excavator based on Binocular Vision Abstract Mining excavator is an important equipment in open-pit mining, but due to the harsh environment on the mining site, the health and safety of personnel can not be guaranteed, skilled operators of mining equipment are difficult to cultivate, and the production efficiency is difficult to maximize, so the unmanned mining excavator attracts more and more attention. Three-dimensional perception of the surrounding environment is the key technology to realize unmanned excavator for mines.Relevant research on environment perception of excavator is of great significance to realize unmanned excavator.This paper studies the environmental perception of binocular camera used in excavator, and obtains three-dimensional data of surrounding environment by using the stereo imaging principle of binocular camera. In order to study the effect of binocular camera in mining excavator environment perception, this paper chooses the common ore heaps in mining scene as the experimental object, and establishes an environment perception experimental plat.The software components of binocular vision of perception system are determined, including interactive control module, image data acquisition module, camera calibration module, image preprocessing module, image correction module, stereo matching module, three-dimensional reconstruction module. The system software is mainly studied.In order to get the conversion relationship between the binocular camera image and the target being photographed, the binocular camera is calibrated. According to the characteristics of common camera calibration s, Zhang Zhengyou camera calibration is selected as the calibration of binocular camera.The internal parameter matrix, distortion coefficient and external parameters of the left and right cameras are obtained by separate calibration of the left and right monocular cameras and binocular cameras. The calibration parameters are used to correct the distortion of the image and reduce the effect of image distortion on the three-dimensional reconstruction.Select appropriate grayscale and filter algorithm for image preprocessing, and stereo correction of binocular image to improve image processing speed and accuracy.A stereo matching algorithm based on SURF feature detection is designed. Stereo matching experiments are pered using binocular images of the experimental objects. The results are compared with those of FAST and SIFT feature detection algorithms.According to the principle of three-dimensional reconstruction, a three-dimensional reconstruction based on parallax value is selected.The parallax map is used for three-dimensional reconstruction of experimental objects.Three-dimensional reconstruction experiments under different conditions were designed, and the effects of different illumination conditions and shooting distance on 万方数据 大连理工大学专业学位硕士学位论文 III three-dimensional data were studied. In this paper, the scheme design of mining excavator environmental awareness system has been completed, and the related experimental studies have been completed.Experiments show that the stereo matching algorithm based on SURF has a good matching speed and effect in mining excavator working scene. Using binocular camera with even enough light and reasonable shooting distance can effectively improve the accuracy of three-dimensional reconstruction data.Binocular camera is used for three-dimensional reconstruction to obtain spatial three-dimensional point cloud data, and the three-dimensional point cloud images of experimental objects are generated, which achieves the research purpose of three-dimensional environmental perception of Excavators Based on binocular vision. Key WordsMining Excavator; Binocular vision; Camera Calibration; Stereo Matching; 3D Reconstruction 万方数据 基于双目视觉的矿用挖掘机环境感知系统研究 IV 目 录 摘 要 ............................................................................................................................. I Abstract .............................................................................................................................. II 1 绪论 .............................................................................................................................. 1 1.1 选题的目的与意义 ........................................................................................... 1 1.2 国内外研究现状 ............................................................................................... 1 1.2.1 国外研究现状 ........................................................................................ 1 1.2.2 国内研究现状 ........................................................................................ 4 1.3 研究内容与论文结构 ....................................................................................... 6 1.3.1 研究内容 ................................................................................................ 6 1.3.2 论文结构 ................................................................................................ 6 2 双目视觉环境感知系统方案设计 .............................................................................. 8 2.1 系统感知方案的确定 ....................................................................................... 8 2.2 双目视觉立体成像原理 ................................................................................... 9 2.2.1 单目相机线性模型 ................................................................................ 9 2.2.2 单目相机非线性模型 .......................................................................... 11 2.2.3 双目相机立体成像模型 ...................................................................... 12 2.3 环境感知系统的硬件设计 ............................................................................. 14 2.3.1 环境感知系统的实验平台介绍 .......................................................... 14 2.3.2 双目相机的选型 .................................................................................. 15 2.3.3 数据采集与处理模块的选用 .............................................................. 16 2.4 环境感知系统的软件设计 ............................................................................. 16 2.5 本章小结 ......................................................................................................... 17 3 相机标定实验与图像畸变校正 ................................................................................ 19 3.1 标定参数 ......................................................................................................... 19 3.2 标定方法的确定 ............................................................................................. 20 3.3 标定过程与结果 ............................................................................................. 21 3.4 图像畸变校正 ................................................................................................. 26 3.5 本章小结 ......................................................................................................... 26 4 双目图像的预处理与立体匹配 ................................................................................ 27 4.1 图像预处理 ..................................................................................................... 27 4.1.1 图像灰度化处理 .................................................................................. 27 4.1.2 图像滤波处理 ...................................................................................... 28 4.2 立体匹配算法概述 ......................................................................................... 30 万方数据 大连理工大学专业学位硕士学位论文 V 4.2.1 全局立体匹配算法 .............................................................................. 30 4.2.2 局部立体匹配算法 .............................................................................. 31 4.3 立体匹配算法的设计 ..................................................................................... 32 4.3.1 匹配基元 .............................................................................................. 32 4.3.2 约束准则 .............................................................................................. 32 4.3.3 匹配代价 .............................................................................................. 33 4.4 基于 SURF 特征检测的双目图像立体匹配 ................................................. 34 4.4.1 图像极线校正 ...................................................................................... 34 4.4.2 SURF 角点检测算法概述 ................................................................... 35 4.4.3 双目图像立体匹配的实验结果与分析 .............................................. 37 4.5 本章小结 ......................................................................................................... 40 5 感知环境的三维重建 ................................................................................................ 41 5.1 三维重建方法 ................................................................................................. 41 5.2 三维重建实验 ................................................................................................. 43 5.2.1 不同光照条件对三维重建的影响 ...................................................... 43 5.2.2 不同拍摄距离对三维重建的影响 ...................................................... 46 5.3 实验结果分析 ................................................................................................. 49 5.4 本章小结 ......................................................................................................... 49 6 结论 ............................................................................................................................ 50 参 考 文 献 .................................................................................................................... 51 攻读硕士学位期间发表学术论文情况 .......................................................................... 54 致 谢 .......................................................................................................................... 55 大连理工大学学位论文版权使用授权书 ...................................................................... 56 万方数据 基于双目视觉的矿用挖掘机环境感知系统研究 1 1 绪论 1.1 选题的目的与意义 矿产露天开采是世界矿产的主要开采方式之一，现阶段国内露天矿场中使用的矿用 挖掘装备都采用有人操作的方式，但由于采矿作业现场环境恶劣，大量的粉尘以及噪声 会对挖掘装备操作人员的身体健康造成不良影响。而且大型的挖掘装备对操作人员的操 作技术要求较高，人员培养所需时间较长。此外，长时间高强度的工作，操作人员无法 一直保持精力集中，容易导致事故的发生。因此矿产开采领域对于提高采矿设备自动化 程度的需求日益迫切。 由于露天矿用挖掘装备相对于汽车等设备，工作场景较为固定，更易实现无人化操 控。而矿用挖掘装备无人化相比于传统的有人操作有许多优势，如可以对挖掘过程中的 挖掘轨迹进行优化，提高开采效率并有效降低功耗；操作人员可以远离开采现场进行远 程监控，工作环境显著改善，人员的健康和安全性得到保障；使用无人化矿用挖掘装备 可以减少人员的使用，用人成本有效降低；无人化挖掘装备可以让管理人员实时掌握矿 山状况和开采过程，有助于进行智能化、规范化及精细化管理，进一步优化开采过程， 降低开采成本[1]。矿用挖掘设备自动化程度的提高，不仅为企业带来巨大的经济效益， 同时也加快了国家矿用装备方面的技术进步，促进社会生产力的提升。 目前各种机械设备不断趋于无人化，各种用于无人化的硬件技术和软件算法取得了 长足的发展，为矿用挖掘装备无人化的实现创造了良好的技术基础和发展环境[2]。实现 矿用挖掘装备无人化的重要技术基础是对周围环境的感知，挖掘装备的环境感知是其能 实现挖掘路径规划以及轨迹优化等技术的前提条件。本文针对无人化矿用挖掘机的环境 感知系统进行研究，充分了解国内外先进的研究方案与经验，针对矿用挖掘装备的使用 实际进行改进优化， 制定可行的技术方案， 对环境感知系统中的关键技术进行相关研究。 1.2 国内外研究现状 目前挖掘机环境感知系统的方案多种多样，其中最常用感知方案的是使用激光雷达 或双目相机这两种方式。国内外许多的高校、研究所和企业对于挖掘机械环境感知系统 方面的研究主要基于这两种感知方式。 1.2.1 国外研究现状 美国卡耐基梅隆大学的 Anthony Stentz[3]等人开发了世界上第一款基于激光雷达的 挖掘机环境感知系统，并成功应用于挖掘机的自动化挖掘、装载。如图 1.5 所示，该系 统使用两个激光雷达，分别安装在挖掘机车身两侧，左侧激光雷达用于识别和定位卡车 以及检测障碍物，右侧激光雷达测量待挖掘土壤面的地貌数据。可根据左右两侧激光雷 万方数据 大连理工大学专业学位硕士学位论文 2 达测得的数据制定挖掘和装载策略。该系统成功实现了无人化挖掘装载，但由于未安装 定位、导航装置，只能用于固定地点的无人挖掘与装载。 图 1.1 基于激光雷达的挖掘机环境感知系统 Fig. 1.1 Excavator environmental perception system based on Lidar 澳大利亚CSIRO ICT中心自动化系统实验室的Julian Ryde[4]等人考虑到挖掘装备现 场作业环境中灰尘和雨水对传感器的影响，研发了一种将毫米波雷达与激光雷达结合的 环境感知系统。由于毫米波雷达具有不受灰尘雨水干扰但探测精度低的特点，适用于探 测大型目标。而激光雷达易受空气中的漂浮物干扰但探测精度高，适用于精准的 3D 形 貌测量。使用毫米波雷达提供精度较低的初始环境数据，之后使用激光雷达提供精准的 周围环境细节信息。当雷达数据受到干扰时，以毫米波雷达提供的数据为准。将两者采 集的数据进行融合，生成数字地形图并进行执行体积估算任务。将获取的地形地貌数据 传送到自动化系统，进行路径规划和避免碰撞。 日本土木研究所的 Yamamoto[5]等人根据土木工程项目中的实际情况，研发了一套 基于 3D 信息的自动化液压挖掘机原型。如图 1.2 所示，使用安装在驾驶室顶端的两台 2D 激光雷达与一台立体视觉相机进行周围环境三维地形地貌信息的获取，并在车辆上 安装了全球定位系统（GPS），方向传感器，陀螺仪传感器和方位传感器测量车身的姿 态和方位。将获取的周围环境地形地貌信息与车辆状态信息通过无线通信方式传输至远 程控制室，操作人员根据实时信息对挖掘机进行远程控制。实验证明此种方式的作业速 度与精准度与人员现场操作相同。 万方数据 基于双目视觉的矿用挖掘机环境感知系统研究 3 图 1.2 传感器的安装位置 Fig. 1.2 Installation position of sensor 韩国教员大学的 Hyun-SeokYoo、Young-Suk Kim[6]等人研究了一套基于 2D 激光雷 达的挖掘机 3D 环境扫描系统，用于自动化挖掘机的环境感知。如图 1.3 所示，此套扫 描装置安装在挖掘机的驾驶室顶部， 可以获得最小 120， 最大 180的扫描视角， 8.05m 的最大扫描半径。研发了一套带有直流驱动电机和编码器的旋转装置，带动 2D 激光雷 达转动，根据编码器数据实时获得转动角度，从而将采集到的二维环境数据转换为三维 环境数据， 实现了使用 2D 激光雷达采集了 3D 局部地形地貌数据的功能。 并根据 DGPS 和 IMU 测得的位置坐标和欧拉角数据，在本地数据处理器下将局部坐标系下的三维环 境数据转换到世界坐标系下，最后通过无线以太网将处理完成的数据传输至远程服务器 进行进一步的挖掘任务规划。 图 1.3 激光雷达扫描范围 Fig. 1.3 Scanning range of Lidar 万方数据 大连理工大学专业学位硕士学位论文 4 1.2.2 国内研究现状 浙江大学的谢科[7]将激光雷达与摄像头结合，进行实际作业环境识别。在小型液压 挖掘机上建立实验平台，实现了激光雷达数据和摄像头数据的融合，成功得到了实际作 业环境下的彩色三维点云数据。但该系统未考虑运动情况，没有使用 GPS 等卫星定位 传感器，无法将数据从试验平台坐标系转换到世界坐标系，点云数据无法配准，无法实 现挖掘机的自主导航。 图 1.4 挖掘机试验平台 Fig. 1.4 Excavator test plat 西南科技大学的杨绍兵[8]为了消除单一传感器造成的自身累计误差对系统的影响， 使用 CCD 传感器和激光雷达数据进行融合， 对融合后的数据使用分水岭算法进行分割， 使用与激光雷达交互的背景自适应的 GrabCut 图像分割算法进行精确的分割，之后对图 像进行拼接，使用扩展卡尔曼滤波实现了未知环境下的定位和地图的创建，但是所创建 的地图为 2D 地图，只适合平坦地面的导航，对障碍物只能进行较为简单地检测，无法 识别复杂的障碍物。 图 1.5 激光雷达与 CCD 传感器安装位置 Fig. 1.5 Installation position of Lidar and CCD sensor 万方数据 基于双目视觉的矿用挖掘机环境感知系统研究 5 东北大学的王福斌[9]等人在 PC02-1 小松液压挖掘机平台上，根据挖掘设备的工作 特点， 使用两个摄像头搭建了基于双目视觉的环境感知系统， 建立了双目视觉系统模型。 对双目视觉系统进行了精确标定，使用所搭建的双目相机采集环境信息，可利用获取的 环境信息实现对挖掘机的反馈控制，满足挖掘机的视觉系统要求。但此环境感知系统方 案中只考虑了对于特征的识别，而对于挖掘设备的导航、避障等缺乏研究。 集美大学的庄章龙[10]使用液压挖掘机为平台建立了整合 KINECT 深度视觉传感器、 超声波传感器、角度传感器、压力传感器的环境感知系统。应用 SIFT 特征检测算法进 行挖掘机的目标识别，利用 PCA 与 KPCA 构造 PCA-SIFT 和 KPCA-SIFT 特征描述子， 改进 SIFT 算法中的关键点的特征描述子特性，缩短了图像匹配时间，提高了匹配精度。 使用 Matlab 与 Labview 联合编程，提高