悬臂式掘进机井下精确定位方法及其视觉测量技术.pdf

第 ４９ 卷第 １２ 期煤 炭 科 学 技 术Ｖｏｌ􀆱 ４９ Ｎｏ􀆱 １２ ２０２１ 年１２ 月Ｃｏａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｃ．２０２１ 机电与智能化 移动扫码阅读 赵建勋，杨文娟，张旭辉，等．悬臂式掘进机井下精确定位方法及其视觉测量技术［Ｊ］．煤炭科学技术，２０２１，４９ （１２）１９２－２０１􀆱 ｄｏｉ１０􀆱 １３１９９／ ｊ􀆱 ｃｎｋｉ􀆱 ｃｓｔ􀆱 ２０２１􀆱 １２􀆱 ０２４ ＺＨＡＯ Ｊｉａｎｘｕｎ，ＹＡＮＧ Ｗｅｎｊｕａｎ，ＺＨＡＮＧ Ｘｕｈｕｉ，ｅｔ ａｌ．Ｓｔｕｄｙ ｏｎ ａｃｃｕｒａｔｅ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｉｔｓ ｖｉｓｕａｌ ｍｅａｓｕｒｅ⁃ ｍｅｎｔ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｃａｎｔｉｌｅｖｅｒ ｒｏａｄｈｅａｄｅｒ ｕｎｄｅｒｇｒｏｕｎｄ［Ｊ］． Ｃｏａｌ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０２１，４９（１２）１９２ － ２０１􀆱 ｄｏｉ１０􀆱 １３１９９／ ｊ􀆱 ｃｎｋｉ􀆱 ｃｓｔ􀆱 ２０２１􀆱 １２􀆱 ０２４ 悬臂式掘进机井下精确定位方法及其视觉测量技术 赵建勋１，杨文娟１，２，张旭辉１，２，杜昱阳１，２，张 超１ （１．西安科技大学 机械工程学院，陕西 西安 ７１００５４；２．陕西省矿山机电装备智能监测重点实验室，陕西 西安 ７１００５４） 摘 要为解决煤矿井下低照度、高粉尘环境中悬臂式掘进机机身位姿测量问题，提出一种以激光点 和激光束为特征的悬臂式掘进机机身位姿视觉测量技术。 利用单目视觉测量原理，采用基于门形三 线的视觉测量模型，根据激光特性对利用防爆工业相机采集的巷道图像进行处理，通过 Ｈｏｕｇｈ 变换 与最小二乘法结合，获取得到 ２ 个激光指向仪的光斑和光束的点、线特征，通过空间矩阵变换计算出 悬臂式掘进机机身的空间位姿。 研究发现 Ｈｏｕｇｈ 变换与最小二乘法结合有效保证了杂光、粉尘和水 雾等复杂背景下孤立点的消除，提高了激光点和激光线的检测精度。 为验证所提出方法的有效性，分 别在实验室悬臂式掘进机测试平台和煤矿井下工业现场进行位姿测量试验，实验室结果表明，结合 Ｈｏｕｇｈ 变换与最小二乘法进行特征提取得到机身位置误差在 ２０ ｍｍ 以内，姿态误差在 ０．３以内，误差 满足精度要求且小于使用传统 Ｈｏｕｇｈ 变换进行特征提取得到的位姿；煤矿井下工业试验表明，机身 测量误差在 ４０ ｍｍ 以内，满足巷道掘进精度要求。 关键词悬臂式掘进机；视觉测量；精确定位；激光特征提取；单目视觉 中图分类号ＴＤ４２１ 文献标志码Ａ 文章编号０２５３－２３３６（２０２１）１２－０１９２－１０ Ｓｔｕｄｙ ｏｎ ａｃｃｕｒａｔｅ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｉｔｓ ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｃａｎｔｉｌｅｖｅｒ ｒｏａｄｈｅａｄｅｒ ｕｎｄｅｒｇｒｏｕｎｄ ＺＨＡＯ Ｊｉａｎｘｕｎ１，ＹＡＮＧ Ｗｅｎｊｕａｎ１，２，ＺＨＡＮＧ Ｘｕｈｕｉ１，２，ＤＵ Ｙｕｙａｎｇ１，２，ＺＨＡＮＧ Ｃｈａｏ１ （１．Ｃｏｌｌｅｇｅ ｏｆ Ｍｅｃｈａｎｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｘｉ’ａｎ ７１００５４，Ｃｈｉｎａ； ２．Ｓｈａａｎｘｉ Ｋｅｙ Ｌａｂｏｒａｔｏｔｙ ｏｆ Ｍｉｎｅ Ｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ Ｅｑｕｉｐｍｅｎｔ Ｉｎｔｅｌｌｉｇｅｎｃｔ Ｍｏｎｉｔｏｒｉｎｇ，Ｘｉ’ａｎ ７１００５４，Ｃｈｉｎａ） 收稿日期２０２１－０３－２１；责任编辑周子博 基金项目国家自然科学基金资助项目（５１９７４２２８）；陕西省创新能力支撑计划资助项目（２０１８ＴＤ－ ０３２）；陕西省重点研发计划资助项目 （２０１８ＺＤＣＸＬ－ＧＹ－０６－０４） 作者简介赵建勋（１９９６），男，内蒙古赤峰人，硕士研究生。 Ｅ－ｍａｉｌ２５４７１２４７０３＠ ｑｑ．ｃｏｍ 通讯作者张旭辉（１９７２ ），男，陕西凤翔人，教授，博士生导师，博士。 Ｅ－ｍａｉｌｚｈａｎｇｘｈ＠ ｘｕｓｔ．ｅｄｕ．ｃｎ ＡｂｓｔｒａｃｔＩｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｐｏｓｔｕｒｅ ｍｅａｓｕｒｅｍｅｎｔ ｐｒｏｂｌｅｍ ｏｆ Ｂｏｏｍ－ｔｙｐｅ Ｒｏａｄｈｅａｄｅｒ ｕｎｄｅｒ ｌｏｗ ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ ｈｉｇｈ ｄｕｓｔ ｕｎｄｅｒｇｒｏｕｎｄ ｅｎ⁃ ｖｉｒｏｎｍｅｎｔ ｉｎ ｃｏａｌ ｍｉｎｅ，ｔｈｉｓ ｐａｐｅｒ ｐｕｔ ｆｏｒｗａｒｄ ａ ａｃｃｕｒａｔｅ ｐｏｓｉｔｉｏｎｉｎｇ ｍｅａｓｕｒｅｍｅｎｔ ｍｅｔｈｏｄ ｕｓｉｎｇ ｃａｍｅｒａ ｗｈｉｃｈ ａｃｑｕｉｒｅ ｉｍａｇｅ ｄａｔａ ｉｎｃｌｕｄｅｄ ｆｅａｔｕｒｅｓ ｏｆ ｌａｓｅｒ ｐｏｉｎｔｓ ａｎｄ ｌａｓｅｒ ｂｅａｍ． Ｂａｓｅｄ ｏｎ ｍｏｎｏｃｕｌａｒ ｖｉｓｉｏｎ ｐｏｓｉｔｉｏｎｉｎｇ ｐｒｉｎｃｉｐｌｅ ｏｆ ｔｈｒｅｅ ｌｉｎｅ，ａｎ ｅｘｐｌｏｓｉｏｎ－ｐｒｏｏｆ ｉｎｄｕｓｔｒｉａｌ ｃａｍｅｒａ ｗａｓ ｕｓｅｄ ｔｏ ａｃｑｕｉｒｅ ｔｕｎｎｅｌ ｉｍａｇｅｓ ａｎｄ ｐｒｏｃｅｓｓ ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｆｅａｔｕｒｅ ｏｆ ｌａｓｅｒ． Ｃｏｍｂｉｎｉｎｇ ｔｈｅ ａｄｖａｎｔａｇｅ ｏｆ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ａｎｄ ｌｅａｓｔ ｓｑｕａｒｅｓ ｍｅｔｈｏｄ，ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｐｏｉｎｔｓ ａｎｄ ｂｅａｍｓ ｏｆ ｔｗｏ ｌａｓｅｒ ａｌｉｇｎｍｅｎｔ ｗｈｉｃｈ ａｍｏｕｎｔｅｄ ｏｎ Ｂｏｏｍ－ｔｙｐｅ Ｒｏａｄｈｅａｄｅｒ ｗａｓ ｅｘｔｒａｃｔｅｄ， ｔｈｅｎ ｂｏｄｙ ｐｏｓｔｕｒｅ ｗａｓ ｃａｌｃｕｌａｔｅｄ ｔｈｒｏｕｇｈ ｓｐａｃｅ ｍａｔｒｉｘ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｓｐａｃｅ． Ｉｔ ｉｓ ｆｏｕｎｄ ｔｈａｔ ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ａｎｄ ｌｅａｓｔ ｓｑｕａｒｅ ｍｅｔｈｏｄ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｅｌｉｍｉｎａｔｅ ｔｈｅ ｉｓｏｌａｔｅｄ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｃｏｍｐｌｅｘ ｂａｃｋｇｒｏｕｎｄ ｓｕｃｈ ａｓ ｓｔｒａｙ ｌｉｇｈｔ，ｄｕｓｔ ａｎｄ ｗａｔｅｒ ｍｉｓｔ，ａｎｄ ｉｍｐｒｏｖｅ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ｌａｓｅｒ ｐｏｉｎｔ ａｎｄ ｌａｓｅｒ ｌｉｎｅ． Ｉｎ ｏｒｄｅｒ ｔｏ ｖｅｒｉｆｙ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ，ｔｈｅ ｐｏｓｅ ｍｅａｓｕｒｅｍｅｎｔ ｅｘ⁃ ｐｅｒｉｍｅｎｔｓ ｗｅｒｅ ｃａｒｒｉｅｄ ｏｕｔ ｏｎ ａ ｌａｂｏｒａｔｏｒｙ ｃａｎｔｉｌｅｖｅｒ ｔｕｎｎｅｌｉｎｇ ｍａｃｈｉｎｅ ｔｅｓｔ ｐｌａｔｆｏｒｍ ａｎｄ ａ ｃｏａｌ ｍｉｎｅ ｕｎｄｅｒｇｒｏｕｎｄ ｉｎｄｕｓｔｒｉａｌ ｓｉｔｅ． Ｌａｂｏｒａｔｏ⁃ ｒｙ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｃｏｍｂｉｎｉｎｇ ｔｈｅ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ａｎｄ ｔｈｅ ｌｅａｓｔ ｓｑｕａｒｅｓ ｍｅｔｈｏｄ ｆｏｒ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｔｏ ｏｂｔａｉｎ ｔｈｅ ｆｕｓｅｌａｇｅ ｐｏｓｉ⁃ ｔｉｏｎ ｅｒｒｏｒ ｗｉｔｈｉｎ ２０ ｍｍ，ｔｈｅ ａｔｔｉｔｕｄｅ ｅｒｒｏｒ ｉｓ ｗｉｔｈｉｎ ０．３，ｔｈｅ ｅｒｒｏｒ ｍｅｅｔｓ ｔｈｅ ａｃｃｕｒａｃｙ ｒｅｑｕｉｒｅｍｅｎｔｓ ａｎｄ ｉｓ ｓｍａｌｌｅｒ ｔｈａｎ ｔｈｅ ｐｏｓｅ ｏｂｔａｉｎｅｄ ｂｙ ｕｓｉｎｇ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ ｆｏｒ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ；ｔｈｅ ｉｎｄｕｓｔｒｉａｌ ｔｅｓｔ ｕｎｄｅｒｇｒｏｕｎｄ ｉｎ ｃｏａｌ ｍｉｎｅ ｓｈｏｗｓ ｔｈａｔ ｔｈｅ ｍｅａｓｕｒｅｍｅｎｔ ｅｒ⁃ ２９１ 万方数据 激光指向仪 工业相机 赵建勋等悬臂式掘进机井下精确定位方法及其视觉测量技术２０２１ 年第 １２ 期 ｒｏｒ ｏｆ ｔｈｅ ｆｕｓｅｌａｇｅ ｉｓ ｗｉｔｈｉｎ ４０ ｍｍ，ｗｈｉｃｈ ｍｅｅｔｓ ｔｈｅ ｒｅｑｕｉｒｅｍｅｎｔ ｏｆ ｒｏａｄｗａｙ ｄｒｉｖｉｎｇ ａｃｃｕｒａｃｙ． Ｋｅｙ ｗｏｒｄｓｃａｎｔｉｌｅｖｅｒ ｒｏａｄｈｅａｄｅｒ； ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ； ａｃｃｕｒａｔｅ ｐｏｓｉｔｉｏｎ； ｌａｓｅｒ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ； ｍｏｎｏｃｕｌａｒ ｖｉｓｉｏｎ ０ 引 言 随着我国综合机械化采煤的迅速发展，安全高 效的自动化、智能化巷道掘进技术成为当前研究热 点［１］。 掘进机是综掘工作面的主要设备，掘进机的 位姿测量是巷道掘进智能化的关键［２］。 目前常用 的位姿测量技术包括机器惯性导航定位技术、全站 仪定位方法以及视觉定位技术等［３］。 惯性导航定 位技术受环境因素影响小，具有良好自主检测性，但 其使用过程中存在累计误差使得定位困难［４－５］。 全 站仪可准确快速计算出测量目标空间位置信息，但 在煤矿井下应用时，由于粉尘以及巷道空间产生的 遮挡都会对定位结果产生影响［６］。 机器视觉测量 技术的测量信息直观、可靠性高，常以红外光及可见 光为特征［７］，根据特征基准位置与巷道坐标系之间 的关系来获取掘进机机身的空间位姿，由于该方法 使用受井下粉尘、水雾等环境干扰导致特征提取精 度下降，使得测量结果不稳定［８－９］。 因此，选取有效 特征基准，在杂光、粉尘和水雾等复杂背景下准确提 取特征信息是利用视觉测量技术精确测量掘进机机 身位姿的关键。 文献［１０－１１］提出了一种基于激光束特征的悬 臂式掘进机机身测量系统，该方法以激光束特征构 建悬臂式掘进机位姿测量系统，充分利用激光指向 仪方向性好、颜色单纯以及亮度高等优点。 如何实 现煤矿井下高粉尘、低照度环境中的激光特征提取 是解算设备精确位姿的关键。 该方法中特征提取涉 及激光光斑中心和激光束直线的特征提取。 传统的 光斑中心检测算法有阈值法、重心法、Ｈｏｕｇｈ 变化法 以及圆拟合法［１２－１４］。 吴泽楷等［１５］基于改进圆拟合 算法，结合了阈值法和中值法的原理，提高了光斑中 心位置的精确度。 谢欣欣等［１６］在天空背景条件下， 利用原子滤光片和减小接收机口径进行抑制天空背 景，在通过二值化和灰度质心法确定光斑中心位置。 对于激光束的直线特征提取，目前针对直线特征检 测常用的技术方法有 Ｈｏｕｇｈ 变换检测直线［１７－１８］和 最小二乘直线拟合［１９－２０］等。 闫怀仁等［２１］提出了一 种改进的 Ｈｏｕｇｈ 变换的直线提取算法，该方法减少 了计算量，提高了直线检测精度。 目前对于激光特 征提取主要是在背景较好的环境中进行检测，对于 井下包含杂光、粉尘和水雾等复杂背景中的激光光 斑及激光束直线特征提取方法介绍较少。 基于此，进一步研究以激光点和激光束为特征 的悬臂式掘进机机身位姿视觉测量方法，提出结合 Ｈｏｕｇｈ 变换与最小二乘法实现杂光、粉尘和水雾等 复杂背景下的激光点和激光线的特征提取，再通过 空间矩阵变换解算出掘进机机身位姿信息，实现井 下悬臂式掘进机的精确定位。 １ 悬臂式掘进机位姿视觉测量模型 １．１ 系统构成 悬臂式掘进机位姿视觉测量系统如图 １ 所示， 由两激光指向仪、ＣＣＤ 彩色防爆工业相机、防爆计 算机和悬臂式掘进机组成。 将防爆工业相机和防爆 计算机固定在悬臂式掘进机机身上，在掘进机后方 沿巷道方向水平固定两激光指向仪，安装时保证两 激光指向仪激光束平行。 利用工业防爆相机采集激 光特征的图像，将采集到的图像通过千兆网 ＧｉｇＥ 接 口传输到计算机中，并在计算机中实现图像处理及 位姿解算。 图 １ 悬臂式掘进机位姿视觉测量系统示意 Ｆｉｇ．１ Ｓｃｈｅｍａｔｉｃ ｏｆ ｐｏｓｔｕｒｅ ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ ｓｙｓｔｅｍ ｆｏｒ ｂｏｏｍ－ｔｙｐｅ ｒｏａｄｈｅａｄｅｒ 图 １ 中坐标系 ＯｃＸｃＹｃＺｃ为以相机光心为原点 建立的工业防爆相机坐标系，利用激光指向仪的两 光斑点以及两激光束作为特征，以两激光点的中心 点为原点建立激光定向坐标系 ＯｄＸｄＹｄＺｄ。 系统工 作时，首先将防爆相机采集到的图像信息传输至计 算机中，并在计算机中完成对激光图像的畸变校正、 图像处理、特征提取以及机身位姿信息解算。 系统 流程如图 ２ 所示。 图 ２ 悬臂式掘进机机身位姿测量流程 Ｆｉｇ．２ Ｆｌｏｗ ｃｈａｒｔ ｏｆ ｖｉｓｕａｌ ｍｅａｓｕｒｅｍｅｎｔ ｓｙｓｔｅｍ ３９１ 万方数据 开始 工 图像 预处理 潞篇≥迅≤东孙毒岁 ]【兰 圆拟合确定 圆心坐标 p 1 ，p 2 确定各光斑区域 中心足巨圆心p 1 和 p 2 最小距离的点 确定两光斑 中心点坐标 结束乡口刀飞 】【兰 高斯曲面拟合 获取各光斑 区域中心位置 ２０２１ 年第 １２ 期煤 炭 科 学 技 术第 ４９ 卷 １．２ 掘进机机身位姿解算模型 摄像机成像几何模型为针孔成像模型［２２］，两激 光指向仪平行放置，可以把两激光束以及过两光斑 中心点的直线看作围成门形的 ３ 条直线，３ 条直线 的位置关系已知，便可将该问题转换为 Ｐ３Ｌ 问题， 即 ３ 线透视问题［２３］。 图 ３ 为基于门形 ３ 条直线的 悬臂式掘进机机身位姿解算模型。 图 ３ 基于门形 ３ 条直线的悬臂式掘进机机身位姿解算模型 Ｆｉｇ．３ Ｐｏｓｔｕｒｅ ｃａｌｃｕｌａｔｉｏｎ ｍｏｄｅｌ ｏｆ ｃａｎｔｉｌｅｖｅｒ ｔｙｐｅ ｒｏａｄｈｅａｄｅｒ ｂａｓｅｄ ｏｎ ｔｈｒｅｅ ｓｔｒａｉｇｈｔ ｌｉｎｅｓ 图 ３ 中坐标系 ＯｃＸｃＹｃＺｃ为摄像机坐标系，坐 标系为 ＯｄＸｄＹｄＺｄ激光测量坐标系。 图中 Ｌ１、 Ｌ３是 两激光束抽象空间直线， Ｌ２则是过两激光光斑 Ｐ１、 Ｐ２点的空间直线，激光测量坐标系 ＯｄＸｄＹｄＺｄ以两 激光指向仪的光斑 Ｐ１、 Ｐ２的中心点为原点 Ｏｄ，以 直线 Ｌ２为 Ｘｄ坐标轴，方向指向 Ｐ２点， Ｚｄ坐标轴过 Ｏｄ点平行于 Ｌ１和 Ｌ３，利用右手定则确定 Ｙｄ坐标轴 的方向。 空间中的三条直线 Ｌ１、 Ｌ２、 Ｌ３共面且成门 形， Ｌ１与 Ｌ３平行， Ｌ２与 Ｌ１、 Ｌ３垂直且相交于两点 Ｐ１ 与 Ｐ２， ｌ１、 ｌ３为 Ｌ１、 Ｌ３在图像上的投影， ｑ１、 ｑ２为 Ｐ１、 Ｐ２在图像上的投影， ｌ２为图像中过 ｑ１、 ｑ２点的 直线。 此时，根据激光光斑及激光束在图像上的位 置可以得到 ｌ１、 ｌ２、 ｌ３在图像平面的直线方程为ａｉ ｘ ＋ ｂｉｙ ＋ ｃｉ＝ ０（ｉ ＝ １，２，３） 。 根据文献［１０］所述三线透视 问题的闭式解可计算得到相机坐标系ＯｃＸｃＹｃＺｃ相对 于激光定向坐标系 ＯｄＸｄＹｄＺｄ之间的坐标变换的惟 一解，即旋转矩阵 Ｍ 和平移向量 Ｔ。 再结合工业防 爆相机坐标系与掘进机机身坐标系之间的转换关系 计算得到掘进机在激光定向坐标系下的位置信息。 ２ 激光光斑中心定位 激光指向仪的激光为波长在 ６５０ ｎｍ 左右的纯 净红色激光，井下作业环境存在杂光、水雾等影响因 素，无法使用滤镜滤除杂散光源直接进行激光光斑 的特征提取，使得目前常用的光斑中心定位算法无 法直接使用。 为了在井下工作环境中实现对激光光 斑中心定位，针对井下存在的杂光等干扰因素，选用 ＣＣＤ 彩色工业防爆相机进行图像采集，对采集到的 ＲＧＢ 彩色激光图像进行图像处理并结合高斯曲面 拟合确定激光光斑中心。 根据激光指向仪的激光光斑和激光光晕的光强 和明度不同，对图像中各光斑和激光光晕进行定位。 由于光斑亮度高，其 ＲＧＢ 三通道值较大，而激光光 晕区域的 Ｒ 值高于 Ｂ 和 Ｇ 通道的值，根据图像中像 素点的 ＲＢＧ ３ 通道的值的关系可以在多杂光背景 中确定图像中个光斑区域以及激光光晕区域。 将得 到的光晕区域像素点进行圆拟合得到较精确的激光 光晕位置，并将两光晕位置进行标记。 利用高斯曲 面拟合方法准确获取各区域的光斑中心，结合得到 的光晕区域确定激光光斑中心位置。 设定 ＲＧＢ ３ 个通道的阈值分别为 Ｒ１、Ｇ１、Ｂ１，设定通道 Ｒ 减通道 Ｇ 的阈值为 ａ，通道 Ｒ 减通道 Ｂ 的阈值为 ｂ，图 ４ 为 激光光斑中心位置具体流程。 图 ４ 激光光斑中心定位流程 Ｆｉｇ．４ Ｌａｓｅｒ ｓｐｏｔ ｃｅｎｔｅｒ ｐｏｓｉｔｉｏｎｉｎｇ ｆｌｏｗ ｃｈａｒｔ 激光光斑中心位置确定步骤为 １）遍历预处理后的图像的像素 ＲＧＢ 信息，得到 满足 （Ｒ － Ｇ） ＞ ａ 且 （Ｒ － Ｂ） ＞ ｂ 的激光光斑边缘 区域∑ｇ（ｉ，ｊ） 以及满足 Ｒ ＞ Ｒ１、 Ｇ ＞ Ｇ１、 Ｂ ＞ Ｂ１ 的所有光斑区域∑ｈ（ｉ，ｊ） 。 ２）对激光光斑边缘区域∑ｇ（ｉ，ｊ） 内各激光光 斑边缘区域进行分割，确定两个激光光斑边缘的区 域∑ｇ１（ｉ，ｊ） 和∑ｇ２（ｉ，ｊ）。 ３）利用最小二乘法分别对区域∑ｇ１（ｉ，ｊ） 和 ∑ｇ２（ｉ，ｊ） 进行圆拟合并确定各圆心坐标 Ｏ１（ｉ，ｊ） ４９１ 万方数据 ， ● ● ● ● ■■缌 图 E 叠量值 匣F 嘲豳蕊n 昌图 E 叠量谨 蜀E燃理 _ I 函 _ I 函 ■ ● 盈_ 易圈图隧 臻l 峪喇圜豳国 ●■J i - 一_ - ●_ 5 - - ● _ E F - a 7 j 。 _ ■‘ o V ， ● 赵建勋等悬臂式掘进机井下精确定位方法及其视觉测量技术２０２１ 年第 １２ 期 和 Ｏ２（ｉ，ｊ） 。 ４）利用高斯曲面拟合方法确定所有光斑区域 ∑ｈ（ｉ，ｊ） 中各光斑的光斑中心位置 Ｏ′ｎ（ｉ，ｊ），（ｎ ＝ １，２，３，） 。 ５）依次计算 Ｏ′ｎ（ｉ，ｊ） 到 Ｏ１（ｉ，ｊ） 和 Ｏ２（ｉ，ｊ） 的 距离，并找到 Ｏ′ｎ（ｉ，ｊ） 中的点到 Ｏ１（ｉ，ｊ） 和 Ｏ２（ｉ，ｊ） 的最小距离的点 Ｏ′ｑ１（ｉ，ｊ） 及 Ｏ′ｑ２（ｉ，ｊ） ， Ｏ′ｑ１（ｉ，ｊ） 及 Ｏ′ｑ２（ｉ，ｊ） 即两激光光斑中心的坐标；按照激光光 斑中心位置确定流程，在杂光背景下激光光斑中心 提取效果图如图 ５ 所示。 ３ 激光束直线特征提取 ３．１ 激光束直线特征提取流程 受井下环境影响导致可能得到存在杂光、短小 间断激光束直线图像。 根据 Ｈｏｕｇｈ 变换的原理可 知，Ｈｏｕｇｈ 变换检测直线时受其他因素干扰严重、对 短直线检测困难。 直线拟合方法受到由杂光等引起 的图像噪声的干扰降低拟合精度。 为防止上述问题 对激光束直线特征提取造成的干扰，针对井下激光 图像进行基于激光束直线的图像处理，获取可进行 直线特征提取的图像信息。 图 ５ 杂光背景下激光光斑中心定位 Ｆｉｇ．５ Ｌａｓｅｒ ｓｐｏｔ ｃｅｎｔｅｒｉｎｇ ｉｎ ｓｔｒａｙ ｌｉｇｈｔ ｂａｃｋｇｒｏｕｎｄ 激光束直线提取流程如图 ６ 所示，对输入的图 像进行图像处理，首先把预处理后的图像由 ＲＧＢ 空 间转换至 ＨＳＶ 颜色空间，并在 ＨＳＶ 空间中滤除强干扰 因素，得到激光束区域的二值图像，再对激光束区域的 二值图像进行边缘提取、骨架提取等处理，得到激光束 的轮廓信息以及骨架信息。 此时可去除大部分杂光即 噪声等干扰信息，再结合 Ｈｏｕｇｈ 变换和最小二乘法去 除剩余少量噪声信息，准确、稳定地得到直线方程。 图 ６ 激光束直线提取流程 Ｆｉｇ．６ Ｆｌｏｗ ｃｈａｒｔ ｏｆ ｌａｓｅｒ ｌｉｎｅ ｅｘｔｒａｃｔｉｎｇ ３．２ 激光束图像处理 ３．２．１ 图像 ＨＳＶ 空间颜色特征提取 ＲＧＢ 模型是比较常见的颜色空间模型，但 ＲＧＢ 彩色空间之中区分不同颜色近似度困难，ＨＳＶ 是一 种，以色调 Ｈ、饱和度 Ｓ 以及明度 Ｖ 作为颜色参数的 直观的颜色模型，根据 ＨＳＶ 颜色空间的分量关系区 分出含有激光束特征的像素信息。 激光指向仪的激 光束颜色为红色，根据 ＨＳＶ 空间分量 Ｈ、Ｓ、Ｖ 对应 颜色的关系可取 Ｈ 范围为 ０～１０、Ｓ 范围为 ５０～２５０、 Ｖ 范围为 ２０～２５０，此时允许较亮的红颜色的像素点 通过。 遍历图中像素点，记录通过的像素点的信息， 结合 Ｏｔｓｕ 算法获取激光束的二值图像。 此时矿灯 等其他颜色杂光均可被滤除，可有效地在杂光背景 下获取激光束区域。 为进一步减少背景中的噪声，根据计算得到的 激光光斑中心位置对图像中激光目标进行分割，得到 含有激光束特征信息的区域图像。 计算两激光中心坐 标 （ｘ１，ｙ１） 和 （ｘ２，ｙ２） 点的中心点的坐标（ｘ′，ｙ′）。 在图像坐标中划分出矩形的感兴趣区域，其中 ４ 个 点坐标分别为（ ｘ′ － ４００， ｙ′ ）、（ ｘ′ ＋ ４００， ｙ′ ）、 （ｘ′－４００，ｙ′－８００）、（ ｘ′ ＋ ４００， ｙ′ － ８００）。 图 ７ 为基 于 ＨＳＶ 空间的颜色特征提取得到的激光束二值图 像与分割后的图像。 ５９１ 万方数据 ， 一 ，’，；， l j j j 季i ■r l ● 固■鳓圈瓣日懿霭糯霞 ２０２１ 年第 １２ 期煤 炭 科 学 技 术第 ４９ 卷 图 ７ 基于 ＨＳＶ 空间的颜色特征提取 Ｆｉｇ．７ Ｃｏｌｏｒ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｂａｓｅｄ ｏｎ ＨＳＶ ｓｐａｃｅ ３．２．２ 图像边缘检测及骨架提取 对得到的激光束二值图像进行边缘检测和骨架 特征提取。 首先对二值图像进行边缘检测，基于 Ｃａｎｎｙ 算子对激光束进行边缘检测，使用高斯内核 为 ｓｉｚｅ ＝ ５ 的高斯平滑滤波器进行降噪。 基于形态 学对激光束二值图像进行迭代腐蚀实现图像的骨架 提取，根据边缘检测得到的图像目标最外层轮廓开 始，不断腐蚀目标边界轮廓，直至将图像腐蚀至一条 单像素的骨架为止。 每次迭代时首先记录获取到的 轮廓点信息，然后检测每个轮廓点的 ８ ｐｉｘ 邻域，腐 蚀掉含有 ３ 或 ４ 或 ５ 或 ６ 或 ７ 连通的像素点，直至 没有像素点被腐蚀时，便可得到图像的骨架。 由于 Ｃａｎｎｙ 使用了滞后阈值，设置高阈值为 １００，低阈值 为 ５０。 如图 ８ 所示为对激光束图像进行边缘检测 及骨架提取后得到的结果。 图 ８ 激光束边缘检测及骨架信息提取 Ｆｉｇ．８ Ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｓｋｅｌｅｔｏｎ ｅｘｔｒａｃｔｉｏｎ ｏｆ ｌａｓｅｒ ｂｅａｍ 如图 ８ 所示，图 ８ａ 为激光束图像的边缘检测结 果，图 ８ｂ 中紫色像素点和黄色像素点分别为对左右 两激光束进行骨架提取得到的骨架信息。 由于图像 上还可能会存在部分干扰点，再结合 Ｈｏｕｇｈ 变换与 改进最小二乘法根据得到的激光束轮廓信息和骨架 信息确定激光束直线方程。 ３．３ 结合 Ｈｏｕｇｈ 变换与最小二乘法的直线检测 Ｈｏｕｇｈ 变换是将图像中特征检测问题转换为寻 找参数空间峰值的检测方法， 通过建立离散参数空 间，设置空间累加计数器，根据图像中像素点的信息 不断对特征点进行投票，找到累加计数器中峰值所 对应的直线来进行图像中的直线检测。 由于直线在 参数空间的映射容易受到噪声干扰，在算法投票过 程中出现无效累积导致虚检、缺检等问题，导致检测 精度下降。 为提高直线检测精度，结合 Ｈｏｕｇｈ 变换 与最小二乘法进行直线方程的获取。 利用 Ｈｏｕｇｈ 变换对直线进行粗定位，通过去除 孤立点，利用最小二乘法拟合更精确的直线方程。 为提高对整幅图像 Ｈｏｕｇｈ 变换的速度，对激光束图 像轮廓信息进行 Ｈｏｕｇｈ 变换。 同时，为了准确获取 激光束直线位置，设置累加计数器阈值 Ｔ，当累加数 大于 Ｔ 时，提取直线特征。 主要步骤如下 １）获取直线信息。 对激光束图像进行边缘检 测得到的边缘信息进行 Ｈｏｕｇｈ 变换直线检测，设定 阈值 Ｔ，得到累加计数器中的值大于 Ｔ 时所包含的 直线信息。 ２）确定初始直线。 根据得到的两激光光斑中 心点，分别计算两中心点到获得的直线之间的距离， 根据两点到直线的最小距离确定两条初始激光束直 线 ｌ１、 ｌ２。 ３）骨架特征点信息分割。 利用得到的激光束 骨架中所有的点计算这些点到两初始直线之间的距 离，设置区域外点到直线距离误差 Ｄ，将到两直线 ｌ１、 ｌ２的距离范围为０ ～ Ｄ 的点设为区域∑Ｑ１（ｘｉ， ｙｉ） 和∑Ｑ２（ｘｊ，ｙｊ） ，得到两直线附近区域的点集。 ４）分别计算区域∑Ｑ１（ｘｉ，ｙｉ） 中所有到直线 ｌ１的距离和区域∑Ｑ２（ｘｊ，ｙｊ） 中所有到直线 ｌ２的距 离，设置区域内点到直线距离阈值 ｄ，将所有距离大 于 ｄ 的点剔除。 ５）将剔除“野值”后的两直线区域的点分别利 用最小二乘法进行直线拟合，得到新的两直线方程 ｌ′１、 ｌ′２。 ６）重复上述步骤 ４）、５），直至步骤 ４）中再无剔 除点，即可得到两激光束直线的直线方程。 经过上述算法，通过不断剔除孤立点使得直线 拟合过程减少因“野值”引起误差，从而大幅提高激 光束直线提取的精确性与稳定性。 利用上述算法得 到的直线特征如图 ９ 所示。 图 ９ 中蓝色直线为利用 Ｈｏｕｇｈ 变换与最小二乘法计算得到的直线，红色直 线则为仅使用 Ｈｏｕｇｈ 变换得到的直线。 通过计算 左侧激光光斑中心到左侧直线的距离可得，光斑中 心到蓝色直线的距离为 ０，光斑中心到红色直线的 距离为 ３．６ ｐｉｘ。 可见，结合 Ｈｏｕｇｈ 变换与最小二乘 法计算得到的直线相对于仅利用 Ｈｏｕｇｈ 变换检测 得到的直线，不仅具有较高的检测精度，还可以提高 直线检测稳定性。 ６９１ 万方数据 r 1 k ．J ■ l ● H o u g h 变换 羔 _二】 E [ 口 I ，＼ 结合H o u g h 变换与最 小二乘法 赵建勋等悬臂式掘进机井下精确定位方法及其视觉测量技术２０２１ 年第 １２ 期 图 ９ 直线检测结果 Ｆｉｇ．９ Ｍｅａｓｕｒｅｍｅｎｔ ｒｅｓｕｌｔ ｏｆ ｓｔｒａｉｇｈｔ ｌｉｎｅ ４ 掘进机机身位姿参数解算 以图 ５ 原始图像为例，对掘进机位姿解算进行 说明。 已知相机焦距 ｆ ＝５．１３４ ５ ｍｍ ，两激光光斑之 间距离 ｄ ＝ ４９０ ｍｍ 。 通过所述激光光斑中心定位 方法，得到图像坐标系中左右两激光光斑中心在图 像中的坐标分别为 Ｐ２（１ ４３４，７００） 和 Ｐ１（１ ５３０， ６９９） ，左右两激光束直线方程 Ｌ１和 Ｌ３分别为 ７１０ｘ ＋ ３７３ｙ － １ ２７９ ２４０ ＝ ０， ７０９ｘ ＋ ５９３ｙ － １ ４９９ ２７７ ＝ ０， 由于直线 Ｌ３过 Ｐ１、 Ｐ２两点，可计算得到 Ｌ３直线方 程为 ｘ ＋ ９６ｙ － ６８ ６３４ ＝ ０。 可得 ３ 个投影面的法向 量 Ｎ１、 Ｎ２、 Ｎ３分别为 Ｎ１＝ － ３ ６４５．５ － １ ９１５．０ ２６．０ ，Ｎ２＝ １．７３ ４９１．００ ９０．５０ ，Ｎ３＝ ３ ６４０．０ ３ ０４４．０ － ５０．５ 根据三条激光束在相机坐标系中方向向量 Ｖ１、 Ｖ２、 Ｖ３与投影平面的几何关系有 Ｖ３ ＝ Ｖ １ ＝ Ｎ １ Ｎ ３， Ｖ２ ＝ Ｖ １ Ｎ ２ 可解得 Ｖ１＝ １７ ３９５ － ８９ ２３５ － ４ １２７ ８０４ ， Ｖ２＝ ２．０１８ ４ １０９ － ４．６１５ ２ １０６ ８．６０６ ０ １０６ ， Ｖ３ ＝ Ｖ １ ＝ １７ ３９５ － ８９ ２３５ － ４ １２７ ８０４ 根据摄像机成像模型可得两激光光斑距离相机 光心距离 ｋ１和 ｋ２分别为７ ７９０．５ ｍｍ 和７ ８５７．８ ｍｍ， 定义并得到激光点 Ｐ１、 Ｐ２在相机坐标系下的坐标 为 （ｘ１，ｙ１，ｚ１） 、 （ｘ２，ｙ２，ｚ２） ，根据相机成像模型可 计算 得 到 Ｐ１（７９３，８６， － １ ４０７．４９，７ ６２１．１４） 和 Ｐ２（１ ２８３，８６，－１ ４０８．３１，７ ６２３．２３）。 由于激光测量 坐标系位于 Ｐ１和 Ｐ２的中心，则可以根据光斑到相 机中心距离 ｋ１、 ｋ２和光斑坐标得到激光坐标系相对 于相机坐标系的平移量 Ｔ Ｔ ＝ １ ２ ｘ１ ＋ ｘ ２，ｙ１ ＋ ｙ ２，ｚ１ ＋ ｚ ２ Ｔ＝ （１ ０３８．８６， － １ ４０７．９，７ ６２２．１８） Ｔ 根据两激光光斑空间坐标，可以计算得到激光测 量坐标系计算 Ｘｄ轴在摄像机坐标系中方向向量为 Ｘｘ Ｘｙ Ｘｚ ＝ － １ ０．００１ ６ － ０．００４ ２ 两激光束直线在图像坐标系中的投影相交于消 失点坐标 ｑ３（ ｘ３，ｙ３，ｚ３），可得到激光测量坐标系的 Ｙｄ轴在摄像机坐标系中方向向量为 Ｙｘ Ｙｙ Ｙｚ ＝ ０．７８４ ５ ０．６１９ ９ ０．００３ １ 通过叉乘可以计算得到 Ｚｄ轴在摄像机坐标系 中方向向量为 Ｚｘ Ｚｙ Ｚｚ ＝ ０．００２ ６ － ０．０００ ２ － ０．６２１ １ 则可计算得到测量坐标系与相机坐标系之间旋 转矩阵 Ｍ Ｍ ＝ ＸｘＹｘＺｘ ＸｙＹｙＺｙ ＸｚＹｚＺｚ 通过相机外参标定可以得到相机与机身的转换关 系为（ ９０ ， ９０ ， － ９０ ）以及（－３００，－１００，０），由此可 计算得到机身与激光测量坐标系之间的关系为 ｄ ０Ｍ ＝ － ０．００４ ２ ０．００３ １ － ０．６２１ １ － ０．００１ ６－ ０．６１９ ９ ０．０００ ２ － １ ０．７８４ ５ ０．００２ ６ ｄ ０ Ｔ ＝ １ ２３８．８６ － １ ４０７．９０ ７ ９２２．１８ ５ 试验及结果分析 ５．１ 掘进机机身位姿测量试验 为验证机身视觉测量方法的可行性和稳定性， 搭建掘进机位姿视觉测量试验平台，如图 １０ 所示。 试验平台由悬臂式掘进机模型、 计算机、 ＭＶ － ＥＭＶ５１０Ｍ 防爆工业相机以及 ＹＨＪ－８００ 激光指向仪 组成。 为模拟井下巷道环境，利用矿灯以及烟雾制 造机进行灯光以及粉尘干扰。 试验时工业相机将 采集得到的图像信息通过以太网传输到计算机 中，在计算机中完成对图像预处理、激光光斑中心 以及激光束直线特征的提取，计算获得相机在激 ７９１ 万方数据 g g ＼ 榭 喽 稔 迥 厘 黄 - E 丑 卅 蠖 剖 图像数量／幅 a 坐标轴肪向位移误差 图像数量／幅 b 坐标轴功向位移误差 g g ＼ 榭 嗤 稔 迥 厘 ，R N - E 丑 卅 蠖 剖 图像数量／幅 c 坐标轴Z 方向位移误差 图像数量／幅图像数量／幅图像数量／幅 d 偏航角误差 e 横滚角误差 f 俯仰角误差 h o u g h 变换直线检测方法得到的误差 一结合h o u g h 变换和最小二乘法得到的误差 u【逞删蝼渣迥厘蛰暴蠖副 一O／删蝼姬晕氅 一O／删蝼姬燧辎 一O／删蝼姬堰寒 ２０２１ 年第 １２ 期煤 炭 科 学 技 术第 ４９ 卷 图 １０ 悬臂式掘进机机身位姿测量试验平台 Ｆｉｇ．１０ Ｅｘｐｅｒｉｍｅｎｔａｌ ｐｌａｔｆｏｒｍ ｆｏｒ ｐｏｓｔｕｒｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｂｏｏｍ－ｔｙｐｅ ｒｏａｄｈｅａｄｅｒ 光指向坐标系中的位姿。 根据激光指向仪坐标系 与巷道坐标系之间的已知关系，可得到机身坐标 系巷道坐标系之间的关系，实现掘进机机身位姿 的实时定位。 其中，两平行放置的激光之间距离 为 ５５ ｃｍ，设定每次移动距离为 １０ ｃｍ，利用计算机 编写相机软出发程序，实时触发固定在掘进机上 的防爆工业相机采集激光指向仪特征信息，设置 采集时间间隔为 １００ ｍｓ。 在实验室进行机身位姿视觉测量精度测试时， 将全站仪获得掘进机机身在激光测量坐标系下的位 姿真实值与视觉测量计算结果比较，获得视觉测量 系统的检测精度。 利用本文提出的单目视觉测量系 统，计算获得机身和激光测量坐标系之间的转换关 系，可确定机身在激光测量坐标系中的机身位姿。 研究中也对直线提取算法进行了对比分析，结合 Ｈｏｕｇｈ 变换和最小二乘法的直线特征检测具有一定 的优势。 表 １、图 １１ 分别为试验结果数据及试验误 差曲线。 表 １ 悬臂式掘进机机身位姿测量部分试验结果 Ｔａｂｌｅ １ Ｔｈｅ ｔｅｓｔ ｒｅｓｕｌｔｓ ｏｆ ｔｈｅ ｐｏｓｔｕｒｅ ｍｅａｓｕｒｅｍｅｎｔ ｏｆ ｔｈｅ ｃａｎｔｉｌｅｖｅｒ ｒｏａｄｈｅａｄｅｒ 不同检测 方法 Ｘ／ ｍｍ Ｙ／ ｍｍ Ｚ／ ｍｍ 偏航角／ （） 横滚角／ （） 俯仰角／ （） 测量 真实值 －９５ ０ －６０ －５．１１－０．１２ １．４５ －２００２ ０４０ －６０ ５．１３－０．２７－１．５６ －３１０２ ０４０ －６０ －５．５６－０．３８ １．２１ －３１０２ １５０ －６０ ５．３８０．１０－１．２４ －３１０２ ２６０ －６０ ５．３４０．２８１．５５ Ｈｏｕｇｈ 变换直 线检测 －１２８．６ －２４．３ －５５．２－５．５２ －０．４６１．６６ －１８８．６２ ０４５．２ －７８．３５．５８ －０．９９－１．８９ －３２５．９２ ０５３．８ －７５．４－５．８８ －０．７８１．６７ －３２５．７２ １５６．５ －７６．５５．０１ ０．７４－１．０３ －３２５．２２ ２７０．９ －７６．１４．９５ ０．５８１．２６ 结合 Ｈｏｕｇｈ 变换与最 小二乘法 －１００．７ ２．６ －６１．３－５．３１ －０．２３１．５０ －２０３．２２ ０３５．７ －６２．６５．３９ －０．１１－１．６７ －３１２．２２ ０３８．９ －６０．９－５．３２ －０．５２１．３４ －３１２．５２ １４９．１ －６１．１５．６１ ０．３１－１．４１ －３１２．８２ ２５９．９ －６１．２５．６１ ０．５０１．３８ 图 １１ 位姿测量误差 Ｆｉｇ．１１ Ｅｒｒｏｒ ｏｆ ｐｏｓｔｕｒｅ ｍｅａｓｕｒｅｍｅｎｔ ８９１ 万方数据 E l √ 王 [ 0 ，d 赵建勋等悬臂式掘进机井下精确定位方法及其视觉测量技术２０２１ 年第 １２ 期 试验结果表明，该方法可以在含有杂光以及粉尘 的背景下准确计算出悬臂式掘进机的位置信息。 图 １１ 中，蓝色曲线为利用 Ｈｏｕｇｈ 变换进行直线提取时 的机身位姿测量误差，红色曲线为结合 Ｈｏｕｇｈ 变换与 最小二乘拟合进行直线提取时的机身位姿测量误差。 由图 １１ 可以看出，结合 Ｈｏｕｇｈ 变换和最小二乘 法进行直线提取，计算得到的掘进机机身位置误差， 在激光测量坐标系中的误差分别为Ｘ 轴方向小于 ２０ ｍｍ，Ｙ 轴方向小于 ２５ ｍｍ，Ｚ 轴方向小于 １８ ｍｍ； 掘进机机身偏航角角度误差小于 ０．３，俯仰角角度 误差小于 ０．２５，横滚角角度误差小于 ０．３，小于单 一采用 Ｈｏｕｇｈ 变换所解算的位姿误差，实现巷道中 掘进机机身位姿的有效测量。 ５．２ 煤矿