综采工作面多视觉全局坐标系研究.pdf

第4 4 卷第1 0 期 2 0 1 9 年1 0 月 煤炭学报 J O U R N A LO F C H I N AC O A LS O C I E T Y V 0 1 ．4 4 O c t ． N o ．1 0 2 0 1 9 鬻 移动阅读 刘鹏坤，王聪，刘帅．综采工作面多视觉全局坐标系研究[ J ] ．煤炭学报，2 0 1 9 ，4 4 1 0 3 2 7 2 3 2 8 0 ．d o i 1 0 ． 1 3 2 2 5 ／j ．c n k i ．j c c s ．2 0 1 8 ．1 4 8 5 U uP e n g k u n ，w A N Gc o n g ，u us h u a i ．M u l t i - v i s i o nd o b a lc o o r d i n a t es y s t e mi nf u l l ym e c h a n i z e dc o a lm i n i n g ￡a c e [ J ] ．J 伽m a l “c h i n ac o a ls o c i e t y ，2 0 1 9 ，4 4 1 0 3 2 7 2 3 2 8 0 ．d o i l o ．1 3 2 2 5 ／j ．c n k i ．j c c s ．2 0 1 8 ．1 4 8 5 综采工作面多视觉全局坐标系研究 刘鹏坤1 ’2 ，王聪1 ，刘帅3 I ．中国矿业大学 北京 机电与信息工程学院，北京1 0 0 0 8 3 ；2 ．中煤科工清洁能源股份有限公司，北京 1 0 0 0 1 3 ；3 ．北京天地玛珂电液控制系 统有限公司，北京1 0 0 0 1 3 摘要现阶段综采工作面分布的摄像仪较分散，且煤矿智能化应用多需大场景且高分辨率的图 像，井下广角视觉相机与全景相机的引用试图恢复尽可能宽广的综采工作面视野，但是由于设备从 单一测点进行图像采集，获得的图像会出现畸变，甚至图像失真，因此有必要进行多视觉全局坐标 系的技术研究。介绍图像采集装置的安装设计，使其满足所采集图像有一定重叠且特征稳定，探讨 该布置方式下的图像标定方法，利用最小二乘法的方式能更好的进行摄像仪模型的标定，拟合精度 高且鲁棒性低。通过对工作面图像进行灰度范围压缩或拉伸，提出一种改进型直方图均衡化方法， 提高了工作面低照度情况下的图像细节体现与部分强光下的抑制效果，使得井下环境的辨识度更 高，优化其图片质量。通过比较目前比较成熟的特征点提取算法，最终采用S u r f 算法进行特征点 的匹配与提取，分配特征点的主方向并完成特征点的描述子。针对该算法出现的误匹配特征点较 多的情况，研究消除误匹配特征点的R A N S I C 算法，并通过角点检测配对的方式提高了有价值的特 征点数量。最终通过坐标点坐标建立透视矩阵表达式与全局坐标系从而完成图像的拼接，采用加 权平滑的方法对拼接的图像进行去裂缝处理，最终实现多视觉图片的快速有效融合。试验表明该 方法可有效增强井下图像细节，去除井下图像误匹配特征点，可快速消除拼接的裂缝，并能快速准 确的完成两、三幅图像的拼接融合。 关键词综采工作面；多视觉；全局坐标系；透视矩阵；图像拼接 中图分类号T D 4 2 1 文献标志码A 文章编号0 2 5 3 9 9 9 3 2 0 1 9 1 0 3 2 7 2 0 9 M l l l t i - 、，i s i o ng l o b a lc o o 咄n a t es y s t e mi nf u l l ym e c h a I l i z e dc o a lm i n i n gf a c e L I UP e n g k u n l 一，W A N GC o n 9 1 ，L I US h u a i 3 t 、．S c I l o o t M e c } 1 8 n i c n lE k c t m n i c ＆l 咖r m n 妇nE n 西n e e r i n g ．C h t n nU n 眺r s 略可M t n t 鸣T e c h n o l 0 甜t b t 昭、．8 曲t 哗、o o Q 毫3 ．c h t m ；2 ．C C T E Gc l e d n 眈哪c o ．，M ，＆舛昭1 0 0 0 8 3 ，傩i ，l Ⅱ；3 ． 弧噌7 谊n 击f l I r o r c o 肼耐m 一坳d m u 肠c o ，l ￡r o f5 1 倒mc o ．，厶正，踟i n g1 0 0 0 8 3 ，吼打m A b s t 阳c t C u n ．e n t l yt h ed i s t “b u t i o no fc a m e r a sa tf u l l ym e c h a n i z e dw o r k i n gf a c ei sd i s p e r s e d ，a n dt h em i n ei n t e l l i g e n t 印p l i c a t i o n sn e e dm o r eb i gs c e n ea n dh i g h - r e s o l u t i o ni m a g e s ．T h ew i d e ．a n g l eV i s i o nc a m e m a n dp a n o r a m i cc a m e r af o r u n d e r g r o u n dm i n e st r yt or e s t o r et h eb r o a df i e l do fV i s i o nf o rf u l l ym e c h a n i z e dw o r k i n gf a c ea sm u c ha sp o s s 洒l e ．H o w - e v e r ，d u et ot h ee q u i p m e n tf } o mas i n g l ep o i n ti ni m a g ea c q u i s i t i o n ，i m a g ed i s t o n i o nw i l la p p e a r ，a n de v e nr e s u l ti nl o s - i n gi m a g ef i d e l i t y ．T h e r e f o r e ，i ti sn e c e s s a r yt od om o r eV i s u a l t e c h n o l o g rr e s e a r c ho nt h eg l o b a lc o o r d i n a t es y s t e m ．T h i s p a p e ri n t r o d u c e st h ei n s t a l l a t i o na n dd e s i g no ft h ei m a g ea c q u i s i t i o nd e V i c e t om a k ei tm e e tt h er e q u i r e m e n tt h a tt h e c o l l e c t e di m a g e sa r eo v e r l a p p e dt oac e r t a i ne x t e n ta n dt h ef 宅a t u r e sa r es t a b l e ．A ni m p r o v e dh i s t o g r a me q u a I i z a t i o n 收稿日期2 0 1 8 一l I 0 8修回日期2 0 1 9 一0 4 0 4责任编辑常明然 基金项目国家重点研发计划资助项目 2 0 1 7 Y F c 0 8 0 4 3 0 0 作者简介刘鹏坤 1 9 8 5 一 ，男，山东济宁人，工程师，博士研究生。E m a i l p k - l i u l 9 8 6 1 2 6 ．c o m 万方数据 第1 0 期 刘鹏坤等综采工作面多视觉全局坐标系研究 3 2 7 3 m e t h o di sp r o p o s e db yc o m p r e s s i n go rs t r e t c h i n gt h eg r a ys c a l er a n g eo ft h ew o r k i n gf a c ei m a g e ，w h i c hc a ni m p r o V et h e i m a g ed e t a i lr e f l e c t i o nu n d e rl o wi l l u m i n a t i o na n dt h es u p p r e s s i o ne f f e c tu n d e rp a r t i a ls t r o n gl i g h t ，s oa st oi m p r o V et h e i d e n t i f i c a t i o no fu n d e 昭r o u n de n V i m n m e n ta n do p t i m i z et h ei m a g eq u a l i t y ．S u r fa l g o r i t h mi su s e dt om a t c ha n de x t r a c t f e a t u r ep o i n t s ，a l l o c a t et h em a i nd i r e c t i o no ff e a t u r ep o i n t sa n dc o m p l e t et h ed e s c r i p t i o no ff e a t u r ep o i n t s ．A i m i n ga tt h e s i t u a t i o nt h a tt h e r ea r em a n ym i s m a t c h e df e a t u r ep o i n t si nt h i sa l g o r i t h m ，R A N S I Ca l g o r i t h mt oe l i m i n a t em i s m a t c h e d f e a t u r ep o i n t si ss t u d i e d ，a n dt h en u m b e ro fv a l u a b l ef e a t u r ep o i n t si si n c r e a s e db ym e a n so fc o r n e rp o i n td e t e c t i o na n d p a i r i n g ．F i n a l l y ，t h ep e r s p e c t i V em a t r i xe x p r e s s i o na n dt h eg l o b a lc o o r d i n a t es y s t e ma r ee s t a b l i s h e dt h r o u g ht h ec o o r d i - n a t ep o i n tc o o r d i n a t e st oc o m p l e t et h ei m a g es p l i c i n g ，a n dt h ew e i g h t e ds m o o t h i n gm e t h o di sa d o p t e dt or e m o v et h e c r a c k si nt h es p l i c e di m a g e s ，s oa st or e a l i z et h ef a s ta n de f k c t i V ef u s i o no fm u l t i v i s i o ni m a g e s ．E x p e r i m e n t ss h o wt h a t t h i sm e t h o dc a ne f k c t i v e l ye n h a n c eu n d e r g m u n dm i n ei m a g ed e t a i l s ，r e m o v eu n d e r 铲o u n dm i n ei m a g em i s m a t c h i n g f b a t u r ep o i n t s ，q u i c k l ye l i m i n a t es t i t c h i n gc r a c k s ，a n dq u i c k l ya n da c c u r a t e l yc o m p l e t et w oo rt h r e ei m a g e ss t i t c h i n gf h s i o n ． K e yw o r d s f u l l ym e c h a n i z e dm i n i n gf a c e ；m u l t i - v i s i o n ；g l o b a lc o o r d i n a t es y s t e m ；p e r s p e c t i v em a t r i x ；i m a g ef u s i o n 随着电子技术与计算机技术在各个领域的广泛 应用，国内综采工作面的技术装备已经实现了综采工 作面的视频监控逐渐覆盖。但由于工作面巷道较长 且煤层起伏，需要在工作面布置多个图像采集装置， 图像采集装置不仅需要监控和巡逻工作面，在综采工 作面的视觉自动找直等应用层次也发挥着重要作 用‘1 2 。。 国家发改委与国家能源局提出的煤炭科学产能 与智能化开采的目标，工作面直线度检测与井下虚拟 现实技术等开发前景被广泛提出，所涉及到的图像拼 接技术成为了众多煤矿企业与研究机构的研究方 向‘3 4J 。为获取工作面视角范围较宽且分辨率较高 的图像，引入了广角相机与全景相机等图像采集装 置，但是所获取的图像往往因为失真而无法应用到相 关的煤矿智能化开采中来，且在矿井下如果拍摄的图 像场景足够大，图像的分辨率通常会比较小，无法保 证井下监控的有效性以及一些细节的体现。而保证 足够分辨率的同时，往往图像场景的范围又会很 小∞娟J 。为了解决分辨率与场景的矛盾，引入全局坐 标系技术，将多个图像采集装置分布在不同的位置 上，需要保证采集的图像有部分重叠，完成图像的拼 接，保证了经全局坐标建立的图像场景大且分辨率 高‘9 I 。 国内外关于图像拼接的技术方法很多，包括浙江 大学C A D C G 国家重点实验室和中国科学院自动化 所模式识别国家重点实验室利用模板匹配的方法进 行搜索来确定重叠区域边界的最佳匹配位置，从而获 得拼接图像；2 0 0 4 年赵向阳、杜立民提出的一种基于 特征点匹配的图像自动拼接算法，提高了拼接算法的 稳定性，但计算与拼接速度较慢。在国外，图像拼接 研究较早，算法也相对较为成熟，包括D cC a s t r o 和M o r a n d i 将傅里叶变换应用到图像拼接中，在频域 范围内对原始图像进行处理；1 9 9 6 年，R e d d y 和c h a t e rj i 对D cC a s t m 的算法进行了改进，提高了配准效 率，但该种方法要求图像的重叠区域比例至少达到 5 0 ％，不利于井下图像采集装置的布置0 。1 2J 。 工作面图像采集装置由于固定的位置多为支架 上，采煤过程中支架工作带来的抖动会影响图像采集 装置，且工作面中复杂的光照环境对图像采集装置提 出了严格的要求，为图像拼接带来了很大的难 点’1 卜”j 。虽然国内外提出了很多关于全局坐标系的 原理和方法的研究，但很多全局坐标系建立的算法对 煤矿井下应用有一定的局限性，笔者将对综采工作面 多视觉全局坐标系进行研究，最后通过实验来验证算 法的可行性。 1 综采工作面多机构建方法 全局坐标系需要保证图像采集装置对整个工作 面的覆盖，并且相邻的采集装置所采集到的图像必须 有重叠从而保证建立全局坐标系，因此解决工作面图 像采集装置的布局也尤为重要。为了确保图像采集 装置可采集到工作面或煤壁的有效图像，需将图像采 集装置固定安装到支架立柱前方可固定的位置，一方 面可以对图像采集装置进行保护，另一方面采集的图 像不会出现因为图像抖动出现的失真现象。1 6 。旧j 。综 采工作面中所采集的图像质量较差，需要对采集到的 图像进行必要的优化。 1 ．1 多视觉装置固定模型 由于视角不同，当图像由3 D 转换为2 D 时，二维 图像需要表现出三维图像的体积空间，这不免会出现 近大远小和近实远虚的情况，合理的安装方式可覆盖 整个工作面的图像，最终选定将图像采集装置布置为 万方数据 3 2 7 4 煤炭 学报 2 0 1 9 年第4 4 卷 正面煤壁‘2 2 。如图1 所示，为每隔2 架支架布置1 台摄像仪。 爿D 支架支架景支架支架蕈支架支架 ＼7 一、、 ／＼1 ＼ 臼I 、／ ＼ 、＼＼、 ／ ＼ ＼ ／ ＼／ ＼／ ＼ ／ ＼／ ＼／ ～ ／＼／ ＼ ／ ＼ ／＼／＼ ／ ／ ＼／＼ ／ ＼ 、 ＼ ／＼／＼，，＼ GECH 煤壁 图1 隔2 架支架布置1 个摄像仪 F i g ．1 Ac a m e r am o u n t e do ne a c ht h r e es u p p o n s 设相邻2 个支架的中心间距为p ，采集装置布置 点距离煤壁距离为q 即4 G g ，则 [ B 4 C 2 日 1 t a n9 日G ／A G 2 B G C G E H F H 3 C G 朋 2 B G 伽 印 4 因此，可得 ￡日4 C 2 a r c t a n 丛 2 2 a r c t a n 望 5 口g 再根据试验测试中工作面液压支架的特点，将 p 1 ．5m 和q 2 ．5m 代入式 5 ，可得 戈 2 时，￡鲥C 6 2 0 6 戈 3 时，[ 醐C 8 4 。 7 石 4 时，z 础C 1 0 2 o 8 根据该试验情况与上述公式的验证，得出间隔不 同的支架布置图像采集装置时对应的视场角。 根据如表1 所述的不同英寸c c D 电荷耦合器 件 与采集装置焦距的关系，并参考应用于综采工作面 对于目标测试的有效距离等因素，最终确定选择图像 采集装置搭配1 ／3 ”C C D ，焦距为2 ．8m m ，对应的角度 为8 9 ．8 。，在试验的煤矿井下可满足研究的需求。 1 - 2 两台相机测量分析 在如图2 所示的测量系统中，相机1 测量范围为 支架2 ～6 ，相机2 测量范围为支架5 ～9 。在实际系 统中，两台相机的安装位置不可避免的出现一定角 度。安装过程中，我们可以利用相机的重叠部分，图 中为支架5 和支架6 对相机进行相互标定。 解决的思路是利用最小二乘法对支架5 和支架 6 在相机1 和相机2 中的坐标分别建立方程，拟合出 一个转换法则，使得各数据点与转换法则的偏差的平 方和最小。 表1 镜头焦距与照射角度 T a b l e1 C o r r e s p o n d i n gt a b l eo fl e n sf o c a ll e n g t ha n d i r r a d i a t i o nA n g l e 懋 、，j 支架1 支架2 支架3 支架4 支架5 支架6 支架7 支架8 图2 两台相机标定测量系统 F i g ．2 T w oc a m e r a sc a l i b r a t i o nm e a s u r i n gt h e m e a s u 订n gs y s t e m 由图3 可知，同一横向平面内转换方程为线性相 关，其形式为 y o 戈 6 9 假设任意点坐标为 石。，y 。 ，则数据点与直线的 偏差为 秽。 √△y ； 缸； 1 0 如果测量偏差很小，则可以忽略戈的测量误差， 那么认为数据的主要偏差是 ，产生的，因此 秽。 △y 。 [ y i 一 o 6 z 。 ] 1 1 那么偏差的平方和 a ∑秽； ∑ y 。一。一眠 2 1 2 根据二元函数求极值法，对o ，6 分别求偏导，可 以得到 a 主 。 亏一2 孙⋯缸⋯ ㈣， a ∑秽； 。 寺一2 蚤 y t n 吨。 戈t 万方数据 第1 0 期刘鹏坤等综采工作面多视觉全局坐标系研究 3 2 7 5 晖x ㈣， 式中 s 。 ∑础。一音∑z 。∑ ，。 1 5 s “ ∑戈；一 ∑2 1 6 戈 ∑x 。 1 7 ’ n 一 由式 1 4 可求出o ，6 的值，进而可以得到坐标 转换的方程。 当系统中有多台相机时，利用重叠部分依次进行 坐标的测量和转换，就可以得到全工作面的图像信 息。 2 多机全局坐标系系统方案 全局坐标系建立首先需要进行图像预处理，尤其 针对井下环境需要进行图像优化。优化后的图像需 要根据特征点的匹配与定位，确定图像的变换关系， 根据变换关系建立数学变换模型，完成统一坐标的变 换。最终采用加权平滑融合的方式去除由于视场不 同带来的拼接裂缝，完成图像拼接融合。 2 ．1 多视觉图像优化 综采工作面中的环境较为恶劣，往往出现两种较 为极端的环境，包括采煤机工作过程中会带来较为严 重的煤尘，且工作面整体的亮度并不理想，一般低于 8L u x ，为后期图像的数字图像处理带来很多不利因 素；另外，由于井下生产活动需要布置的大瓦数的照 明装置，所带来的强光比较集中，且光谱较差，对图像 采集装置提出更高的要求。因此在图像采像采集装 置的选择上，调研多种国内外C C D 模块，进行相应的 测试，在低照度优化的情况下，选择透雾效果较好，且 图像增强细化效果好的W A T E C 厂家的机芯。但图 像采集装置面对煤矿井下的环境采集的图像仍不能 直接用于试验研究，需要在图像处理的层面上优化所 采集的图像。 采集的综采工作面需要进行图像的增强，增强图 像对比度，使图像的灰度在整个灰度范围内分布的更 为均衡，在穿透直方图均衡与灰度变换的方法上进行 改进。分区域对采集的图像进行分析，对灰暗的区域 进行非线性灰度拉伸，保证该区域图像的亮度满足研 究的需求；对强光区域进行相应的抑制，压缩灰度值 的动态范围，完成对源图的改进直方图均衡化。 将图像像素的灰度范围设为O 一2 5 5 ，假设采集 图像中有形个像素点，灰度为J 的像素点的数目为加， 可得出灰度为歹的像素点的概率为p - 『 。 ，们 P 歹 音 1 8 W 当0 勺 2 5 5 时，假设概率低于p 。；。／3 的像素点为 频次超低点。当满足灰度为，的像素点对应的概率 满足以下条件时 P ， 1 J p 歹 p ，一1 ≤J D 。i 。 1 9 n P f ≤半 2 0 j 可认定灰度为，的像素点频次超低，则需将灰度为J 的像素点放入集合C 。i ．中，相反将频次超高的点放 人集合C 。。其中P J 1 为灰度为 J 一1 像素点的概 率，P ， 1 为灰度为 ， 1 像素点的概率。剩下像素 点的灰度放入集合C 。。 按照算法对C 。i 。灰度压缩，C 。。。与c 0 的集合完 成相应的灰度拉伸。 通过试验过程中应用该改进型算法，可实现对工 作面采集图像的增强与优化，增加图像中的相关细 节，去除图像中无效的数据，图像中原本相邻的灰度 差更为明显，增强型的图像效果更有利于后续全局坐 标系图像拼接的建立。 如图3 所示，图3 a 为原始工作面图像，图 3 b 为其对应的直方图，图3 c 为工作面普通直方 图均衡化方法的效果，图3 e 为改进型直方图均衡 化的的图像拉伸效果。由图中可以看出普通直方图 均衡化方法的效果使得图像更为模糊，丢失了图像的 相关细节，而经改进型直方图均衡化的的图像有很高 的辨识度，细节体现较为明显，对后期图像拼接过程 奠定了良好的基础。 2 ．2 图像配准 2 ．2 ．1 特征点提取与匹配 图像中总是有一些很特别的像素点，这些点作为 这些图像的特征存在，故而被称为特征点。在视觉领 域中，做到图像特征匹配需要以特征点为基础，且需 要图像中有足够多的特征点，特征点彼此间不同、特 征稳定，才能做到对特征点的精准定位，然后将特征 点进行匹配。在全局坐标系建立的过程中，有很多算 法进行匹配，例如S i f t 算法，s u r f 算法，F a s t 算法，O R B 算法等，通过各算法的权衡与测试，笔者最终以S u r f 算法作为研究方法。 S u r f ，全称为S p e e d e d u pR o b u s tF e a I u r e s ，即加速 稳健特征。该算子对图像旋转、变换以及仿射变换保 持不变性的图像局部特征描述算子，且克服了S i f t 算 万方数据 3 2 7 6 煤炭学报 2 叭9 年第4 4 卷 150 0 0 1 00 0 0 鼎 咂 5 0 0 05 01 0 015 02 0 02 5 灰度 b 对应图像直方图 灰度 d 普通效果直方圈 灰度 优化效果直方臣 图3 工作面直方图均衡化效果 F i g ．3 W o r k i n gf a c eh i s t o 铲a me q u a l i z a t i o nr e n d e r i n g s 法的复杂性，同时缩短了运行的时间，对图像中特征 点的有效分析与方向定位进行了效果提升。 该算法首先需要构建经过高斯滤波的H e s s i a n 矩阵，表述为 毗川 睽j 二心嬲】㈣， 矩阵中的元素为对高斯滤波后图像g 盯 _ 匕e 叱2 ，2 m 盯2 在各个方向上的二阶导数，可计算矩 阵判别式的局部极大值，从而判断邻域内相比于当前 点其他较亮或较暗的点，对特征点进行准确的定位。 其判别式可表示为 d e t H D 。。木D ，，一D 。，术D 。， 2 2 因为S u r f 使用的盒式滤波器代替了高斯滤波 器，所以要在D 。，前乘以一个加权系数来平衡更换滤 波器带来的误差，经研究测试，系数0 ．9 不会对结果 产生较大的影响。 2 ．2 ．2 金字塔结构构建 为保证图像在不同图像中适应目标尺度变换，让 图像拥有尺度不变性的特性，需构造如图4 所示的金 字塔结果。该算法可允许尺度空间的多层图像被同 时调用，以防止二次抽样带来误差。图4 a 为传统 算法建立的金字塔，图像的尺度会发生多次改变，且 每次改变都需要用高斯函数对其做平滑处理，而建造 图4 b 所示的金字塔可保证原始图像不发生变化， 变化的是滤波器的大小。 图4 金字塔模型 F i g ．4P y r a m i dm o d e Id i a g m m 2 ．2 ．3 特征点定位 用三维领域的2 6 个点与经过H e s s i a n 矩阵处理 过的每个像素点进行大小比较，如果该像素点是这 2 6 个点中的最大值或者最小值，则保留下来，当做初 步的特征点，再用三维线性插值法去掉一些低于阈值 或定位错误的点。 2 ．2 ．4 特征点的主方向分配 统计特征点圆形邻域内的H a r r 小波特征，以特 征点为中心，取H a r r 小波边长为4 s s 为所检测到 该特征点所在的尺度 ，以6 0 。扇形进行间隔期的旋 转。将该范围内的响应相加形成新的矢量，当遍历 完整个圆形区域时，再次统计该区域内H a r r 小波特 征值，其中以最长矢量方向为特征点的主方向，如 图5 所示。 一 ‘渺 F 忑蟊嗣■量曼 I ■臣一- y ～o ■刊 } o 一．’孽z ≯ 璺寰鬯 孽勇 P 警锄庐 艇l 簟警j i0 1p 譬．、．。一一、j _ I ，】 【耋。二．，二。_ ■．| fc ，1 州味性难H 特m 。们，U { n 艄t 侍儿魁㈥特矾一，乃一 图5 分配特征点主方向 F i g ．5A s s i g n m e n to ft h em a i nd i r e c t i o no ff e a t u r ep o i n t s 万方数据 第l O 期刘鹏坤等综采工作面多视觉全局坐标系研究 3 2 7 7 2 ．2 ．5 特征点描述子完成 通过对特征点周围取矩形区域块，取该矩形区 域的各边长都为2 0 s ，所取的矩形区域方向为上步 所确定的主方向。将该矩形区域划分为1 6 个区 域，相对于主方向，在每个区域内计算2 5 个像素的 水平和垂直方向的H a a r 小波特征值。这些值包括 水平方向值的和以及绝对值的和，垂直方向值的和 以及绝对值的和，因此每个区域有4 个值，每个特 征点即为1 6 4 6 4 维的向量，此向量在图像匹配 中提升了匹配速度。 图6 a ， c 为工作面匹配基准图， 图6 b ， d 为待匹配的综采工作面的图，经过上面 的步骤，将两图进行特征点的提取与匹配，匹配结果 如图7 所示。 一 伊 图6 综采工作面匹配 F i g ．6M a t c h i n gc h a r to ff u l l ym e c h a n i z e dm i n i n gf a c e 2 ．2 ．6 误匹配算法消除 通过匹配的效果发现有明显的部分匹配点是错 误的，过多的错误匹配点会给后续的全局坐标的建立 带来严重的影响，因此需要对将错误的匹配点进行消 除，在此我们采用R A N S I C 算法来优化匹配算法。 R A N S I c 算法是估计模型中的一种算法，可有效去除 噪声影响，其算法思路为从其数据点组成的集合中抽 取部分数据点拟合出一个模型来解释这些数据点的 分布，如果满足设定的阈值，即为正常匹配的特征点， 超过阈值的即为错误的测量方法或噪声极值引起的 不满足匹配的特征点，通过R A N S I C 消除误匹配特征 点的匹配结果如图8 所示。 2 ．2 ．7 角点检测配对 通过消除误匹配的一些特征点，当搜索有价值的 图7 特征点匹配 F i g ．7 F e a t u r ep o i n tm a t c h i n g 铲a p h 图8 消除特征点误匹配 F i g ．8E l i m i n a t i n gf b a t u r ep o i n tm i s m a t c h i n gg m p h 特征点时，会发现大部分不合格的特征点均已去除， 只有约2 0 0 多个匹配点，若想让综采工作面低照度的 图像获得更好的融合，需要更多特征点来满足匹配需 求，通过试验研究发现增加角点检测可满足应用需 求。角点的价值在于它是两条边缘线的接合点，是一 种二维特征，可以被精确地定位。通过H a H i s 特制检 测来检测角点，如图9 所示。 2 ．3 统一坐标变换 通过匹配特征点的坐标来确定透视矩阵，通过透 视矩阵的图像即可进行图像的融合。透视矩阵的表 达式为 万方数据 3 2 7 8 煤炭 学报 2 0 1 9 年第4 4 卷 图9 角点检测匹配 F i g ．9 C o m e rd e t e e t i o nm a t c h i n gg r a p h H m 1 1 m 1 2m 1 3 m 2 lm 2 2m 2 3 m 3 lm 3 2m 3 3 2 3 计算完透视矩阵，将H 矩阵的所有元素都除 以m 3 3 ，可得 H 2 4 获得了透视矩阵之后，进行图像的变换 卜m - z ％，] [ n ，6 ，c ] [ o ’，6 ’，1 ] lm 2 ， m 2 2m 2 3 2 5 L m 3 1 m 3 2 l j 其中，o7 ，6 ’分别为图像的横纵坐标，经变换的图像的 横纵坐标为o ／c ，6 ／c ，即式 2 6 ， 2 7 中的z 和 ， oo ’，孔1 1 67 m 2 l ，孔3 l “ c Ⅱ7 m 1 3 67 m 2 3 1 6 o7 m 1 2 6 ’m 2 2 m 3 2 。 cn7 m 1 3 67 ，n 2 3 1 h h l 圯眦绌粜 图1 0 透视矩阵变换 F i g ．1 0P e r s p e c t i v em a t r i xt r a n s f o 衄a t i o nd i a g r a m h 6 Ih 儿雕％粜 2 6 图1 1 透视矩阵及坐标 F i g ．11P e r s p e c t i v em a t “xa n dc o o r d i n a t ed i a g r a m 2 7 3 图像融合实验 透视矩阵中各参数对应的功能各不相同，如m 可控制图像缩放，m 。可进行旋转、修剪，透视矩阵中 各参数对应的功能各不相同，如m ⋯m 。，m ㈨m 可 控制图像缩放与旋转，m 。，，m ，可控制图像平 移，m m m ∞可实现将图像透视变换。经透视变换的 图形如图1 0 所示，其中的透视变换矩阵及变换坐标 分别对应图1 1 。 3 ．1 平面拼接 全局坐标的统一即可让图片直接进行平面拼接， 但是在拼接过程中因为不同图片的光照色泽信息不 一致，在图像拼接过渡的时候会出现明显的拼接缝 隙，即使是综采工作面的同一相机采集装置，其灰度 的细微差异也会引起拼接的裂缝，如图1 2 a 所示， 顶部有明显拼接裂缝。 万方数据 第1 0 期 刘鹏坤等综采工作面多视觉全局坐标系研究 3 2 7 9 a 去除拼接裂缝前 b 去除拼接裂缝后 图1 2 去除拼接裂缝前后对比 F i g ．12C o m p a r i n gb e f o r ea n da f t e rr e m o V i n gs p l i c i n gc r a c k s 3 ．2 图像融合 经过中值滤波、小波变换等多种消除拼接裂缝的 融合方式，笔者采用加权平滑融合的方式消除拼接裂 缝，该方法为将重叠的部分将前一幅图像慢慢过渡到 第2 幅图像。为防止行与行之间的灰度值差异过大 而引起新的拼接裂缝，第l 行需按照灰度值差异最小 的原则来处理，其他各行都需要选择规定的邻域内灰 度差异最小的点作为拼接点，拼接的裂缝现象就得到 了很好的处理。该邻域的范围不能设置太大，经实验 测试选取3 即可，然后按加权平滑对重叠区域再进行 过渡，将重合部分的像素值按照一定的权值相加生成 新的图片。去除裂缝的图像融合图如图1 2 b 所示。 通过多视觉图像的采集与融合，两幅图像融合后 的图像如图1 3 所示，3 幅图像融合后的效果如图1 4 所示，实验证明建立全局坐标系可实现多幅图像的融 合，实现的图像融合效果较好，可满足大多数工作面 的测试或监控，且算法的速度较快，实用性较高，达到 b 6 b 匹配结果 图1 3两幅图像实现图像融合 F 嘻1 3 T w o f u s i o n 了预期的目的。 图1 43 幅图像实现图像融合 F i g ．1 4T h r e e - i m a g ef u s i o n 4 结论 1 针对综采工作面图像亮