基于光流法地形跟随的矿区复杂地形无人机摄影测量_王峥羽.pdf

基于光流法地形跟随的矿区复杂地形 无人机摄影测量 王峥羽 1 王文成 2 李德鑫 3 袁佳琪 1 郭豪 1 （1. 重庆交通大学土木工程学院， 重庆 400000； 2. 北京国遥新天地信息技术有限公司， 北京 100101； 3. 中国矿业大学环境与测绘学院， 江苏 徐州 221116） 摘要受开采沉陷或地表资源剥离的影响， 矿区地形一般较为复杂。传统摄影测量作业时根据矿区平均高 程和测量精度要求， 设计一个固定航高， 按照该高度进行无人机影像采集。该方法因受地形起伏的影响， 测区内摄 影比例尺、 影像重叠度、 分辨率相差较大， 导致测量精度不一致， 甚至无法构成立体视觉条件， 导致空三加密失败。 为克服传统方法的不足， 在分析地形起伏对测量精度影响的基础上， 基于地形跟随技术， 采用轻小型机器视觉模 块， 通过设计开发基于拓扑约束的快速光流估计算法， 实时估计无人机相对地面的航高， 并根据地形变化调整无人 机飞行高度， 实现实时地形跟随的矿区复杂地形摄影测量， 从而保证在矿区复杂地形条件下摄影比例尺、 影像重叠 度、 分辨率一致， 满足精度均匀的摄影测量条件。研究表明 在矿区复杂地形条件下， 能够达到1 ∶ 500大比例尺矿 区地形图测绘精度要求， 证明了该方法的有效性。 关键词开采沉陷无人机摄影测量地形跟随光流法复杂地形 中图分类号TD17， TD325文献标志码A文章编号1001-1250 （2019） -07-167-05 DOI10.19614/ki.jsks.201907027 Unmanned Aerial Vehicle Photogrammetry for Mining Area Complex Terrain Based on Optical Flow Terrain Following Wang Zhengyu1Wang Wencheng2Li Dexin3Yuan Jiaqi1Guo Hao12 （1. School of Civil Engineering， Chongqing Jiaotong Uneversity， Chongqing 400000， China； 2. Beijing Guoyao Xintiandi Ination Technology Co.， Ltd.， Beijing 100101， China； 3. School of Environment Science and Spatial Infomatics， China University of Mining and Technology， Xuzhou 221116， China） AbstractAffected by mining subsidence or surface resources stripping， the terrain of mining area is generally complex. In the traditional photogrammetry， a fixed aerial height is designed according to the requirements of average terrain and preci- sion in the mining area， and UAV（Unmanned aerial vehicle）image collection is carried out according to this height. Due to the influence of topographic fluctuation， the photographic scale， image overlap degree and resolution difference in the measure- ment area are large， resulting in inconsistent measurement accuracy， even can not constitute stereoscopic visual conditions， air triangulation encryption failure.In order to overcome the shortcomings of traditional s， on the basis of analyzing the in- fluence of topographic relief on measuring accuracy， combing with the terrain following technique， the light and small machine vision module is adopted， the relative altitude of the UAV in real time can be estimated through developing the fast optical flow estimation algorithm based on topology constraints， besides that， the UAV flying height can be adjusted based on the changes of terrain， so as to realize the photogrammetry of complex terrain in mining areas with real-time terrain track- ing.In this way，the uni photographic scale， image overlap and resolution can be guaranteed under the complex terrain conditions of the mining area， and the uni photogrammetry can meet the requirements of expected accuracy.The study re- sults show that the accuracy of 1 ∶500 large scale topographic map can be achieved in the complex terrain of mining area， which proves the effectiveness of the . KeywordsMining subsidence， UAV， Photogrammetry， Terrain following， Optical flow ， Complex terrain 收稿日期2019-05-30 作者简介王峥羽 （1998） ， 男， 本科生。 总第 517 期 2019 年第 7 期 金属矿山 METAL MINE Series No. 517 July 2019 167 ChaoXing 金属矿山2019年第7期总第517期 矿山开采不可避免地对周围环境带来一定的影 响 ［1］。要实现对矿山环境及时有效的修复， 则需要及 时获取和更新矿区大比例尺地形图 ［2］。传统大比例 尺地形图生产， 需外业工作人员利用GPS、 全站仪等 仪器进行现场实测， 存在周期长、 实时性差、 效率低、 成本高、 工作强度大、 安全保障性差等不足。 近年来随着数字摄影测量技术的发展， 摄影测 量尤其无人机倾斜摄影测量在地形、 城市测量中获 得了广泛的应用。孟庆鹏等 ［3］、 侯树慧等［4］、 万剑华 等 ［5］、 Gao等［6］、 周小杰等［7］分别应用固定翼、 旋翼、 消 费级无人机进行大比例尺测图、 变形监测研究； Dewez ［8］、 李天［9］利用机载高精度GPS实现了免控制 点的大比例尺测图。上述研究与应用证明了在平坦 地区， 固定航高无人机摄影测量技术可以满足大比 例测图精度要求。矿区受开采沉陷或地表资源剥离 的影响， 地表起伏变化大， 甚至有些矿区就处于地形 复杂区域， 致使矿区地形更为复杂。张永年等 ［10］分 析了地形起伏对无人机低空航测的影响， 认为只有 在相对高差不大的测区， 采用固定航高无人机摄影 测量技术才能取得理想效果。王刚 ［11］、 马海鹏［12］在 矿区摄影测量实践中不考虑地形起伏因素， 点位中误 差只能满足1 ∶ 2 000比例尺测图要求。而李涛 ［13］顾及 了地形起伏因素， 在复杂地形测图作业中， 采用无人 机摄影测量技术可以达到1 ∶ 500比例尺的成图要求。 为提高矿区复杂地形大比例尺测图精度， 在分 析地形起伏对测量精度影响的基础上， 基于目前常 用的地形跟随方法， 设计一种利用轻小型机器视觉 模块， 适合近地面无人机采用， 通过改进光流法实现 复杂地形高精度无人机摄影测量， 并结合实例进行 验证。 1地形起伏对摄影测量精度的影响 传统 （无人机） 航空摄影测量航线规划一般根据 成图比例尺、 测区平均高程面， 按照航向与旁向重叠 度、 影像分辨率的要求， 设计一个固定航高， 按航带 飞行。 1. 1地形起伏对重叠度的影响 如图1所示， S1、 S2点为相邻两相片投影中心， B为 摄影基线， MN、 EF为两相片成像范围， EN为重叠区 域， O1、 O2为像主点。投影中心与投影测区平均高程 面的垂距为设计相对航高， 投影中心与实际地面的垂 距为实际相对航高。当重叠范围E1N1等于摄影基线 跨度时， 重叠度为50， 仅能满足立体视觉条件， 无三 度重叠区， 不满足航带连接条件； 当重叠范围等于2 倍摄影基线跨度时， 重叠度为66， 基本满足立体视 觉条件和三度重叠条件； 重叠范围等于3倍摄影基线 时， 重叠度为75， 能有效满足立体视觉条件和三度 重叠条件。2倍基线与3倍基线跨度两者高差为1/3～ 1/4相对航高， 显然满足立体视觉条件以及 “三度重叠 地形起伏的高差变化应在1/4设计航高以内” 的要求。 以上分析与 数字航空摄影规范第1部分 框幅 式数字航空摄影 （GB/T 279202011） 要求一致， 规 范提供的像片重叠度计算公式为 pxpx1-pxΔh/H，（1） 式中，px为当前高度的像片重叠度， ％；px为平均 高程面的像片重叠度， ％；Δh为当前高程与平均高 程的差值， m。 由式 （1） ， 同样可以分析出无人机近地面摄影测 量中地形起伏对于重叠度影响较大， 高差变化需控 制在1/4设计航高以内。 1. 2地形起伏对分辨率的影响 地面分辨率是衡量影像能有差别地区分两个相 邻地物最小距离的能力。航高计算公式为 ［14］ H f∙GSD α ，（2） 式中，H为航摄高度， m；f为像主距；α为像元尺 寸； GSD为地面分辨率。 在主距和像元尺寸一定的情况下， 航高和地面 分辨率成正比。航高增加虽然可以降低地形起伏对 重叠度的影响， 但地面分辨率变大， 地面分辨率直接 影响影像匹配精度， 影像匹配精度决定了点位坐标 的计算精度。 综上分析， 为提高无人机摄影测量精度， 设计航 高应尽可能小； 而航高小， 地形起伏对像片重叠度的 影响大。因此， 为提高矿区复杂地形大比例尺测图 精度， 有必要采用顾及地形因素的近地面摄影测量 方法。 2复杂地形无人机摄影测量方法 地形跟随是指保持近地面飞行器的航向不变， 依靠纵向机动能力随地形起伏改变飞机高度， 使飞 行器尽可能贴近地面飞行的一种方法 ［14-16］。赵小勇 等 ［14］结合数字地形图， 采用GPS、 测高计测量高度， 与 已有地形图的高程数据进行比对， 对地形跟随方法 168 ChaoXing 柴晓然等 自动化泥浆循环净化装置机械系统设计与研制2019年第7期 进行了研究； 杨新勇等 ［15］提出了基于图像分割的地 形跟随方法， 从遥感影像中提取分水岭信息引导飞 行器近地面飞行。上述方法属于被动地形跟随， 需 要有效掌握测区的地形信息， 利用已有地形图、 DEM、 影像等， 通过飞行器高度比对实现地形跟随。 但由于矿区地形随开采进度不断变化， 因而被动地 形跟随方法的适用性不强。 雍歧卫等 ［16］在地面管道无人机巡查中， 根据航 高与比例尺的关系， 利用管道目标识别其大小， 判断 高度， 进行地形跟随。该方法仅针对管道巡查适用， 不具有普适性。魏东辉等 ［17］利用无人飞行器前视序 列图像进行地形跟随， 计算量较大， 对于小范围和存 在建筑物的情况， 分析比较困难。近年来， 牛渊 ［18］、 Livshitz等 ［19］、 刘小明等［20］、 杨盛伟等［21］分别提出了多 传感器集成、 激光测距、 光流法等多种地形跟随方 法， 各有其适用性。该类主动地形跟随方法， 通过飞 行器携带的主动测距模块实时调整测量高度， 实现 地形跟随。其中， 光流法以其计算量小、 应用灵活、 鲁棒性好等特点在无人机、 导弹等视觉导航中得到 了广泛应用。 一般被动地形跟随的不足之处是需要额外挂载 测距模块， 甚至加装地形跟随吊舱， 增加了飞行器负 荷。OpenMV4是一款带有Python编程的摄像头， 有 效解决了负载过大的问题。利用OpenMV4基于Py- thon的机器视觉模块， 可以很容易地在OpenMV Cam 所获取的地面影像上运行机器视觉算法。本研究基 于OpenMV4通过编程实现改进光流法测距， 在不影 响无人机现有影像采集系统的基础上， 实现复杂地 形地形跟随摄影测量。 3流法技术原理 3. 1光流 当人眼观察运动物体时， 物体景象在人眼视网 膜上形成了一系列连续变化的图像， 这一系列连续 变化的信息不断 “流过” 视网膜， 好像一种光的 “流” 动， 故称之为光流 （Optical Flow） ［12］。相机与人眼相 似， 物体景象反映于图像平面， 运动使系列影像之间 产生了灰度变化。 3. 2光流与地形估计 光流表达了图像的变化， 由于它包含了目标运 动信息， 因此可用于确定目标的运动情况。同时， 不 同远近的物体其光流变化不同， 因此光流还可以用 于确定物体的远近。如图2所示， 外界目标相对于相 机传感器以速度v向右运动， 在影像传感器上形成了 速度为vflow的影像运动，vflow与速度v成正比， 与距离 h成反比 ［22］。即 .（3） 因此， 在影像传感器相关参数确定后， 便可由光 流确定速度或距离。若已知 （无人机） 相机飞行速 度， 则可根据影像光流场来确定地形。 3. 3拓扑匹配约束下的快速光流估算 根据式 （3） 可知无人机相对于地面飞行速度， 要 得到无人机相对于地面高度h， 关键在于光流估 算。光流估算常用的算法有基于梯度的方法、 基于 能量的方法、 基于相位的方法、 神经动力学方法、 基 于匹配的方法等 ［12， 21， 23］。该类方法中前4种主要目的 在于获取影像范围内目标的运动情况， 基于匹配的 方法可以根据需要， 采用稠密匹配或稀疏匹配方 式。无人机地形跟随， 可通过影像上少量目标获取 飞行器高度， 无需获取大量目标光流场， 更为重要的 是可以快速获取光流信息， 实现快速估算无人机高 度， 进行地形跟随。 在匹配法基础上， 本研究设计了拓扑匹配约束 下的快速光流估算方法。具体实现步骤为 ①首张 照片特征提取少量点， 构成多边形； ②利用多边形的 拓扑约束关系， 可以快速定位第二张照片的多边形 顶点位置 （图3） ； ③计算各边比例变化， 无需计算像 片坐标系的坐标， 进行光流估计； ④由光流估计估算 当前相对地面航高。 169 ChaoXing 将基于拓扑匹配约束下的快速光流法原理在 OpenMV4的STM32H7高性能微控制器上， 利用Py- thon编程实现， 无人机将会根据距离进行地面高度估 计， 并与设计航高进行比对， 在设定航向上随地形不 断调整飞行高度， 从而以最高分辨率和最适宜的重 叠度获得摄影测量所需的影像数据。 4试验分析 测区位于徐州铜山茅村灰场， 测区面积4.8 km， 平均海拔33 m， 最低点、 最高点相对高度37.2 m。采 用单镜头多架次5方向倾斜摄影测量， 设计地形跟 随相对地面航高100 m， 航向重叠度80， 旁向重叠 度60， 下视影像分辨率2 cm。因航飞随地形高度 变化大， POS内插精度低， 故不采用免像空点方案， 布设喷绘 “7” 字标志像控制点30个， 以拐角内侧作 为基准点。像控点测量使用千寻CORS固定解状态 下测量， 平滑10次， 5次测量求平均， 获取CGCS2000 平面坐标与大地高。因测区范围小， 仅为评价精度， 避免坐标转换精度影响， 不转换至正常高。无人机 携带相机焦距28 mm， 有效像素24 000， 获取测区影 像21 000余幅。使用Context Capture4.0进行解析空 三和三维建模， 使用EPS 2016基于立体模型的三维 测图方法进行DLG与高程点提取。空三加密选用了 30个像控点中的15个， 另外15个作为检查点。根据 大比例尺测图规范 （GB/T 149122017） ， 高程中误 差大于平面点位中误差， 且当前无人机摄影测量平 面精度更容易实现， 因此本研究仅对高程精度进行 检验。测区实景如图4所示。测区高程精度统计与 分析结果见表1。 由表1可知 测区高程误差最小为3.2 cm， 最大 为 15.2 cm， 平均为 4.6 cm， 高程中误差为9.00 8 cm。根据相关规范规定， 高程注记点相对于邻近图 根点的高程中误差不应大于相应比例尺地形图基本 等高距的1/3， 测量困难地区可放宽为0.5倍； 等高线 内插点高程中误差， 平地不大于基本等高距的1/3， 丘 陵地不大于1/2。经分析， 本研究地形跟随无人机近 地面航摄精度可满足矿区复杂地形1 ∶ 500地形图测 图精度要求。 5结语 固定高度摄影测量无法满足矿区复杂地形的测 图精度要求， 通过无人机影像采集可以跟据地形实 时保持与地面的相对高度。根据摄影测量地形跟随 的要求， 基于传统光流法高程估计设计了基于稀疏 匹配拓扑约束下的快速光流估计算法， 满足实时高 程信息的计算要求。并利用搭载的OpenMV相机获 取地面影像， 使用Python开发语言， 实现了近地面无 人机摄影测量的地形跟随。经过矿区复杂地形大比 例尺测图试验验证， 高程精度可满足1 ∶ 500大比例尺 测图精度要求， 可为矿区复杂地形快速大比例尺测 图提供参考。 参 考 文 献 钱鸣高， 缪协兴， 许家林.资源与环境协调 （绿色） 开采 ［J］ .煤炭 学报， 2007， 32 （1） 1-7. Qian Minggao， Miao Xiexing， Xu Jialin.Green mining of coal re- sources harmonizing with environment ［J］ .Journal of China Coal So- ciety， 2007， 32 （1） 1-7. 王峥羽， 王文成.基于无人机倾斜摄影实景三维模型在矿山地形 测量中的应用 ［J］ .矿山测量， 2019， 47 （1） 57-60. Wang Zhengyu， Wang Wencheng.Application of real scene 3D mod- el based on UAV tilting photography in mine topography ［J］ . Mine Surveying， 2019， 47 （1） 57-60. 孟庆鹏， 孙斌， 凌清.天狼星无人机大比例尺测图精度分析 ［J］ .测绘通报， 2018 （3） 158-161. Meng Qingpeng， Sun Bin， Ling Qing.Precision analysis of the large scale mapping based on sirius UAV［J］ .Bulletin of Surveying and Mapping， 2018 （3） 158-161. 侯树慧， 李杰， 牟冬星， 等.旋翼无人机大比例尺测图应用及精 度分析 ［J］ .城市勘测， 2018 （5） 80-82. Hou Shuhui， Li Jie， Mu Dongxing， et al.Application and precision analysis of large-scale topographic survey using rotor UAV based on oblique photogrammetry ［J］ .Urban Geotechnical Investigation Surveying， 2018 （5） 80-82. 万剑华， 王朝， 刘善伟， 等.消费级无人机的大比例尺测图能力 分析 ［J］ .测绘通报， 2018 （6） 104-108. Wan Jianhua， Wang Zhao， Liu Shanwei， et al.Analysis of large ［1］ ［2］ ［3］ ［4］ ［5］ 金属矿山2019年第7期总第517期 170 ChaoXing ［6］ ［7］ ［8］ ［9］ ［10］ ［11］ ［12］ ［13］ ［14］ ［15］ ［16］ ［17］ ［18］ ［19］ ［20］ ［21］ 柴晓然等 自动化泥浆循环净化装置机械系统设计与研制2019年第7期 scale mapping capability of consumer unmanned aerial vehicles ［J］ . Bulletin of Surveying and Mapping， 2018 （6） 104-108. Gao Ning.High-precision and light-small oblique photogrammetry UAV landscape restoration monitoring ［C］ //9thInternational Confer- ence on Intelligent Control and Ination Processing，ICICIP 2018301-304. 周小杰， 胡振彪， 乔新.无人机倾斜摄影技术在大比例尺地形 图测绘中的应用 ［J］ .城市勘测， 2019 （1） 63-66. Zhou Xiaojie， Hu Zhenbiao， Qiao Xin.The application of unmanned aerial vehicle oblique photography technique in large scale topo- graphic mapping［J］ .Urban Geotechnical Investigation Survey- ing， 2019 （1） 63-66. Dewez，T J B.Reconstructing 3D coastal cliffs from airborne oblique photographs without ground control points［J］ .ISPRS An- nals of the Photogrammetry， Remote Sensing and Spatial Ina- tion Sciences， 2014， 2 （5） 113-116. 李天.基于RTK技术的无人机在大比例尺地形图测绘中的精 度分析 ［J］ .测绘与空间地理信息， 2019， 42 （3） 166-168. Li Tian.Precision analysis of UAV based on RTK/PPK technology in large scale topographic mapping ［J］ .Geomatics Spatial Infor- mation Technology， 2019， 42 （3） 166-168. 张永年， 李秀丽.地形起伏对无人机低空航测影响分析以东 桥镇、 龙海市为例 ［J］ .测绘与空间地理信息， 2013， 36 （3） 176- 178. Zhang Yongnian， Li Xiuli.The impact analysis of topographic relief for UAV low altitude aerial surveytaking Dongqiao Town， Longhai City as an Example ［J］ .Geomatics Spatial Ination Technolo- gy， 2013， 36 （3） 176-178. 王刚.无人机摄影测量用于大比例尺金属矿区测绘的实践探 讨 ［J］ .世界有色金属， 2017 （9） 150. Wang Gang.Practice of unmanned aerial vehicle photogrammetry in surveying and mapping large scale metal mines ［J］ .World Nonfer- rous Metals， 2017 （9） 150. 马海鹏.无人机航摄系统快速测绘矿区大比例尺地形图的分析 ［J］ .世界有色金属， 2017 （14） 49. Ma Haipeng.Analysis of large scale topographic map of rapid sur- veying and mapping mine area by unmanned aerial vehicle aerial photograph system ［J］ .World Nonferrous Metals， 2017 （14） 49. 李涛.天狼星无人机航摄系统在复杂地形测量中的应用与精 度分析 ［J］ .测绘通报， 2017 （12） 146-148. Li Tao.Application and accuracy analysis of sirius UAV aerial pho- tography system in complex topographic survey ［J］ .Bulletin of Sur- veying and Mapping， 2017 （12） 146-148. 赵小勇， 杨恒辉.一种新的地形跟随飞行方法与关键技术研究 ［J］ .计算机测量与控制， 2012， 20 （7） 1983-1986. Zhao Xiaoyong， Yang Henghui.Study on key techniques of a new approach to terrain-following flight［J］ .Computer Measurement Control， 2012， 20 （7） 1983-1986. 杨新勇， 鲁艺.基于图像分割算法的地形跟随航路规划 ［J］ .弹 箭与制导学报， 2009， 29 （1） 85-87. Yang Xinyong， Lu Yi.Study on path planning of terrain-following based on image segmentation［J］ .Journal of Projectiles， Rockets， Missiles and Guidance， 2009， 29 （1） 85-87. 雍歧卫， 喻言家， 陈雁， 等.地面管道无人机巡查起伏地形跟随 方法 ［J］ .重庆理工大学学报 自然科学版， 2017， 31 （8） 158-162. Yong Qiwei， Yu Yanjia， Chen Yan， et al.Research on unmanned aerial vehicle pipeline tracking ［J］ .Journal of Chongqing University of TechnologyNatural Science Edition， 2017， 31（8） 158-162. 魏东辉， 陈万春， 程进.无人飞行器基于前视序列图像的地形 跟随技术 ［J］ .红外与激光工程， 2017， 46 （4） 1-7. Wei Donghui，Chen Wanchun，Cheng Jin. Terrain following based on forward-looking image sequences for unmanned air vehicles ［J］ . Infrared and Laser Engineering， 2017， 46 （4） 1-7. 牛渊.多传感器融合的小型无人机地形跟随系统设计 ［D］ .深 圳 深圳大学， 2017. Niu Yuan.The Design of Terrain Following System for UAV Based on Multiple Sensor Ination Fusion［D］ .ShenzhenShenzhen University， 2017. Livshitz， Arseny.Low-cost laser range-measurement-based terrain- following concept and error analysis ［J］ .Journal of Guidance， Con- trol and Dynamics， 2018， 41 （4） 1000-1008. 刘小明， 陈万春， 邢晓岚， 等.光流控制地形跟随与自动着陆 ［J］ . 北京航空航天大学学报， 2012， 38 （1） 98-105. Liu Xiaoming， Chen Wanchun， Xing Xiaolan， et al.Terrain follow- ing and autonomous landing using optical flow［J］ .Journal of Bei- jing University of Aeronautics Astronautics， 2012， 38 （1） 98-105. 杨盛伟， 赵伟， 刘建业.用于无人机导航的光流测速优化方法 ［J］ .电光与控制， 2019， 26 （1） 8-11. Yan Shengwei， Zhao Wei， Liu Jianye.An optimization of op- tical flow velocimetry for UAV navigation ［J］ .Electronics Optics Control， 2019， 26 （1） 8-11. （责任编辑王小兵） 171 ChaoXing