基于像素匹配和卡尔曼滤波的运动估计在浮选泡沫流速特征提取上的应用.pdf

8 0 有色金属 选矿部分2 0 1 7 年第4 期 d o i 1 0 ．3 9 6 9 ／j ．i m ．1 6 7 1 - 9 4 9 2 ．2 0 1 7 ．0 4 ．0 1 7 基于像素匹配和卡尔曼滤波的运动估计在浮选泡沫 流速特征提取上的应用 李阳，杨文旺，武涛，郭家豪 北京矿冶研究总院北京市高效节能矿冶技术装备工程技术研究中心，北京1 0 0 1 6 0 摘 要为了解决传统特征匹配算法难以准确提取浮选泡沫流速特征的问题，本文提出一种基于像素匹配和卡尔曼滤波 相结合的算法。该算法首先综合考虑前后两帧图像上面像素点的流动，在基于理想情况下的灰度值不变、梯度时空不变以及 运动连续性假设，提出使用欧拉一拉格朗日方程与计算数学最小化约束能量方程，得到的结果作为卡尔曼预测的观测值参与测 量更新，从而在状态更新中得到最优的泡沫流速特征向量。实验结果表明，该算法计算准确，平稳性高，实时性好，可以很好 地作为浮选机优化控制的原始参数。 关键词浮选泡沫图像；运动估计；像素匹配；离散卡尔曼滤波 中图分类号T D 4 6 3 ；T P 3 9 1 ．4文献标志码A文章编号1 6 7 1 - 9 4 9 2 2 0 1 7 0 4 - 0 0 8 0 - 0 4 P i x e iM a t c h i n ga n dD i s c r e t eK a l m a nE s t i m a t o rb a s e do nF l o t a t i o nF r o t hM o t i o n V e l o c i t yE x t r a c t i o na n dA n a l y s i s Ⅱ拖昭，Y A N GW e n w a n g ，W UT a o ，G U OJ i a h a o B e i j i n gE n g i n e e r i n gR e s e a r c hC e n t e ro nE f f i c i e n ta n dE n e r g yC o n s e r v a t i o nE q u i p m e n to fM i n e r a lP r o c e s s i n g ， B e i j i n gG e n e r a lR e s e a r c hI n s t i t u t eo fM i n i n ga n dM e t a l l u r g y ，B e 彬n g1 0 0 1 6 0 ，C h i n a A b s t r a c t I no r d e rt os o l v et h ep r o b l e mt h a tt h et r a d i t i o n a lf e a t u r em a t c h i n ga l g o r i t h mc a nn o ta c c u r a t e l y e x t r a c tt h ev e l o c i t yc h a r a c t e r i s t i c so ff l o t a t i o nf r o t h ，an e wa l g o r i t h mb a s e do np i x e lm a t c h i n ga n dK a l m a nf i l t e ri s p r o p o s e d ．r n l ea l g o r i t h mf i r s t l yc o n s i d e r st h ef l o wo ft h ep i x e l sb e t w e e nt w oa d j a c e n tf r a m e s ，a s s u m e sG r e yv a l u e ， G r a d i e n tC o n s t a n c ya n dM o t i o nS m o o t h n e s s ，u s e st h eE u l e r L a g r a n g ee q u a t i o na n dc o m p u t a t i o n a lm a t h e m a t i c s m e t h o d st om i n i m i z et h ee n e r g ye q u a t i o n ．A n dt h e nt h eo b t a i n e dr e s u l t sa r et a k e na st h em e a s u r e m e n t so ft h eK a l m a n p r e d i c t i o n ，t h u st h eb e s te s t i m a t i o nr e s u l ti so b t a i n e d ．T h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mi Sa c c u r a t e ， s t a b l ea n dh i g h l yr e a l t i m ew h i c hc a nb eu s e da st h eo r i g i n a lp a r a m e t e r so ff l o t a t i o no p t i m i z a t i o nc o n t r 0 1 ． K e yw o r d s f l o t a t i o nf r o t hi m a g e s ；m o t i o ne s t i m a t i o n ；p i x e lm a t c h i n g ；d i s c r e t eK a l m a nf i l t e r 泡沫浮选是一项矿产加工工业当中使用最广泛 的分离方法之一。从2 0 世纪中期开始，浮选在全世 界范围内广泛应用⋯。选矿厂在实际控制时，往往 依赖于人工观察泡沫的方法来实现旧J 。考虑到浮选 泡沫特征能够作为浮选过程的窗口，尤其是近些年 来业内对浮选机泡沫产率的先进控制理论方法的研 究旧剖，使得泡沫流速这个重要的参考依据显得非常 重要。国内外开展了相关的研究并取得了一定的研 究成果‘6 。。 基于机器视觉的浮选优化控制系统以高速工业 相机为传感器，通过计算机对采集到的图像进行处 理得到泡沫表面视觉特征参数进而进行浮选控制。 基金项目国家自然科学基金资助 5 1 4 0 4 0 2 7 收藕日期2 0 1 6 1 2 - 2 2修回日期2 0 1 7 - 0 3 - 0 2 作者简介李阳 1 9 9 0 - ，男，山西长治人，硕士，助理工程师。 由于浮选现场环境恶劣，粉尘、机械振动等会对图像 采集产生不利的影响，从而存在有系统噪声和测量 噪声“ J 。对浮选泡沫流速特征的提取属于运动目标 跟踪领域，按照目标跟踪的实现方法不同，分为大致 7 种旧J ，本文采用基于运动估计的跟踪方法，采用贝 叶斯滤波理论的思想，通过对兴趣区泡沫在像素上 面的运动估计得到运动观测值，通过对运动泡沫的 先验概率密度建立状态模型进行预测，接着利用观 测值修正目标状态，从而完成对泡沫运动状态的最 优估计。卡尔曼滤波是一种高效率的递归滤波器， 由R EK a l m a n 于1 9 6 0 年提出一J 。该滤波方法创造 性地将状态预测的方法引人，以线性最小方差估计 万方数据 2 0 1 7 年第4 期李阳等基于像素匹配和卡尔曼滤波的运动估计在浮选泡沫流速特征提取上的应用 8 1 为最优准则，从一组有限的、包含噪声的数据当中迭 代预测出接近真实值的状态数据，并且在计算机当 中容易实现。 1像素匹配 当泡沫运动时，在图像上面所产生的亮度模式 会发生运动。泡沫在均匀光照条件下，其运动信息 能够反映在二维的图像空间中，且相邻帧时间间隔 很短，选取合适兴趣区域之后将其移动看作刚体平 移处理。图l 是图像运动示意图，三维空间当中的 点在二维图像空间上面留下了一条运动轨迹，如果 能够将相机成像平面和被测点运动轨迹面保持平 行，那么通过对相邻帧图像进行像素匹配，计算出兴 趣点在图像空间中移动距离，为卡尔曼滤波的观测 值提供数据，经过预测修正就能够计算得到最优值。 在图像空间，定义坐标为 戈，Y 的点灰度值为 ， z ，Y 。经过一个很短的时间，图像上面的 戈，Y 点移动到了 戈 A x ，Y A y 处。 成像平面 图1三维运动物体在成像平面上的运动 F i g ．1 3Dm o t i o no ni m a g i n gp l a n e 由于运动时间很短，可以假设两点的灰度值不 变即 ， x A x ，Y A y ，t △￡ ， z ，Y ，t 1 将式 1 进行泰勒展开并且略去二阶以上误差 得到 型堑 丛堑 o t 0 2 ⋯⋯一 l，I a xA t 8 yA t 8 t 、7 由于在实际应用中，光照条件很难保证不变，并 且图像区域内某些点的运动难以具有完全的一致 性。基于算法鲁棒性的考虑，本文加入如下两个约 束图像亮度梯度随时间和位置尽量保持不变，理想 状态下可以写成 V ， 戈 A x ，Y A y ，t △￡ V ， 戈，Y ，t 3 其中，V f 譬，掣 To 最后，考虑图像当中像 o * o y 素点运动具有很强的一致性，也就是在一定区间内 不同点的位移应该尽可能地保持相同，理想状态下 可以写成 V △z z ，Y 7 A y x ，Y 0 4 综合以上三种理想情况，采用约束能量函数进 行最小化处理，为了简化表达式，规定戈 x ，Y 7 ， 秽 △z ，△，， 7 ，得到 E “ Ⅳ{ F 1 ， 石 秽，t △￡ 一， z ，t I2 a V ， z 秽，t △￡ 一V ， x ，t I2 } d x 卢盯， 1V 秽， 戈 I2 lV ”、 戈 I2 d x 5 其中F z 2 √ 戈2 s 2 ，且s 是一个极小的 正数。引入F 算子是为了在接下来的最小化过程中 提供便利，a 和口是可调参数，能够改变三个因素对 函数的影响程度。优化的过程是迭代寻找秽 缸， △y 7 使得 5 式取得全局最小值。求解方法是使用 欧拉一拉格朗日方程与计算数学的相关内容完 成‘10 】。 2 离散卡尔曼状态估计 应用卡尔曼滤波的状态估计，能够有效减小噪 声干扰，得到最优状态估计向量。在计算完成之后， 得到了前后两帧图像当中兴趣区在时间内平移的观 测向量。由于图像噪声存在，平移向量具有一定的 不确定性。状态方程可表示为 钆 A x I 一1 ∞I l 6 观测方程可表示为 缸 H x I ‰ 7 其中，∞㈧和‰分别是预测过程噪声和观测噪 声，均满足均值为零的高斯白噪声要求。状态向量 是一个四维列向量戈＆ [ 戈 ，Y ，删 ，v y I r ，茗1 分Y 女 别是目标区域中心坐标，t ，z 。和町。分别是中心坐标 在z 和Y 方向上面的速度。由于本文所使用图像采 集帧率是3 0f p s ，相邻帧时间间隔A t 3 0m s ，可认为 目标在短时间内做匀速运动，故得到状态转移矩阵 A 为 A l0 0l OO 0 0 △t0 0 △t 10 01 观测向量Z 。 [ A x ，A y ] 7 ，从而得到观测矩阵 为日『oo △‘0 1 ，噪声满足P ∞。 N 0 ，Q L 000A t j ”。 和P 吼 N 0 ，R 的协方差矩阵定义为 Q 10 O 1 0O 00 0O 00 10 01 ，尺 [ ㈡ 万方数据 8 2 有色金属 选矿部分2 0 1 7 年第4 期 下面开始进行模型参数的初始化。选择图像当 中兴趣区中心点坐标作为位置初始值 戈。，Y 。 7 ，然 后以较小的速度分量作为初始速度，这里设定为 蹦。，v y 。 7 1 。从而状态向量的初始值为X o ‰， Y 。，0 ，0 7 。本文已知k 时刻之前的状态，那么X 。一∈ R 4 定义为k 时刻的先验状态估计，当k 时刻的观测 值乙得到之后，X 。∈R 4 是后验状态估计。先验和 后验估计误差为 e i 戈。一氍 8 e 女 戈 一瓦 9 从而得到先验估计误差的协方差矩阵以及后验 估计误差的协方差矩阵 巧 E [ e 。一e 。。。] 1 0 P K E [ e k e 7 ] 1 1 下面开始计算后验状态估计也就是卡尔曼滤波 公式 X 甄 K z 一H X [ 1 2 中K 是一个重要参数，称为卡尔曼增益。它能 够权衡时间更新状态预测值和观测值之间的权重， 最小化后验估计误差协方差矩阵。而其后面所控制 部分是测量更新，即代表了测量值和先验状态预测 值之间的差值。通过计算可以求出 K 生擎 H P jH i R 1 3 3 浮选泡沫运动流速特征提取实验与 分析 本文使用分辨率为l0 0 0 8 0 0 彩色图片。相机 安装高度约为8 0 0m m ，即相机感光平面距离泡沫的 垂直距离。经过严格的测量，依据相机成像的针孔 模型，计算得到单个像素点长宽对应物理距离映射 关系横向0 ．0 8 8m m ／p i x e l ，纵向0 ．0 6m m ／p i x e l 。现 场图片来源于河北某地区钼矿选厂粗选段浮选机泡 沫，如图所示。选取1 2 0 多帧连续图像，应用c “语 言和O p e n C V 开源算法库，完成代码编写及测试。 图2 中，相机采集到连续图像，算法定义了图像空间 坐标系以及兴趣区域 第三幅图虚线内部区域为计 算范围 。 第“I 帧 图2 连续帧泡沫图像 F i g ．2 C o n s e 【‘u t i v ef r o t hf r a m e s x T S 向测量值 一x 方向卡尔曼预测值 02 04 06 08 01 0 01 2 0 计算序列 { L 叫一一一1 _ ⋯ 图3泡沫流速计算结果对比 F i g ．3 R e s u l tc o m p a r i s o no ft h et w om e t h o d s 计算序列 ∞如 加m o m 加 如∞ 一【-，EE一、趟蜊 万方数据 2 0 1 7 年第4 期李阳等基于像素匹配和卡尔曼滤波的运动估计在浮选泡沫流速特征提取上的应用 8 3 图3 中，三角形数据是经过卡尔曼预测的结果， 圆形数据是直接测量结果。速度分量的方向和图2 中定义保持一致。可以很清晰地看到，经过像素匹 配方法完成的计算结果波动较大，而采集图片时刻 选择的是浮选机工艺流程平稳，泡沫均匀稳定向外 流动，其实际速度不会发生黑色曲线所示的波动幅 度。表1 中的数据分别是进行约1 1 0 次计算之后， 像素匹配计算均值和标准差以及经过卡尔曼预测的 计算均值和标准差。 表1像素匹配和卡尔曼预测结果 T a b l e1R e s u l t so fP i x e l M a t c h i n ga n dK a l m a n P r e d i c t i o n 卡尔曼预测的后验状态估计初始值是0 ，经过 3 0 次预测，达到稳定，消耗时间为1S ，满足工业实时 性要求，并且其结果稳定，具有很强的工业控制指导 意义。 4 结论 针对浮选过程中浮选泡沫自身由于破裂和变形 以及外界光照变化等影响，导致传统的基于机器视 觉的泡沫图像难以准备匹配，从而影响流速的准确 计算。本文提出一种基于像素匹配和卡尔曼滤波结 合的方法，将像素匹配的结果作为卡尔曼的测量值， 建立状态变量，更新状态空间和测量空间，从而完成 依据观测值的最小方差最优估计。经过泡沫流速特 征提取试验与分析，结果稳定可靠，能够很好地作为 监测系统的流速检测算法以及浮选机优化控制系统 的控制依据，为浮选机的优化控制打下了基础。 参考文献 [ 1 ] F U E R S T E N A UDW ．T h ef r o t h f l o t a t i o nc e n t u r y [ J ] ． A d v a n c e si nF l o t a t i o nT e c h n o l o g y ．S M E ，L i t t l e t o n ，C O ， U S A ，1 9 9 9 3 - 2 1 ． [ 2 ] A L D R I C HC ，M A R A I SC ，S H E A NBJ ，e ta 1 ．O n l i n e m o n i t o r i n ga n d c o n t r o lo f f r o t hf l o t a t i o n s y s t e m sw i t h m a c h i n ev i s i o n Ar e v i e w [ J ] ．I n t e r n a t i o n a lJ o u r n a lo f M i n e r a lP r o c e s s i n g ，2 0 1 0 ，9 6 1 1 - 1 3 ． [ 3 ] Y A N GX ，A L D R I C HC ．O p t i m i z i n gc o n t r o lo fc o a lf l o t a t i o n b yn e u i D - i m m u n ea l g o - r i t h m [ J ] ．I n t e r n a t i o n a lJ o u m a lo f M i n i n gS c i e n c ea n dT e c h n o l o g y ，2 0 1 3 ，2 3 3 4 0 7 - 4 1 3 ． [ 4 ] J A H E D S A R A V A N IA ，M A R H A B A NMH ，M A S S I N A E IM ， e ta 1 ．F r o t h - b a s e dm o d e l i n ga n dc o n t r o lo fab a t c hf l o t a t i o n p r o c e s s [ J ] ．I n t e m a t i o n a lJ o u m a lo fM i n e r a lP r o c e s s i n g ， 2 0 1 5 ，1 4 6 9 0 - 9 6 ． [ 5 ] B A R B I A NN ，C I L L I E R SJJ ，M O R A RSH ，e ta 1 ．F r o t h i m a g i n g ，a i rr e c o v e r y a n db u b - b l e l o a d i n g t od e s c r i b e f l o t a t i o nb a n kp e r f o r m a n c e [ J ] ．I n t e r n a t i o n a lJ o u r n a lo f M i n e r a lP r o c - e s s i n g ，2 0 0 7 ，8 4 1 8 1 名8 ． [ 6 ] M O O L M A NDW ，A L D R I C HC ，S C H M I T ZGPJ ，e ta 1 ． T h ei n t e r r e l a t i o n s h i pb e t w e e ns u r f a c ef m t hc h a r a c t e r i s t i c sa n d i n d u s - t r i a lf l o t a t i o np e r f o r m a n c e [ J ] ．M i n e r a l sE n g i n e e r i n g ， 1 9 9 6 ，9 8 8 3 7 - 8 5 4 ． [ 7 ] 郭秀丽，郭玉申，洪鹰．基于光流的卡尔曼滤波方法估 计物体运动参数[ J ] ．机床与液压，2 0 0 5 7 1 7 1 1 7 3 ． [ 8 ] 宋亚姬．基于卡尔曼滤波的运动目标检测与跟踪技术研 究[ D ] ．长春理工大学，2 0 1 2 ． [ 9 ] K A L M A NRE ．AN e wA p p r o a c ht oL i n e a rF i l t e r i n ga n d P r e d i c t i o nP r o b l e m s [ J ] ．J ．b a s i cE n g ．t r a n s ．a s m e ，1 9 6 0 ， 8 2 D 1 3 5 4 5 ． [ 1 0 ] B R O XT ，B R U H NA ，P A P E N B E R GN ，e ta 1 ．H i g h a c c u r a c yo p t i c a lf l o w e s t i m a t i o nb a s e do n at h e o r yf o r w a r p i n g [ C ] ／／E u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ． S p r i n g e rB e r l i nH e i d e l b e r g ，2 0 0 4 2 5 3 6 ． 万方数据