文档介绍：该【基于稀疏光流法的改进ORB特征匹配算法 】是由【彩霞】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【基于稀疏光流法的改进ORB特征匹配算法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。
2021年12月ModularMachineTool&
文章编号:1001-2265(2021)12-0001-05DOI:.
基于稀疏光流法的改进ORB特征匹配算法*
陶卓爲黄卫华章政7,。,姚艺笃何佳乐*
(;;
息科学与工程学院,武汉430081)
摘要:考虑到无人机运动、机载摄像头采集效果、信号传输以及环境变化等因素,针对传统ORB特
征匹配算法存在匹配精度低、鲁棒性差等问题,提出了一种基于稀疏光流法的改进ORB特征匹配
算法。首先,采用高斯滤波对无人机采集的图像进行预处理,并采用Harris算子剔除特征点中伪角
点,提高图像特征点的质量;其次,采用K-means++算法实现图像特征点的聚类处理,由此减少暴力
匹配的计算量;在此基础上,将稀疏光流法引入ORB特征匹配算法,计算特征点的运动向量并根据
估计特征点在待匹配图像中的二维坐标,实现剔除偏离聚类中心较远的特征点匹配对,再经过随机
抽样一致性算法优化后最终特征匹配结果。实验结果表明了所设计的改进ORB特征匹配算法可
行性和有效性。
关键词:ORB算法;稀疏光流法;机载视觉导航系统;K-means++;无人机
中图分类号:TH166;TG506文献标识码:A
ImprovedORBMatchingAlgorithmBasedonSparseOpticalFlowMethod
TAOZhuoa,HUANGWei-huaflbc,ZHANGZhenga'b'c,YAOYifl,HEJia-lea
(;
andMeasurementTechnologyofMinistryofEducation;,Wu­
hanUniversityofScienceandTechnology,Wuhan430081,China)
Abstract:ConsideringtheUAVmotion,airbornecameraacquisitioneffect,signaltransmissionandenvi­
ronmentalchanges,animprovedORBfeaturematchingalgorithmbasedonsparseopticalflowmethodis
proposedtosolvetheproblemsoflowmatchingaccuracyandpoorrobustnessoftraditionalORBalgo­
,GaussianfilterisusedtopreprocesstheimagecollectedbyUAV,andHarrisoperatorisused
,
K-means++clusteringalgorithmisusedtorealizetheclusteringofimagefeaturepoints,soastoreducethe
,thesparseopticalflowmethodisintroducedintoORBfeature
estimatedtwo-dimensionalcoordinatesofthefeaturepointsintheimagetobematched,thefeaturepoints
farawayfromtheclustercenterareeliminated,andthefinalfeaturematchingresultisoptimizedbyrandom
,theexperimentalresultsshowthefeasibilityandeffectivenessof
theimprovedORBfeaturematchingalgorithm.
Keywords:ORBalgorithm;sparseopticalflowmethod;airbornevisualnavigationsystem;K-means++;
UAV
o引言图像匹配算法的复杂性、实时性以及鲁棒性等方面提
出了更高要求⑵。
视觉同时定位与地图构建(SimultaneousLocaliza­
2011年RubleeE等⑶提出了一种定向二进制简
tionAndMapping,SLAM)是实现无人机自主定位与导
单描述算法。
航的关键技术之一,其工作原理是通过跟踪地图中的(OrientedFASTandRotatedBRIEF,ORB)
关键帧及其特征点建立地图⑷。由于受到机载图像处相比于常用的尺寸不变特征变换(Scale-InvariantFea­
tureTransform,SIFT)算法和(SpeededUpRobustFea­
理模块性能的限制,基于视觉SLAM的无人机系统对
收稿日期:2021-01-15;修回日期=2021-02-20
*基金项目:国家自然科学基金(61773298);冶金自动化与检测技术教育部工程研究中心开放基金资助项目(MADT201603);2017年度武汉科技大
学国防预研基金项目(GF201706)
作者简介:陶卓(1996-),男,湖北黄冈人,武汉科技大学硕士研究生,研究方向为基于视觉与惯性元件的无人机自主导航,(E-mail)1002164820
***@
•2•组合机床与自动化加工技术第12期
)算法,ORB算法具有运算速度快、计算量means卄算法、稀疏光流法与ORB特征匹配算法相结
低等优点。但是,由于ORB算法提取的图像特征点不合,并采用RANSAC算法对所得到的匹配结果进行优
具备尺度不变性,易产生图像匹配精度低、特征点提取化,提高图像的匹配效率和精度。
鲁棒性差等缺点⑷。齐乃新等⑷将光流信息引入
2特征提取
ORB算法中,采用多尺度分层跟踪的方法对前后帧图
像进行关联,将数据关联的精度提高到了亚像素级。
郝志洋等同针对ORB算法缺失尺度不变性问题,将具一般而言,ORB算法常采用FAST算法实现特征
有尺度不变特性特点的SURF算法与ORB算法相结点的快速检测切。FAST算法根据图像像素的亮度检
合,通过渐近样本一致性(ProgressiveSamplingConsen­测角点,它是一种快速的角点提取算法。
sus,PROSAC)算法剔除误匹配点,由此提高匹配精度。将预处理后的图像4转化为灰度图像,从中选取
於小杰等m利用金字塔估计下一帧点集坐标,采用快一个像素点为P,亮度为厶。以P点为圆心,在半径为3
速最近邻逼近搜索匹配规则和前后双向双追踪策略进个像素的圆上提取16个像素点,亮度为厶,i=1,2,-,
行精度匹配,提高算法实时性和匹配精度。16。设阈值为T,若圆周上有连续N个点的亮度满足:
稀疏光流法常用于求解空间运动物体在观察成像|7;-lp\>T,i=1,2,-,7V(1)
平面上的像素运动的瞬时速度,是一种计算速度快、频贝!]点P为FAST角点,由文献[10]可知,当N=12
率高的算法,广泛应用于基于视觉的无人机实时定时,图像特征点的提取效果较好。
位同。考虑到无人机运动、机载摄像头图像采集效果、根据式(1)对预处理后图像4的像素点进行遍历
信号传输以及环境变化等因素,本文将稀疏光流法引检测。由于阈值T的选取具有不确定性,会导致检测出
入机载视觉获取图像的0RB特征点匹配算法中,达到的角点相对集中在特征丰富的区域,从而造成伪角点
提高图像特征点的检测速度、匹配精度以及鲁棒性的和真实角点聚集一起形成角点聚簇的现象,并且伪角
目的。点对后续的特征点匹配造成干扰,影响匹配精度。因
1改进的ORB特征匹配算法设计此,本文采用Harris算子M辨别伪角点,即利用Harris
算子对式(1)遍历的特征点结果进行优化,由此得到
设无人机采集的第%-1时刻图像和第%时刻图像
图像4的较精确的特征点集,记为巴。
分别为图像4、图像其中k^lo本文所设计的一种
改进的ORB特征匹配算法结构如图1所示。
r一般而言,ORB常采用二进制特征描述符BRIEF
描述子问作为特征描述子。BRIEF描述子属于二进
MAT卿'制描述算法,即用0和1描述特征,二值化分段函数7
定义为:
…■…
rri,IM<IM
r(I;x,y)⑵
;料旳腺鬣:to,其他
L
r二二二二二二二式中,7(%)和/(y)分别是图像/中像素点%和y的像
素灰度值。
以Pa中一点P。为例说明特征点匹配的过程。以特
征点几为中心,设s为半径,生成领域范围为SxS的
窗口。一般而言,在窗口内常随机选取对像素点,记为
基于酬僅允潼扶的特仃匚配
(s),1WiW128。对每对像素点的灰度值比较,由
式(2)生成的二值化值构成一个128维二进制特征描
图1改进ORB算法流程述符九8(4),即为P"的0RB特征。
主要包括3个部分:局⑷=丫“占%(亦,%)⑶
(1)图像预处理。考虑到机载摄像头所采集图像
3特征点匹配
易受无人机运动的影响,从而导致图像存在噪声的问
题,在进行图像匹配之前,-means++的特征点聚类
的图像信息进行平滑处理。特征匹配是无人机定位的关键。一般而言,ORB常
(2)特征点提取。采用FAST算法检测特征点。采用暴力匹配算法问进行两张图片的特征点匹配,即
考虑到FAST算法提取的特征点聚集度较高,易形成对每个特征点测量与所有的待匹配的特征点描述子的
特征块,采用Harris算子剔除特征点中伪角点,提高图距离(汉明距离),排序后取最近的一个作为匹配点。
像特征点的质量。设图像B的特征点集为巳,P*为特征点p”的第
(3)特征点匹配。为了有效解决传统ORB依靠暴k维特征向量,为图像B中特征点Pj(PjwP”)的第
力匹配法导致匹配算法计算量较大的问题,将K-"维特征向量。由式(3)可定义两个特征点之间的汉
2021年12月陶卓,等:基于稀疏光流法的改进ORB特征匹配算法•3•
明距离久为:由此可得:
(4)匹=_(匹鱼+匹业)(10)
dt\dxdtdydt/
当Daj的值越小则说明2个特征越相似,保留距离
最近的特征点作为几的匹配特征点。式中,空、寄表示像素点分别在力和y轴的速度,分别
考虑到随着无人机的移动,机载摄像头采集的图
记为u和”。同时乎、乎表示在图像平面上该像素点分
像背景具有复杂性和不规则性,采用遍历的特征匹配
dxdy
方式易产生计算量大且耗时较长等问题。鉴于K-
别沿%和y方向的梯度,记为I.,厶。把图像灰度对时间
means++算法能有效地选取初始聚类中心特点,本文
的变化量警记为4,则有:
采用K-means++算法对特征点集PA进行聚类分析,
dt
从而减少暴力匹配的数量和匹配范围,实现加快特征
&训:]=7⑴)
点匹配速度的目的。
从巴中随机选取一个特征点作为初始聚类中心在实际中,考虑到难以实现灰度值不变的假设,本
人1。遍历巴中每个特征点巧基于式(4)计算其与当前文构建误差函数得到最优的光流向量。以C仏
已有聚类中心之间的最短汉明距离。设特征点初始聚=中点P“为例,它对应的聚类中
类中心点集为Pc={Pcl\,d(x,Pcl)为特征点与聚类心点为凡,像素点坐标[色幻]舄设为图像B
中心点之间的距离,则每个特征点%被选为下一个聚
被追踪的目标特征点,定义d=[dxd,]为特征点的
类中心的概率p(E为:
光流向量,则点P1,1的像素点为[ux+d,uy+dJTo
y当Pc=皿訂设对应的聚类中心点为P'd,图像跟踪矩阵窗口
乙“/3几)
p(%)=.(5)的维数为叫X吗,则最小化目标函数£(d)为:
£(0)=$£-I(x+dx,y+dyJt+dt))2
X=UX-W^y=Uy-Wy
设/为最大概率值对应的特征点,则有:(12)
x*=argmaxp(x)(6)对式(12)求导,可得:
由此可得,特征点初始彙类中心点集Pc为:x=ux+w^=uy+wy
诒可-2丫£(7(%,y,t)-I(x+dx,y+dy,t+dt))[IxIy]
Pc=PcU{x'|(7)
重复计算式(5)和式(6)直到选择出共K个聚类(13)
中心。在此基础上,由式(4)计算特征点与中心点距将式(9)和式(11)带入式(13)中,并进行泰勒级
离,将所有的特征点划分到距离最近的一个聚类中,计数展开,保留前一项可得:
X=Ux+W^y=Uy+Wy
算每个聚类的平均值作为新的中心点,迭代直到K个寻=-2££-I,-[]["])忆君
聚类中心点不再发生变化,记录并存储分类结果为°**x=ux-u>^y=Uy-Wy■*V*■
class^P^P^Ai=1,2,…,K),其中,凡为图像4每(14)
个聚类的中心点,人“为每个类内的特征点,j为每个分简化后则有:
类中特征点数量,与i相关。X=U’+a莎=Uy+Wy
寺券=YY(Z,+&□["])&Z,](15)
采用暴力匹配法对图像4的Pc与图像B的§进厶OU乂=U*-W0=Uy-Wy"J
行匹配,定义匹配结果为图像B的聚类中心点,记为令V7=[AZ」,代入式(15)中可得:
P'c。X=UX+U>j^r=Uy+Wy
*寻=X£3+["«](V7)t)V7(16)
将稀疏光流法引入无人机的图像特征匹配过程。今G=$"=”■+”■y"“,+”,[E"1»=
采用稀疏光流法对特征点跟踪,估计出特征点在待匹x=uK-wIy=jjj2\9
配图像中的二维坐标位置,剔除偏离聚类中心较远的
十+”r+”将其代入式(16)中
特征点匹配对,由此提高了匹配精度的同时保证了算x=ui—wiy=uy—wyJ
可得:…’’
法的实时性。
设t时刻位于&』)处的像素为,在ck时寺券=["v~\G+b(⑺
刻后,特征点运动到(%+dx,y+dy)处,基于稀疏光流
法的灰度值不变原则,有:当需=0时,速度矢量%=[“”]的结果为:
=l(x+dxfy+dy,Z+di)(8)
=~bG'(18)
采用泰勒级数将式(8)进行展开,保留其一阶项,
由式(18)可以求出%(像素点分别在%和y轴
可得:
的速度),当t取离散时刻,d=%(九,如九-分
I(x+dx,y+Ay,t+dt)=I(x,y,t)+詈血+罟dy+詈dz
别为%时刻丛-1时刻采样时间。由d可以预估出图
(9)像中巴」在图像B的位置信息P'itio
•4•组合机床与自动化加工技术第12期
利用欧式距离计算公式求出与与
P'ci之间的像素距离,分别记为dal和dbl。设A为设定
的阈值,当
\dal-dbl\<A(19)
(a)图像A(b)图像B
时,P“和心纳入为候选的匹配点对。
4的大小决定了候选匹配点的质量。若式(19)成
立,则和P'i丿为匹配点对。经多次实测实验A取值
为5~12效果较好。
(c)传统ORB特征点提取
4改进ORB特征匹配算法实现步骤
综上所述,本文所设计的基于稀疏光流法的改进
ORB特征匹配算法步骤如下:
步骤1:无人机在飞行过程中,对机载摄像头采集
(d)改进ORB算法特征点提取
的相邻帧图像4和B进行高斯滤波后,再进行ORB特
图2特征点提取效果图
征提取,并由Harris算法剔除后得到对应的特征点。
为衡量特征点提取的准确性,定义指标聚集度Co
步骤2:基于K-means++聚类算法,由式(5)~式
聚集度是衡量边缘点或者特征块被误检为特征点的一
(7)对图像中特征点集聚类,得到图像4的K个的聚类
个指标,也反应了特征点在图像中的分散程度。设N为
中心以及分类特征点信息。
图像中抽取的特征点数,M为特征点周围聚集超过3
步骤3:基于暴力匹配算法对图像4的K个聚类中
心与图像B匹配,得到图像B的K个聚类中心点。个特征点的总数,则聚集率c=x100%。图2特征
步骤:由式(构建图像中除聚类中心点之
412)4点提取的数量、聚集度及提取时间如表1所示。
外的特征点的最小化函数£(d),由式(18)求得速度
表1特征点提取算法性能对比
矢量劭w与离散采样时间得到光流向量必预估出其在
特征提取特征点数聚集度c/%提取时间/ms
图像B中的位置信息。算法图像4图像B图像人图像B图像4图像B
步骤5:由式(19)约束光流的预估位置信息,
足的点对纳入候选匹配点对。
步骤6:利用RANSAC算法对候选点对进行几何由表1可知,虽然在特征点提取时间上,改进ORB
校验,得到的匹配信息作为图像4与图像B的最终匹算法高于传统ORB算法,但是在聚集度和提取的特征
配结果。点准确度上前者优于后者:%,特
%。特征点的数量减少降低了后
5实验结果与分析
续特征点匹配的运算量,有利于满足无人机机载视觉
无人机机载图像处理器为NvidiaJetsonTX2,其系统对实时性的需求。
CPU为Denvei64bit的ARMv8多路处理器,8G内存,
改进ORB算法与传统ORB算法匹配效果图如图
然场景下采集的某实验箱图像数据进行实验,选取传
3所示。对比图3a和图3b可知,相较于传统ORB算
统ORB特征匹配算法的阈值为T=30,特征点提取
法,改进ORB算法匹配效果更加清晰,匹配的特征点
的个数为500。
对分布更加均匀。
特征点提取的实验结果如图2所示。无人机采集
的图像如图2a、图2b所示,由于无人机在运动过程中
机身的抖动以及距离的变化,使得采集图像具有一定
的模糊性。从图2a、图2b和图2c的匹配结果可以看
出,在实验箱上的文字处、右下角棱角处和边缘卡口
处,传统ORB方法提取特征点时出现了3处具有大量
重叠的特征点,且伪角点和真实角点聚集一起形成了
角点聚簇的现象。对比图2a、图2b与图2d的匹配实
验结果可以看出,相较于传统的ORB算法,本文所设
计的改进ORB算法提取的角点信息更加均匀和准确,
减少了伪角点对后续特征点匹配的影响。
CMR=学(20)
2021年12月陶卓,等:基于稀疏光流法的改进ORB特征匹配算法•5•
式中,M为图像间匹配点对数,甌;为模型拟合后符合
6结论
条件的内点数。改进ORB算法和传统ORB算法特征
本文针对无人机机载视觉导航系统的图像特征匹
点匹配结果对比如表2所示。
表2特征点匹配结果对比配问题,提出了一种基于稀疏光流法的改进ORB特征
匹配点匹配时间总时间正确匹配率匹配算法。首先,采用K-means卄聚类方法减少了特征
算法
对/错误点对/ms/ms/%点匹配的计算量;在此基础上,基于稀疏光流法得到的
传统ORB86/,
改进ORB116/
然后根据聚类中心点与其本类特征点之间的欧式距离
由表2可知,传统ORB的初始匹配误差为约束得到特征点匹配点集,并利用RANSAC优化匹配结
%,本文所设计的改进ORB算法与RANSAC算法果。实测后实验结果证明,相比于传统的ORB算法,本
相结合后,%,相较于传文所设计的改进ORB算法可有效满足于无人机快速移
%。实验结果动对算法的实时性和精确性要求较高等问题,具有较快
表明,本文所设计的ORB算法可以稳定地跟踪特征的特征点提取速度和提取质量,以及较好的匹配精度,
点,并可以得到较好的匹配效果,有效提高了特征点提有效保证了图像特征点匹配的实时性和鲁棒性。
取的实时性和准确性。[参考文献]
[1]王化友,代波,-SLAM:融合特征法与直接法
的快速鲁棒SLAM系统[J].高技术通讯,2019,29(12):
先对图2a图像4的特征点采用K-means卄算法
1224-123&
聚类后的结果如图4所示,聚类中心个数K=8。
[2]LiP,GarrattM,
quadrotorusingahomographymodelandinertialcues[C]//
"叫弋44曲4(1
2015IEEEInternationalConferenceonRoboticsandBiomi­
metics,IEEE,2015:570-575.
[3]RubleeE,RabaudV,KonoEgeK,:Anefficiental­
图4K-means++R类结果图
ternativetoSIFTorSURF[C]//2011InternationalConfer­
基于图4所示的聚类结果,采用稀疏光流法对图enceonComputerVision,IEEE,2011:2564—2571.
2a所示的图像4进行特征点跟踪,由此得到特征点预[4]Mur-ArtalR,-slam2:Anopen-sourceslam
估位置的效果图如图5所示。systemformonocular,stereo,andrgb-dcameras[J].IEEE
TransactionsonRobotics,2017,33(5):1255—1262.
[5]齐乃新,杨小冈,李小峰,等基于ORB特征和LK光流的视
觉里程计算法[J]•仪器仪表学报,2018,39(⑵:216-227.
[6]郝志洋,张虹波,车进,等•改进ORB特征光流的飞行器室
图5基于稀疏光流法的预估位置图内导航方法[J].弹箭与制导学报,2019,39(1):15-20.
选取图像4中的两点为例,基于图5稀疏光流法的[7]於添,贺勇,刘盛华一种用于无人机室内定位的改进ORB
预估位置信息,由式(19)剔除错误信息示意图如图6所光流算法[J].计算机工程与应用,2021,57(4):266-271.
示,图6a为图像A的一个聚类点与本类的一个特征点[8]FurkanKM,BangA,:Afastimagepro­
位置信息,图6b为与图像B匹配的聚类中心点与特征cessingpipelinewithscalingandtranslationinvariancefor
点位置信息。图6a中红色点为图像4的聚类中心点,testoracleautomationofvisualoutputsystems[J].TheJour­
nalofSystems&Software,2018,136:266-277.
蓝色点为本类的特征点;图6b中红色点是由式(4)暴力
[9]RostenE,PorterR,:ama­
匹配法得到的图像B的聚类中心点,蓝色点为稀疏光流
chinelearningapproachtocomerdetectionfJ].IEEETrans­
法预估的待匹配点信息。根据式(19)比较图6a、图6b
actionsonPatternAnalysisandMachineIntelligence,2010,
中蓝色点与红色点的距离h不满足条件
32(1).105-119.
\dal-dbl\<A,则剔除蓝色匹配点对,以此提高匹配[10]许佳佳,张叶,-SIFT算子的快速图像
精度。且每一对匹配点只与本类聚类重点作比较,缩小配准算法[J].电子测量与仪器学报,2015,29(1):48-54.
了匹配范围,减少了暴力匹配算法的运算量。对剔除后[11]TaftiAP,BaghaieA,KirkpatrickAB,
匹配结果采用RANSAC算法优化后最终特征匹配结果。studyontheapplicationofSIFT,SURF,BRIEFandORBfor
3Dsurfacereconstructionofelectronmicroscopyimages[J].
ComputerMethodsinBiomechanicsandBiomedicalEngineer­
餐農科却衣妝科ing:Imaging&Visualization,2018,6(1):17-30.
[12]刘婷婷•基于ORB特征的无人机遥感图像拼接技术研
究[D]•天津:天津理工大学,2017.
(a)图像4聚类中心点(b)图像B匹配的聚类
[13]
与本类特征点中心点与待匹配点
kanadefeaturetrackerdescriptionofthealgorithm[J].Intel
图6剔除稀疏光流法估计错误的信息图
corporation,2001,5(1-10):4.(编辑赵蓉)