文档介绍：该【融合GMS的ORB特征点提取与匹配算法 潘峰 】是由【贾赦】上传分享，文档一共【8】页，该文档可以免费在线阅读，需要了解更多关于【融合GMS的ORB特征点提取与匹配算法 潘峰 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。年月计算机工程与设计
融合GMS的ORB特征点提取与匹配算法
潘峰,沈建新+,秦顺,林鑫
(南京航空航天大学机电学院,江苏南京)
210016
摘要:为解决传统的算法提取的特征点分布不均匀且匹配时存在误匹配等问题,在原有算法的基础上提出分区域
ORB
进行特征点提取并融合算法剔除误匹配的改进特征点提取匹配算法。将四叉树原理引入到特征点提取中,将图像分
GMS
为若干个网格,在每个网格中进行特征点提取,在匹配过程中利用剔除错误匹配的统计量替代运动平滑性约束。在
TUM
数据集图片上的实验结果表明,融合的特征点提取与匹配算法的匹配效果明显优于原始的算法及其它同
GMSORBORB
类算法。
关键词:特征点提取匹配;算法;四叉树原理;算法;误匹配剔除
ORBGMS
中图法分类号:文献标识号:文章编号:()
-7024202208-2244-08
doi:
-
ImprovedalgorithmofORBfeaturepointextractionand
matchingbasedonGMS
+
PANFeng,SHENJian-xin,QINShun,LINXin
(CollegeofMechanicalandElectricalEngineering,NanjingUniversityofAeronauticsandAstronautics,
Nanjing210016,China)
Abstract
:TosolvetheproblemofunevendistributionandmismatchingoffeaturepointsextractedusingtraditionalORBalgo-
rithm,
,andthefeaturepointswere
,inthematchingprocess,thestatisticsofeliminatingfalsematchingwereusedtore-
theORBfeaturepointextractionandmatchingalgorithmbasedonGMSisbetterthanthatoftheoriginalORBalgorithmand
othersimilaralgorithms.
Keywords
:featurepointextractionandmatching;ORBalgorithm;quadtreeprinciple;GMSalgorithm;mismatchelimination
基于尺度不变特征的算
0引言rotatedBRIEF,ORB)、SIFT
法[5,6]基于加
(scale-invariantfeaturetransform,SIFT)、
特征点提取与匹配技术是图像处理技术中的一个很重速稳健特征的算法[7]
SURF(speededuprobustfeatures,
要的分支对于目标检测和同时定位与建图以及[8]这些算法在处理特
,(simultaneousSURF)HarrisCornerDetector。
等领域而言尤为关键[1]定图像变换时凸显出了各自的优势算法的一个特点就
localizationandmapping,SLAM)。。ORB
现如今特征点提取和匹配的算法种类及其变形数量很多是检测速度快可用于实时图像特征点提取与匹配该算法
,。,,
经典的算法包括将有方向的加速角点提取中采用了旋转不变性原则以此提高提取与匹配的准确性
(featuresfrom。
[2]和带旋转的二进制独立算法[9]算法[10]以及算法[11]也
acceleratedsegmenttest,FAST)BRISK、KAZEAKAZE
基本特征是极其优秀的算法这些算法对旋转和尺度变换都具有不
(binaryrobustindependentelementaryfeatures,,
[3]融合在一起的算法[4]变性算法具有极好的鲁棒性
BRIEF)ORB(orientedFASTand,。
收稿日期修订日期
:2021-04-21;:2021-06-21
基金项目南京航空航天大学年研究生创新基地实验室开放基金项目
:2020()(kfjj20200517)
作者简介潘峰男安徽六安人硕士研究生研究方向为视觉通讯作者沈建新男江苏常熟人
:(1996),,,,SLAM;+:(1969),,,
教授博士生导师研究方向为数字化设计制造飞机柔性装配秦顺男湖北黄冈人硕士研究生研究方向为深度学****br/>,,、;(1995),,,,;
林鑫男江苏南京人硕士研究生研究方向为深度学****br/>(1996),,,,。E-mail:******@
第卷第期潘峰,沈建新,秦顺,等:融合的特征点提取与匹配算法
438GMSORB·2245·
针对一些优秀的算法国内的许多学者[12-14]也做了相
,
关的算法变形这些算法不仅拥有原算法的优点还对原
,,
算法的一些不足进行了改进让算法性能显得更加优秀
,。
由于传统算法提取的特征点分布不均匀使得图
ORB,
像有些区域提取不到特征点从而浪费了图像上的大量有
,
用信息同时在匹配的过程中利用运动平滑性约束剔除误
,
匹配的方法会导致仍然存在一些误匹配因此先利用四叉
,
树原理对图像分区域提取特征点在提取完特征点之
ORB,
后使用匹配方法[15]将运动平滑性约束替换成基于网图角点检测原理
GMS1FAST
格的剔除误匹配的统计量以此来剔除误匹配最终得到
,,
分布比较均匀且正确的匹配特征点对来记录这个点是否是角点如果是角点就将标志位记为
。,,
如果不是角点就将标志位记为最后利用
算法分区域提取特征点True,,False。
1ORB算法递归地查询该特征点的每一个子集递归终止的
ID3,
0
算法是目前特征点提取匹配中用的比较多的算法
dIpxIp-tdarker
ORB→()
之一该算法由关键点和描述≤
Spx=sIp-tIpxIp+tsimilar
,OrientedFASTSteerBRIEF→→()()
子两部分组成≤≤1
bIp+tIpxbrighter
。→()
算法是一种二维图像的特征检测算法它可以≤
FAST,去除邻域位置多个重复冗余的特征点
,。先计算某个特征点周围像素灰度差值的绝对值来作该
具体实现步骤如下以目标像素点为中心取半
:p,特征点的分数如果该特征点邻域范围内还存在其它的特
①,
径r上M个领域像素点分别计算取得像素点与目标像
。征点也利用相同的方式取其周围像素灰度的差值来作
②,,
素点p的灰度之差的绝对值利用计算得到的灰度差的
。③为分数最后统计这些邻域特征点的分数将其放在一起
绝对值与所设定的阈值进行比较如果大于阈值则该点,,
,,进行比较选取分数最高的那个特征点作为该邻域范围内
为角点,
FAST。的唯一特征点其它分数不是最高的特征点就不需要了
对原始算法的特征提取进行改进提出,,
ORB,oFAST利用非极大值抑制的方式将其去除掉非极大值抑制的公
算法在快速提取特征点后。
(FASTkeypointorientation),,式如式所示
又定义了特征点的方向实现特征点的旋转不变性(2)
,。ixelvaluesvaluet
(p-p)-p
粗提取V=>
∑(2)
若判断选择的点是否是特征点可以采取的方式是在p-pixelvaluesp-valuet
,()>
该点周围以一定半径画圆来判断这个圆里的点像素灰度算法采∑用的关键点采用灰度质心
,ORBOrientedFAST
大于圆心点灰度的数量是否大于某个阈值若大于某个阈法实现了旋转不变性与角点相比不仅记录了位
,,FAST,
值则说明圆心那一点为特征点否则就不是特征点置信息同时也记录了方向信息若某个角点的坐标为O
,,。,。,
角点检测原理如图所示比较常用的是在圆心周围则取该角点一定半径内的像素灰度进行计算灰度质心法
FAST1。,
选取个像素点的和选取个像素点的中的矩的定义如下
9FAST-912FAST-12。
通常可以先按垂直方向的关系选取个像素点如果这个pq
4,4mpq=xyIxy
xyr(,)(3)
个像素点中有个的像素灰度比圆心灰度大有个像素∑,∈
2,2其中Ixy为图像灰度表达式该矩的质心为
灰度比圆心灰度小那么圆心点不是特征点,(,)。
,。mm
C=1001
筛选最优特征点m,m()
筛选出最优特征点的方法有很多其中机器学****的方
,由式的质心坐标可以计算得到特征点的方向计
式比较常见把特征点周围的像素点输入到算法训练(4),
。ID3算公式如下
出来的决策树中以此来判断该特征点是否是最优特征点
,,mm
θ=0110=mm
具体步骤如下arctanm/marctan(01/10)(5)
:0000
FAST。
角点存储一个向量这个向量一般有位代表这个点周利用角点检测算法后可以在图像上得到很多特
,16,FAST
围的个像素这个向量中的每一位都可以由式所征点但这些特征点只有其自身信息没有周围邻域的信
16。(1),,
表示在进行了上述处理以后需要定义一个标志位变量息在纹理单一灰度相同的地方没法判断这些点在两幅
。,,、
计算机工程与设计年
·2246·2022
图像上的对应位置因此需要将该点的邻域信息也作为该生成的描述子矩阵进行变换最终得到具有方向不
,BRIEF,
点的一个属性这个属性就是描述子算法就是一变性的描述子
,,BRIEFSteerBRIEF。
种描述子生成算法该算法在算法提取出来的特征传统的算法提取出的特征点过于集中会出现扎
,FASTORB,
点周围邻域选取多个点对如果一个点对的灰度比较结果堆的现象不仅会降低一些需要对图像进行特征点提取的
,,
是大则记录为否则记录为最后会生成一个类似的算法的效果比如说同时也会减少一幅图像上的
,1,0,,SLAM,
二进制编码串通常情况下N选取或者信息量通过对图片划分区域从每个区域提取特征点可
,128、256512。。,
算法的特征描述是由算法改进的称之为以保证最大程度上地使用图片上的信息同时也增加了算
ORBBRIEF,,
算法在原有特征描法的鲁棒性步骤如下
rBRIEF(rotation-awarebrief),rBRIEF。:
述算法的基础上加入旋转因子以此来保证提取描述子的首先对图像金字塔上的每层都划分网格
,(1)。
过程中能够保证自身的旋转不变性不会影响到描述子的利用角点检测器对每层金字塔图像提取
,(2)FAST
生成质量角点在纹理比较弱的区域如果没法提取出特征点
。FAST,,
描述子生成步骤就适当降低提取的阈值以此保证能够从整张图像上获取
:,
利用方差为窗口大小为的窗口对图像进到足够的角点
(1)2,9×9FAST。
行高斯滤波这样做的目的是为了减少噪声干扰判断是否是角点的方法是比较某点像素与其周
,。FAST
选取某一个特征点在其邻域范围内随机选取一围像素灰度的差值是否满足某个阈值条件利用角点响应
(2),。
个点对x和选取的次数根据所需要的描述子长度而定函数和设置好的阈值T进行分析倘若周围个像素点与
y,,,16
每选取一个对点后就进行这两个点的灰度比较如果xp点的灰度差值之和大于T则像素p即被判定为角点角
,,,。
点响应函数如下
的灰度比y大则记为否则记为具体计算公式如
,1,0。
式所示16
(6)N=|Ii-Ip|T
i=()()>(8)
pxpy∑1
τpxy=1()<()利用四叉树的思想对每个网格中提取的特征点
(;,)pxpy(6)(3),
0()≥()进行筛选筛选方法是如果该网格中不存在特征点则删
其中pxpy分别是随机点x=uvy=uv,,
,(),()(1,1),(2,2)除该网格如果该网格中存在特征点则继续将该网格划
的像素值;,
。分成四等分再次判断每个网格中是否存在特征点最后
根据所需要的描述子长度进行多次比较之后即可得,,
,按照一定的策略挑选出分布均匀的角点
到一个长度为所需要长度每一位的值都是或的二进,FAST。
,
制编码串这个串就表示该特征点的周围邻域信息也就
,,对于提取出的大量特征点需要对这些特征点进行筛
是它的描述子属性描述子所对应的十进制数如,
,BRIEF选最终获得满足数量的特征点但因为选择策略的不同
式所示,,,
(7)会导致最终提取的特征点在图像上的位置有所差别影响
i-,
fnp=1τpxiyi最终特征点匹配的效果因此本文采用四叉树的筛选策略
()in2(;,)(7)
1≤≤。
其中最关键的地方是随∑机特征点对的选取常见的方式挑选特征点
,,。
SS具体策略如下
有以下种xiyi都呈均匀分布-xiyi都:
5:①,,;②,首先需要确定初始的图像中大概能分出几个原始
22(1)
节点将利用原始算法提取过大量特征点的图像分成
呈高斯分布1S2且服从各向同性的同一高斯分布
0,,;。ORB
25几份一般将分辨率为的图像只分成一个节点
,,
首先在原点处为xi进行高斯采样然后在中心为xi处为640×480
③,也就是四叉树的根节点
。
yi进行高斯采样xi呈高斯分布1S2yi呈高斯分布若原图像本来只有一个节点则该节点在经历第
,0,,(2),1
25次分裂后个根节点分裂成为个节点每个节点中的特
,14,
xi1S2xiyi都进行随机采样并且采样的位置都
,;④,,征点就是落在该节点范围内的特征点都是来自原来的那个
100,
是在空间量化极坐标下的离散位置处xi=Tyi大节点每次分裂完后需要统计每个节点中的特征点数量
;⑤(0,0),。,
进行随机采样且采样位置在空间量化极坐标下的离散如果某个节点所包含的特征点数量为那么就删除该节点
,0,,
位置处如果某个节点里特征点数量为则该节点不再进行分裂
。1,,
算法采用的描述子是描述子与但不进行删除永远保留下去直到分裂终止再进行处理
ORBSteerBRIEF,,,。
描述子相比利用了关键点的方向信息进而实现如果该节点中特征点数量大于则表示节点还可以再分裂
BRIEF,,1,,
了描述子的旋转不变性具体方法是利用灰度质心法所得每次分裂完后判断此时的节点总数是否超过设定值如果没
。,
到的特征点的方向构建旋转矩阵利用该旋转矩阵对随机有超过则下次分裂时对那些仍然可以分裂的节点进行分裂
,。
第卷第期潘峰,沈建新,秦顺,等:融合的特征点提取与匹配算法
438GMSORB·2247·
需要注意的是一个父节点在经过一次分裂之后就变个特征匹配定义C=cccicN来表示图Ia到
,;{1,2,…,,…,}
成了个子节点而对于原来的父节点将不再需要直接图Ib的最近邻匹配其中ci表示像素点pi与qi的匹配定
4,,,;
将其删除从总数量上来看每次分裂都会增加个节点义ci的领域为
,,3,
而不是增加个节点利用上述规律可以提前判断大约分Ni=cj|cjCcjcidpipj
4。{∈,≠,(,)}(9)
裂多少次之后就可以达到所需要的节点总数阈值计算方根据式可以得到ci的相似领域如式所示
,(9),(10)
式为当前节点总数即将分裂的节点总数Si=cj|cjNidqiqjr
:+×3。{∈,(,)<2}(10)
若新分裂的节点里的特征点还是大于个就再其中Si中元素的个数也就是匹配ci的运动支持用
(3)1,,,,
次分裂成个节点如此往复一直分裂分裂终止条件|Si|表示d是两点之间的欧式距离r和r为距离
4。,,,(·,·),12
是节点的数量大于所需要提取出的特征点数量或者所有阈值对|Si|建模如式所示
,。,(11)
节点都无法再分裂
。B|Ni|tifciiscorrect
Si(,)
当出现很多个节点中所包含的特征点数量都大于都||~
B|Ni|εifciiswrong(11)
1,(,)
能进行下一次分裂的情况这时采用的策略是优先分裂特其中错误匹配被其某个邻域窗口匹配支持的概率用ε表
,,
征点数量最多的节点然后分裂特征点数量次高的节点示正确匹配被其某个邻域窗口匹配支持的概率用t表示
,,,,
以此类推通过把特征点数量多的节点先分裂开来的策略
邻域Ni内匹配对的数量用Ni表示通过分析得到
,||。
可以使得特征密集的区域能够更加细分如果某些节点所式期望为
。(11)
包含的特征点比较少可能会因为提前达到了节点阈值要
,Et=|Ni|tifciiscorrect
E|S|=·
求而不需要再分裂了保证了提取时充分考虑到所有节点i()
Ef=|Ni|εifciiswrong12
,,·
提高了提取的准确性以及式的方差为
。(11)
当分裂达到节点阈值这个终止条件时从所分裂
VtNitticiiscorrect
(4),=||(-)f
V|S|=··1
出的每一个节点中利用非极大值抑制的思想选择出角点响i()
Vf=|Ni|ε-εifciiswrong13
··()
应值最高的特征点作为这个节点的代表特征点而其它响1
,正确和错误匹配的可区分度可以通过期望和方差来表
应值低于该节点的特征点都将被删除不需要进行保留示如式所示
,,,()
通过四叉树的策略从提取出的大量特征点筛选出合适的特14
|Et-Ef|
P==
征点就得到了分布比较均匀且数目达到要求的特征点
,。Vt+Vf
四叉树策略筛选特征点如图所示|Ni|t-ε
。·()
2()
|Ni|t-t+|Ni|ε-ε14
··(1)··(1)
利用基于划分网格的算法可以对以上算法进行加速
,
将两幅需要进行匹配的图像按照某种策略划分成很多个小
网格ω以及ωci表示落在网格Ga和Gb中的一个匹配
:12,
对在图中用一条实线段表示于是邻域表示在网格
,3。(
Ga中的匹配被重新定义为
)
Ni=cj|cjCacicj
{∈,≠}(15)
相似邻域被重新定义为
Si=cj|cjCabcicj
{∈,≠}(16)
图四叉树筛选特征点流程
2
2GMS算法剔除误匹配
对于暴力匹配后的结果存在大量的误匹配利用
,,
算法可以剔除误匹配该方法通过统计正确和错误匹
GMS。
配邻域的可区分度来判断该匹配是否正确进而剔除误
,,
匹配匹配方法基于假设如果匹配是正确的匹配图基于网格的框架
。GMS:,
那么这个正确匹配的小范围内的匹配集中在三维空间的同3
一个区域同样地一个错误匹配的小范围内的匹配会出式和式中Ga表示某个网络Ca表示落在
。,(15)(16),,
现在三维空间的不同位置几乎不会出现在同一个区域Ga中的匹配对Cab表示同时落在Ga和Gb中的匹配对算
,。,。
假设输入图像I有N个特征匹配输入图像I有M法定义邻域为落在同一网格中的匹配定义相似邻域为同
1,2,
计算机工程与设计年
·2248·2022
时落在两个网格中的匹配即区对
,。
算法的性能与网格的大小有关系如果网格非常小
,,
那么很多邻域信息都将忽略但与之相反并不是网格越
,,
大越好网格的大小过大会将很多不正确的对应关系也包
,
含进来因此网格大小的选取即为重要既不能忽略太多
。,
的邻域信息也不能将太多的错误信息包含进去为了解
,,
决邻域信息包含太少的问题采用运动内核来将更多的邻
,
域信息包含进去同时为了提高算法的准确性也需要将
,,
网格设置的比较小如图所示
,4。
图旋转运动核
5
图运动核
4
根据网格设置较小采用运动内核的思路在原有网格
,,
邻域的个网格的基础上构成了一个更大的网格Cab
8(11,…,
Cab由此重新定义了邻域
99)。
Ni=cj|cjCAcicj
{∈,≠}(17)
重新定义相邻邻域
Si=cj|cjCABcicj
{∈,≠}(18)
其中CAB=CabCabCabCab
,11∪22∪33…∪99。
在匹配过程中会出现尺度和旋转的问题为了应对这些
,
问题算法采用了多尺度以及多旋转的策略针对尺度问
,。
题具体方法是固定一个图像网格假设一幅图像的网格大
,,
小为nn则将另一个图像的网格大小设置为nα×
×,(·)
nα其中α有种取值方式分别为12
(·),5,,,1,2,2,
22
利用算法在不同大小的网格上统计匹配结果当场景
GMS。
的尺度发生较大改变时可以设置更多的候选值或者增大α
。
针对旋转问题利用旋转运动核模拟不同方向的旋转
,,
如图所示固定CA对CB按照顺时针旋转这样可以得
5,,,
到个运动核然后在所有运动核上使用算法然后
8,GMS,图改进算法总流程
选择最好的结果选择匹配数量最多的那个6ORB
()。
本文融合的改进算法的总体流程如图图片其桌面物体的纹理比较丰富但桌面和地板纹理单一
GMSORB6,,
所示很适合本次实验实验图片如图所示
。。7。
3实验验证分析
特征点提取算法种类很多例如算法算
,ORB、BRISK
AZAKE,
本次实验所使用的为频率为的地方提取出足够的特征点甚至可能一个特征点都提取
CPUInteli5-9300H,,
显卡为所使用的操作系统为不出来上述算法提取出的特征点大多数都集中在纹理比
,GTX1650,Ubun-。
进行测试的图片选自数据集选取的张较丰富的地方使得图片很大部分区域的信息都没有利用
,TUM,3,
第卷第期潘峰,沈建新,秦顺,等:融合的特征点提取与匹配算法
438GMSORB·2249·
图实验测试图片图组实验结果
784
。,
取中对大量粗提取的特征点进行精提取充分利用图片传统的暴力匹配的方式在匹配完后存在一些误匹配的
,,
上的信息最终提取出分布比较均匀的特征点情况匹配的准确性将影响到很多算法的准确性因此在
,。,,
利用改进的特征点提取匹配方法对实验图片进行特暴力匹配结束后利用算法基于网格模型对匹配后的
1,GMS
征点提取分别对比了算法算法和特征点进行误匹配剔除最终可以获得非常准确的匹
,ORB、BRISKAZAKE,
算法与改进后的特征点提取匹配方法的效果配结果
ORB。。
如图的实验结果所示算法算法和利用组图片分别对原始算法算法
8,ORB、BRISK3ORB、BRISK、
算法提取的特征点分布比较密集基本集中在纹理算法以及改进的算法进行特征点匹配实验
AKAZE,AKAZEORB。
比较丰富的桌子上的物体但对于纹理比较弱的地板和桌如表所示对实验图片进行特征点提取与匹配
,1,1,
面基本提取不出特征点很不利于对整张图片信息的利改进的算法如图所示匹配率达到比
,,ORB,9,%,
用而对于改进的算法提取的特征点分布比较均匀算法高了其效果与算法效果相当
。ORB,%,AKAZE,
可以从图中看出地面以及桌面等纹理比较弱的地但特征点提取用时上却比算法用时高了倍时间匹
8(d),ORB3,
方也可以提取出比较多的特征点最大程度地保留了图配用时也比其它算法用时高一些但总体上并不影响该算
,,,
片上的有用信息法的实时性
。。
表种算法特征点提取匹配效果对比(采用实验图片)
141
改进
ORBBRISKAKAZEORB
提取个数
10009937731000
提取用时
/
匹配个数
237249217282
匹配用时
/
匹配率
/%
表种算法在不同图片上的匹配率/
24%
改进
ORBBRISKAKAZEORB
实验图片
实验图片
实验图片
图改进算法匹配效果
9ORB算法以及改进算法在不同图片上的匹配率对于
ZEORB。
表中显示的是原始算法算法实验图片改进后的算法匹配率为对于实
2ORB、BRISK、AKA1,%;
计算机工程与设计年
·2250·2022
验图片算法的匹配率为对于实验图片算算法以及改进的算法在不同图片上的匹配用时从中
2,%;3,ORB。
法的匹配率达到可以看出改进的算法匹可以看出由于引入算法整体的匹配用时变长了一
%;,ORB,GMS,
配率与其它算法相比显得更加优秀可以获得更高的匹些但在某些图片上与其它算法的用时相差不大甚至比
,,,,
配率一些算法的匹配用时短对于基本的实时性改进后的
。,,
表显示的是原始算法算法算法可以满足
3ORB、BRISK、AKAZEORB。
表种算法在不同图片上的匹配用时/
34s
改进
ORBBRISKAKAZEORB
实验图片
实验图片
实验图片
4结束语[6]HangDong,
usinggaussianmixturemodelandSIFTkeypointmatch[C]//
针对传统的特征点提取算法提取的特征点位置分
ORBInternationalConferenceonMachineLearningandintelligent
布不均匀的问题以及存在误匹配的问题提出了一种改进
,Communications,2017:22-29.
的算法对图像分区域提取特征点并与匹配算[],
ORB,GMS7SukTingPuiJacey-
法相结合首先对图像整体提取特征点然后利用四叉树
,,andSURFforfacefeatureextractions[C]//InternationalCon-
原理对提取出的特征点分区域进行挑选最终得到分布相
,ferenceonComputationalScienceandTechnology,2017:
对均匀的特征点其次通过算法将特征点的运动平滑64-73.
,GMS
约束转变为剔除误匹配的统计量对提取出的特征点进行[],,
,