基于三激光点标靶的掘进机机身视觉定位技术研究 张旭辉.pdf

文档介绍：该【基于三激光点标靶的掘进机机身视觉定位技术研究 张旭辉 】是由【妙玉】上传分享，文档一共【10】页，该文档可以免费在线阅读，需要了解更多关于【基于三激光点标靶的掘进机机身视觉定位技术研究 张旭辉 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。电子测量与仪器学报
JournalofElectronicMeasurementandInstrumentation
ISSN-,CN-/TN
《电子测量与仪器学报》网络首发论文
题目:基于三激光点标靶的掘进机机身视觉定位技术研究
作者:张旭辉,沈奇峰,杨文娟,张超,毛清华,王恒,黄梦瑶
收稿日期:--
网络首发日期:--
引用格式:张旭辉,沈奇峰,杨文娟,张超,毛清华,王恒,
靶的掘进机机身视觉定位技术研究[J/OL].电子测量与仪器学报.
/..TN....html
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN-,CN-/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
网络首发时间:--::
网络首发地址:/..TN....html
基于三激光点标靶的掘进机机身视觉定位技术研究
张旭辉,沈奇峰杨文娟,张超毛清华,王恒黄梦瑶
(.西安科技大学机械工程学院西安;
.陕西省矿山机电装备智能监测重点实验室西安)
摘要:针对煤矿井下低照度、非均匀粉尘环境中掘进机机身位姿测量不稳定的问题,提出了一种以三个激光光斑为点特征的
,对防爆工业相机采集的激光标靶图像进行处理,通过光斑区域的最
小内接矩形和椭圆拟合相结合,获取三个激光指向仪的光斑点特征,并采用PP单目视觉定位算法,通过空间坐标矩阵变换计
,在粉尘和杂光的影响下,采用该方法获得的掘进机机身位置
信息的误差均在mm以内,姿态误差均在.°以内,且保证了在杂光、粉尘和水雾等复杂背景下激光光斑点精确提取与机身
位姿的稳定测量,基本满足巷道掘进施工精度要求.
关键词:单目视觉;精确定位;激光特征提取;视觉测量;PP
中图分类号:TN;TD文献标识码:A国家标准学科分类代码:.
Researchonvisualpositioningtechnologyofroadheaderbody
basedonthreelaserpointtarget
ZhangXuhui,ShenQifengYangWenjuan,ZhangChaoMaoQinghua,WangHengHuangMengyao
(.CollegeofMechanicalEngineering,Xi'anUniversityofScienceandTechnology,Xi'an,China;
.ShaanxiKeyLaboratoryofMineElectromechanicalEquipmentIntelligentMonitoring,Xi'an,China;)
Abstract:Aimingattheproblemofunstableposemeasurementofroadheaderfuselageinalow-illuminationandnon-uniformdust
environmentincoalmines,avisionmeasurementtechnologyforroadheaderfuselagewiththreelaserspotsaspointfeaturesis
,thelasertargetimagecollectedbytheexplosion-proof
,the


measurementexperimentoftheroadheader'sfuselage,undertheinfluenceofdustandstraylight,theerrorofthepositioninformation
oftheroadheader'sfuselageobtainedbythismethodiswithinmm,andtheattitudeerroriswithin.°.Accurateextractionoflaser
spotsandstablemeasurementofbodyposeundercomplexbackgroundssuchasstraylight,dustandwaterfog,basicallymeetthe
accuracyrequirementsofroadwayexcavationconstruction.
Keywords:monocularvision;accurateposition;laserfeatureextraction;visualmeasurement;PP
引言
我国煤炭工业正向无人化、智能化、高产高效化因此,研究掘进机机身位姿精确测量,实现复杂工况
的方向发展[-],而掘进机机身位姿检测技术是实现智下井下掘进机的精确定位,对于提高掘进工作面智能
能化与无人化的关键[-]。由于井下环境复杂,存在粉化和掘进安全性具有重要意义[]。
尘、噪声等导致地面上的定位方式难以在井下应用[-]。

收稿日期:--ReceivedDate:--
基金项目:国家自然科学基金青年项目(,)、陕煤联合基金项目(JLM-)
陕西省重点研发计划项目(ZDCXL-GY--)资助
目前常用的掘进机机身位姿单一测量技术包括惯向仪的坐标,防爆工业相机固定在掘进机机身上。
性导航定位技术、UWB定位方法,iGPS定位方法、OHHHHXYZ为巷道坐标系,坐标原点在巷道起始的
全站仪定位方法和视觉定位技术。张国喜[]利用惯性导
以巷道中线沿着掘进方向为YH向,面向掘进断面垂直
航系统检测悬臂式掘进机的位姿,其受环境影响较小,
中线向右为X,以垂直底板向上为Z。防爆工业相
并且具有较好的自主检测能力,但是由于惯性导航系HH
机坐标系为OXYZ,以相机光心为坐标原点,沿
统会随时间而产生误差累计,产生位姿飘移[],影响定CCCC
着相机轴线方向为,垂直向下为向右为。机
位精度。朱信平等[]利用全站仪准确、快速地计算出ZCYC,XC
测量目标的空间位置信息,但由于煤矿井下粉尘和水体坐标系设置在回转台中心,坐标系为ObbbbXYZ,
雾的作用,对棱镜产生了遮挡,无法对掘进进行实时
方向与相机方向一致。全站仪坐标为OqNEZxyz,
定位。符世琛等[]提出了一种基于UWB的掘进机位
z向为掘进方向,x方向与XH方向一致。
姿检测系统,该系统由在机身上的个UWB节点模
块和巷道后面的台UWB定位基站组成,通过定位
基站对节点模块进行测距,并建立相应的方程组,求
解得到UWB节点模块的三维坐标,进一步推导出掘
进机机身姿态角,此方法测量距离较长,且精度较高,
但组成复杂,检测延时大,粉尘及水雾影响下检测精
度难以保证。陶云飞等[]提出了一种基于iGPS的掘进
机位姿检测系统,利用安装在掘进机后方煤巷中的
台扇形激光发射站和安装在掘进机机身固定位置上的图位姿测量系统组成图
台激光接收器,
系的三维坐标,最终解算出掘进机机身姿态角,
法定位精度较高,但测量距离较短且井下环境对其测掘进机机身位姿视觉测量系统原理如图所示,
[-]
量精度影响较大。杨文娟等提出了一种基于激光通过固定安装在掘进机上的防爆相机对三台激光指向
束特征的悬臂式掘进机机身测量系统,该方法以两个仪的光斑进行图像采集,图像经畸变矫正和增强操作
激光束的点、线特征构建悬臂式掘进机位姿测量系统,后,利用滤波、形态学变换、通道分离等处理过程,
充分利用激光指向仪方向性好、颜色单纯以及亮度高减少杂光的影响,再拟合出三激光光斑并计算出三个
[]
等优点,此方法定位精度高,测量距离较远,且容光斑的中心坐标,可采用全站仪测量激光指向仪标靶
易实现,但是该方法使用受井下粉尘、水雾等环境干的绝对坐标,获得激光指向仪在巷道坐标系下坐标,得
扰导致激光线特征提取精度下降,使得测量结果不稳到定位模型坐标系与巷道坐标系的转换关系,结合上
定。综合以上掘进机位姿检测方法,选取一种能在杂述得到的掘进机机身在定位模型坐标下的位姿,最终
光、粉尘和水雾等复杂环境下,准确提取特征信息,借助掘进机三点定位模型计算掘出进机位姿参数。
并且研究稳定有效的视觉测量技术,这些是实现智能
相机畸变图像预处
掘进的关键。激光标靶
采集矫正增强理
因此,本文提出了一种基于三激光点标靶的掘进
机机身视觉定位方法并构建了位姿测量系统。该系统
以巷道中的三激光标靶的点特征作为特征信息,利用掘进机数据机身位姿光斑特征
位姿滤波解算模型中心提取
掘进机位姿解算模型,实现在标靶坐标系下掘进机机
身位姿测量,进而计算出巷道坐标系下的掘进机机身
图掘进机机身位姿视觉测量系统原理
位姿。本方法能在杂光、粉尘和水雾等复杂环境下,

准确提取特征信息,并且可以稳定有效的测量掘进机bodypose
的机身位姿,减弱了了粉尘浓度对定位方法的影响。
.激光光斑中心特征提取
.掘进机机身位姿视觉测量系统设计
.光斑提取方法分析
.系统组成目前比较常见的检测光斑中心的算法有灰度质心
掘进机位姿视觉测量系统组成如图所示,包括法[]、拟合法[]、Hough变换法[]以及二维高斯分布
掘进机、防爆工业相机,数字全站仪以及三台激光指法[],高斯累计分布法[]等,对于不同类型的光斑,
向仪。三个激光指向仪之间固定并形成三角视觉测量这些方法各有差异。煤矿井下要求稳定、高精度的提
标靶,固定时保证三个激光指向仪光线基本平行即可,取激光光斑,符合要求的方法需要进一步分析。灰度
标靶吊装在距掘进机后方一定距离的顶板处,全站仪质心法就是应用像素的灰度值作为权重来计算光斑的
的位置建在掘进机与标靶之间,用于标定三个激光指质心,该方法只有灰度对称分布的光斑才能获得理性
向仪光斑之间的位置,并获取全站仪坐标系下激光指效果,掘进机机身振动,相机光轴偏移,重心法均会
产生较大偏差。基于拟合检测激光光斑中心的算法的对掘进机机身进行定位的方法,均不能依据杂光、粉
依据的是最小二乘法的原理来逼近激光光斑的轮廓,尘和振动等因素有效的提取光斑中心点,为适应煤矿
此方法并不受灰度对称的影响,外界环境对该方法影井下的复杂环境,对光斑进行精确定位,提出了一种
响较小,算法拟合精度相对较高,而在拟合法中,椭基于井下环境的光斑提取方法。激光光斑中心定位流
圆拟合算法[]效率相对较高,而且椭圆拟合也符合视程图如图所示,梯度转换是用来就算光斑像素点与
觉定位的动态应用。Hough变换是利用点-线对偶性,其相邻像素的灰度值变化情况,可以对图像产生增强
将图像空间中的曲线通过曲线公式转换到对应的参数效果。求取最大灰度后,再根据图像最大灰度,选择
空间,对相同参数进行累加,那么图像空间的提取曲线合适比例,分类别调节的二值化最小阈值,确保激光
就转化成求取参数空间的峰值问题,圆变换的参数空光斑能够被保留。闭运算操作是将光斑的区域边界向
间为三维的,在三维空间上进行数据累加的时间、空间光斑中心填充,使光斑边界连接且边界区域足够大。
消耗是非常大的。二维高斯分布法是利用图像灰度呈由于相机振动和激光指向仪安装误差等因素,使光斑
高斯分布的特性,用伪逆法进行最小二乘求解,得到发散且呈现圆或椭圆状,根据光斑最小外接矩形的高
光斑的中心坐标,该方法主要应用于求取极小光斑的宽比,可去除手电筒等产生的条状光斑。再通过求取
中心。高斯累计分布法是利用光斑在空间中的灰度分各光斑之间的距离,基本可以去除与激光光斑特征不
布为高原状这一特点,可直接求取光斑中心坐标,且一致的杂光,结合椭圆拟合的方法就确定了激光光斑
图像预处理过程中可省去除噪声操作,是非常理想的中心的坐标,图像处理过程结果如图。激光光斑中心
拟合方法,但此方法解算较为复杂,一般只用于运行位置确定步骤为:
速度要求不高的系统中。对工业应用中的光斑图像,
开始
用上述的几种算法对分别进行处理,探究各算法对实际
光斑图像提取效果,如图所示,利用椭圆拟合法求椭圆拟合所有光斑的坐标
取的光斑中心精度与效率明显优于其他几种方法。由采集图像
以上分析本系统应用椭圆拟合法来求取光斑中心,此
Y删
求取各光斑之间
方法在运行效率方面具有突出优势,能够满足相机快速高/宽的值N除
畸变矫正的距离D
定位激光标靶光斑中心的需求,从而保证掘进机机身位在(c,d)内区
姿的实时解算要求。域
N删
高斯滤波求取最小e<D<f除
外接矩形点
YY
梯度转换删
边界点的个N除N光斑个数等
于
(a)椭圆拟合法(b)灰度质心法数在(a,b)内区
域
(a)Ellipsefittingmethod(b)Graycentroidmethod通道分离
YY
蓝N
边界个数确定三个光斑
转灰度图大于中心坐标
求取最大求取各区结束
(c)霍夫变换法(d)二维高斯分布法灰度域边界
(c)Houghtransform(d)DGaussiandistribution
二值化闭运算
图激光光斑中心定位流程图

(e)高斯累计分布法(f)拟合法()遍历相机采集的图像,对其依次进行畸变矫
(e)Gaussiancumulativedistribution(f)Fittingmethod正、高斯滤波和梯度转换等操作,再对梯度转换后的
图各算法对实际光斑图像提取图像进行通道分离,将蓝色通道转为灰度图,并求取
,按比例输入最小分割阈值,实现适应井下
.激光光斑中心定位环境阈值分割方法;
由于井下作业环境存在杂光、粉尘、振动和水雾()经二值化后的区域边界可能含有未封闭的区
等因素,并且这些因素随着生产环境的变化会产生较域,需进行闭运算,然后再求取各区域的边界,若区
大差异,其次,现有的根据井下环境的点、线特征,域边界的个数大于,则再判断是否满足边界点的个数
大于a,小于b,满足则求取区域的最小矩形,再根据于个已知空间点P、P和P,其构成三角形个边
最小矩形的高宽比,删除一些杂光。长度分别为a、b和c。在摄像机成像平面成像点分别
()利用椭圆拟合对剩余区域进行拟合,并获取为ppcc、和pc空间点Pi与摄像机光轴中心点O之间
光斑中心坐标,再求取各光斑中之间的距离,其满足
构成单位向量ki,如式()
给定的范围值(e,f),满足则保存光斑坐标,最终保留
xi
的光斑是个,则带入到三激光点的掘进机机身定位
kyiii,(),,()
模型中,并计算出掘进机机身位姿。
xy

O
(a)原图(b)梯度图
(a)Artwork(b)GradientpicturePcPc
Pc
k
kk
(c)矩形图(d)拟合图c
(c)Rectanglepicture(d)FittingpicturePP
图图像处理过程结果

P
三激光点的掘进机机身定位模型
如图,三激光点的视觉定位方法坐标转换示意图,图掘进机机身定位模型投影示意图

给定激光光斑特征fi,,在参考坐标系中的位置
GC将k和k间的夹角记为α;;k和k间的夹角记
pi,以及特征点在相机坐标系中的方向向量ki,目标
G为β,k和k间的夹角记为γ,如式()。
是估计相机的旋转矩阵和位置pC。其中{}C表示相机
坐标系,其位置为Gp方向为GC,{}G表示参考坐标系。T
CCcoskk

coskk()
GG
C{}CcoskkT
pCC
{}G将P、P和P和O之间的距离记为d,d和
。根据三角几何原理可得式()。
GCd,
pdkii
i
ddddbcos

ddddccos()
fi
ddddacos
图坐标转换示意图
由式(),可假设式()

根据几何关系得出:GGGCppdCk
iCiCidmd
将三激光指向仪组成的视觉测量标靶,固定在掘()
dnd
进机后方一定距离的顶板处。利用防爆工业相机采集
其图像信息,经图像处理获取三激光点的图像坐标,可得式()和式()
利用全站仪测量三激光点之间的关系,并借助掘进机bacbabac
cosn
三点定位模型计算出掘进机位姿参数。
mccc()
掘进机三点定位模型投影示意图,如图所示,对(cosncos)
间的关系,实现掘进机机身位姿的实时定位。其中,
anananana()
吗式中三个平行放置的激光之间距离分别为mm、mm、
mm,设定相机每次移动距离为m,测量距离分
bacb
a()cos别为m、m、m、m、m、m。利用计算
cc
机编写相机软出发程序,实时静态触发固定在掘进机
bacba
a[()()cos上的防爆工业相机采集激光指向仪点特征信息,设置
cc
采集时间间隔为ms。每组实验均利用全站仪二次
bbac
coscoscoscos]检测掘进机位姿,通过全站仪测量方式与实验结果进
cc行对照,其中,全站仪测量值作为真值,掘进机机身
baba位姿测量实验所测值为测量值,实验主要分为有烟有
a[()()coscoscos
cc杂光、有烟无杂光,无烟有杂光,无烟无杂光等个
bababa部分,分别模拟井下环境进行掘进机位姿测量实验。
()cos()cos()cos]
ccc有烟情况下掘进机机身位姿测量部分实验结果如表,
无烟情况下掘进机机身位姿测量部分实验结果如表。
bacbaa
a[()()coscoscos
ccc
bac
coscos]
c
bacb
a()cos
cc
由以上可求出m,n,d,d和d的值。则各空间
点在摄像机中的位置坐标为pdciiiki,,,。D点
的图像坐标已知,个余弦角已知。D点的坐标已知,
只有x和y未知。由式()可知,a~a都是已知的,
因此我们可以求得m,n的值。次方程组理论上有
组解,但其实只有一组是合适的。设个位姿解为
(),求取最小二范数,如式(),最
xygg,g,,,,
图掘进机机身位姿测量实验平台
小值为相机相对于标靶坐标系的位姿。xygg、分别代
表位置解和姿态解。
roadheaderbody
根据实验结果可知,该方法可以在含有杂光以及
min()xxygg()
g粉尘的背景下准确计算出悬臂式掘进机的位置信息,
通过三激光点的掘进机机身定位,再根据激光指实验数据以全站仪数据为基准的相对定位精度对比,
向仪坐标系与巷道坐标系之间的已知关系,从而得到从表和表的试验过程数据以及种情况下掘进机
机体坐标系巷道坐标系之间的关系,便可求得掘进机机身位姿定位误差,如图,可以看出,从m到m,
在巷道坐标系下的偏航角、横滚角、俯仰角和位置信三激光点的掘进机机身定位x方向误差、y方向误差,
息。z方向误差均保持在mm以内,俯仰角、偏航角和
实验及数据分析横滚角误差均保持在.°以内。且在有烟雾有杂光、
有烟雾无杂光、无烟雾有杂光和无烟雾无杂光种情
掘进机机身位姿测量实验平台如图所示,由掘况下,烟雾与杂光对三激光点的掘进机机身定位方法
进机、防爆计算机、MV-EMVM防爆工业相机、矿影响位置误差均保持在mm以内,姿态误差均保持在
灯、烟雾模拟器,全站仪以及个型号为YHJ-的.°以内,由此可知,杂光与粉尘对基于三激光点标靶
激光指向仪组成。利用控制变量实验法分别在有、无的掘进机机身视觉定位系统的影响较小。对比基于三
杂光和烟雾的情况下对三激光点的掘进机机身定位方激光点标靶的掘进机机身视觉定位方法,其他的视觉
法进行验证并分析烟雾和杂光对本方法的影响。定位方法,很难在煤矿井下提取稳定的特征,由于粉
在三激光点标靶的掘进机机身视觉定位测量实验尘。杂光等导致定位精度低,难以满足生产要求。本
中,利用矿灯以及烟雾制造机进行灯光以及粉尘干扰方法在m-m的测量范围内,根据煤矿井下的安全
模拟,工业相机将采集得到的图像信息通过以太网传生产施工要求,本方法的精度满足《煤炭井巷工程质
输到计算机中,在计算机中完成对图像的处理、激光量验收规范》的要求。而且在煤矿井下多杂光,高粉
光斑中心的特征提取,并计算得到相机在激光指向坐尘、低照度的环境中,利用简单且容易操作的三激光
标系中的位姿,根据激光指向仪坐标系与巷道坐标系标靶实现掘进机身的精确定位,可以保证在远距离的
之间的已知关系,从而得到机体坐标系巷道坐标系之测量中满足工业生产要求。
表有烟情况下位姿测量部分实验结果
TableExperimentalresultsoflowerpositionmeasurementwithsmoke
俯仰
偏航角横滚角
有无测试距x测量值y测量值z测量值偏航角横滚角俯仰角x真实y真实z真实角真
真实值真实值
杂光离/m/mm/mm/mm/°/°/°值/mm值/mm值/mm实值
/°/°
/°
...-.-..-.-..
....-...-..
....-...-..
有
...-.-..-.-..
....-.-..-..
...-.-.-.-.-..
...-.-..-.-..
....-...-..
....-...-..
无
...-.-..-.-..
...-.-..-..
...-.-.-.-.-..
表无烟情况下位姿测量部分实验结果
TableExperimentalresultsoflowerpositionmeasurementwithoutsmoke
有俯仰
x真实y真实偏航横滚
无测试距x测量值y测量值z测量值偏航横滚俯仰z真实角真
值值角真角真
杂离/m/mm/mm/mm角/°角/°角/°值/mm实值
/mm/mm实值/°实值/°
光/°
...-.-..-.-..
....-...-..
....-...-..
有
...-.-..-.-..
....-.-.