基于雷达点云与视觉图像融合的输电线路探鸟驱鸟技术 吴洋铭.pdf

文档介绍：该【基于雷达点云与视觉图像融合的输电线路探鸟驱鸟技术 吴洋铭 】是由【夸客客】上传分享，文档一共【12】页，该文档可以免费在线阅读，需要了解更多关于【基于雷达点云与视觉图像融合的输电线路探鸟驱鸟技术 吴洋铭 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
高电压技术
HighVoltageEngineering
ISSN1003-6520,CN42-1239/TM
《高电压技术》网络首发论文
题目:基于雷达点云与视觉图像融合的输电线路探鸟驱鸟技术
作者:吴洋铭,洪翠,高伟
DOI:-
网络首发日期:2022-07-26
引用格式:吴洋铭,洪翠,
术[J/OL].:///-
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
:.
췸싧쫗랢쪱볤ꎺ2022-07-2611:31:44
췸싧쫗랢뗘횷ꎺ.
高电压技术
HighVoltageEngineering1
DOI:-
基于雷达点云与视觉图像融合的输电线路探鸟驱
鸟技术
吴洋铭,洪翠,高伟
(福州大学电气工程与自动化学院,福州350108)
摘要:为了克服驱鸟器易被鸟类适应的缺点以及解决基于视觉图像的目标检测算法受天气条件制约的问题,根
据毫米波雷达(mmWave-Radar)的特性,提出了一种基于雷达点云和视觉图像融合的探鸟驱鸟方法。首先运用
均值拟合实现雷达-相机坐标融合;其次利用视觉和场景增强技术创建了囊括多种气象环境的鸟类点云-图像融合
数据集;接着提出一种将雷达点云注意力机制与深度学****识别网络YOLO相结合的鸟类识别模型,实现决策层融
合;最后,为提高效率和降低能耗,提出基于3F-GIoU精准驱鸟策略。实验结果表明,所提的鸟类识别方法能够
满足实际应用场景中鸟类识别的鲁棒性和准确性,%;所提的3F-GIoU
策略能够有效识别鸟类存在危害线路、杆塔的活动。
关键词:探鸟驱鸟;雷达点云;视觉图像;多信息融合;3F-GIoU
BirdDetectingandBirdRepellingTechnologyforTransmissionLinesBasedontheFusionof
RadarPointCloudandVisualImage
WUYangming,HONGCui,GAOWei
(CollegeofElectricalEngineeringandAutomation,FuzhouUniversity,Fuzhou350108,China)
Abstract:Inordertoovercometheshortcomingthatthebirdrepellentiseasytobeadaptedbybirdsandsolvetheprob-
lemthatthetargetdetectionalgorithmbasedonvisualimageislimitedbyweatherconditions,abirdhuntingand
repellingmethodbasedonthefusionofradarpointcloudandvisualimageisproposedaccordingtothecharacteristicsof
millimeter-,theradar-,abird
point-cloud-imagefusiondatasetthatcoversavarietyofmeteorologicalenvironmentsiscreatedbyusingvisionandsce-
,abirdrecognitionmodelthatcombinestheradarpoint-cloudattentionmechanismand
thedeeplearningrecognitionnetworkYOLOisproposedtorealizethefusionofdecision-,inorder
toimproveefficiencyandreduceenergyconsumption,anaccuratebirdrepellingstrategybasedon3F-GIoUisemployed.
Theexperimentalresultsshowthatthebirdidentificationmethodproposedinthisstudycanmeettherobustnessandac-
curacyofbirdidentificationinpracticalapplicationscenarios,andtheaverageidentificationaccuracyunderdifferent
%.Furthermore,the3F-GIoUstrategyproposedinthisstudycaneffectivelyidentifytheactiv-
itiesofbirdsthatendangerlinesandtowers.
Keywords:identifyandrepelbirds;radarpointcloud;visualimages;multi-informationfusion;3F-GIoU
1建设与鸟类活动之间的矛盾日益突出。据多个省份
0引言
的电网公司输电线路故障数据统计,鸟类活动引起
近年来,国家环保力度不断增大,植被绿化水输电线路故障跳闸的次数已经仅次于雷击和外部破
平大幅提高。根据2020年中国国土绿化状况公报[1]坏,并且呈现逐年增加的趋势。相关研究表明鸟类
显示,全国已建造森林677万公顷、培育养护森林在杆塔上筑巢、停留在绝缘子上方排泄、聚集在输
837万公顷、种植改良草原283万公顷和防沙治理电线路上和啄咬输电线等行为会对电网的正常运行
,保障了鸟类栖息环境并促进了鸟类的产生威胁[2-3],且发生的地点与时间均具有突发性。
繁衍生息。但随着城市化的发展,输电线路的广泛为了解决这一不可忽视的问题,电网公司和学
者们针对鸟害问题开展了一系列研究。目前,输电
基金资助项目:福建省自然科学基金资助项目(2021J01633)。
ProjectSupportedbyNaturalScienceFoundationofFujian,China线路在实际运行中仍采用以隔离型和驱逐型为代表
(2021J01633).
:.
2高电压技术
的传统驱鸟器[4]。隔离型是通过安装防鸟倒刺、防行人检测提出了一种基于数据层的雷达和相机的融
鸟护罩、绝缘隔板等方式将线路杆塔重点位置与鸟合方案,通过雷达数据进行潜在危险目标的识别预
类隔离以减小鸟类活动带来的影响,但却存在安装处理来降低红外相机识别模型的复杂度。然而这种
维护困难、易受小型鸟类适应和漂浮物缠绕等缺点;检测方案的召回率会受到雷达数据的影响,如果一
驱逐型是通过转动反光、生物气味、超声波、电击个区域内没有雷达数据,则该区域内的识别效果会
和仿生天敌等干扰实现驱赶鸟类,尽管有着价格低受到影响,在安全性和准确性方面仍需进一步考虑。
廉、安装便利的优点,但却存在驱鸟器长时间运行针对以上问题,本研究提出一种新的输电线路
带来的资源浪费和鸟类易适应导致长期驱鸟效果差探鸟驱鸟技术,其主要贡献为:
的缺点。因此如何制定驱鸟器的智能启停策略是克1)提出一种精准、简单的雷达-相机坐标融合
服传统驱鸟器易被鸟类适应的关键。方法,并通过视觉增强、场景增强创建全新的鸟类
随着深度学****技术的兴起和发展,基于机器视点云-图像数据集RPImg2022。
觉和深度卷积神经网络的检测识别也开始运用在输2)提出雷达点云注意力机制RPAM(radar
电线路故障识别领域。缪希仁等[5]利用锐化后的无point-cloudattentionmechanism)与YOLO(youonly
人机巡检照片训练YOLOv3目标检测网络,采用迁lookonce)网络相结合的多信息特征层融合模型,提
移学****的思想能够有效检测出输电线路防鸟刺故障高鸟类识别的准确性和鲁棒性。
部分。高伟等[6]基于SR-GAN生成高分辨率的输电3)提出基于3F-GIoU(3frames-generalizedin-
线路绝缘子巡检图像,并对YOLOv4目标检测网络tersectionoverunion)的输电线路驱鸟器智能启停策
在模型训练和目标检测两方面进行改进,检测结果略,克服传统驱鸟器易被鸟类适应的缺陷。
满足了识别绝缘子缺陷故障的准确性和实时性要求。
[7]1数据集准备
钟映春等通过航拍获取线路铁塔图像,并从预测
框的宽高损失函数、预测类别不平衡和网络结构等近年来,深度学****技术在图像识别领域已经得
方面进行了改进,提高了识别铁塔上鸟巢的精度。到了广泛地研究,相比之下在雷达识别领域还未进
为了分辨危害输电线路正常运行的鸟种,邱志斌等[8]基于
行充分的探索,究其原因为缺乏足够的公共雷达数
CAM图像预处理方法、深度迁移学****并融合多卷据集。NuScenes与OxfordRadarRobotCar等已有的
积神经网络提出了一种图像识别方法,为防范输电公共雷达数据集仅局限于自动驾驶领域[14]。由于不
线路涉鸟故障提供参考依据。同规格雷达具有不同的功能和特性,因此相关研究
上述相关研究表明,基于机器视觉和深度学****人员只能自行创建雷达数据集。在本研究中,提出
的防鸟治鸟技术大部分仍停留在利用无人机或巡检一种雷达和相机坐标融合的方法来实现鸟类活动的
人员采集到的图像进行识别,无法满足实时性的要点云-图像数据采集。
求。另一方面,图像的采集大都依赖于相机拍摄,-相机坐标融合方法
而不可否认的是相机易受天气因素的影响[9],雨雪
雷达与相机的相对位置如图1,由相机成像原
雾天气、夜晚光线不足与阳光强烈照射均会导致目理和相似原理可得P(u,v)与Q(Xc,Yc,Zc)之间的关系
标识别的准确度下降,无法满足全天候性的要求。式(1)。其中P和Q分别为图像坐标系和相机坐标系
与相机相反,毫米波雷达(下文简称雷达)抗环上一点,相机焦距f为Oc与O"在Zc轴上的距离。
境干扰能力强、价格低廉、集成度高[10],但雷达的
Xc
稀疏点云输出形式使其无法和相机一样获得目标的ufux000
1(1)Yc
轮廓和分类[11],如果能够实现两类传感器的融合,vfv00y0
ZcZc
[12]10010
就能够起到优缺点互补的作用。甘耀东等针对车1
辆安全驾驶提出了一种基于决策层的雷达和相机的式中:u0和v0为相机光轴的偏移量;fx为图像宽度
融合方案,将雷达与相机各自的预测结果进行融合变换比,fy为图像高度变换比,均由焦距f获得。
从而生成结果,但决策层的融合方法涉及多种传感
器的噪声检测,因此对于检测性能的改善会受制于
计算量较大的滤波算法的改进。尚昊等[13]针对夜间
:.

O
像素坐标系
O
Quv,
相机坐标系
cPOZ
f
00
Yc
u
X
c
c
Z
v
x
yZ
r
Ow
O
Y
Y
图像坐标系
rw
吴洋铭,洪翠,高伟:基于雷达点云和视觉图像的输电线路探鸟驱鸟技术研究3
rw
X

X
雷达通过接收目标反射的线性调制波判断目
标的方位和距离,因此每个雷达点含有丰富的信息。
在本研究中,每个雷达点包含了三维空间坐标、距w
离(range,Ra)、速度(doppler,Do)和中频信号的峰
r
雷达坐标系值(peakval,Pe)四类信息,但这些信息无法直接运世界坐标系
用在神经网络中。受Chang等[18]的研究启发,为了
图1雷达-相机坐标示意图实现目标物体物理信息与视觉图像的融合,做了如
-cameracoordinates下变换:
雷达与相机通过机台上实现位置固定,因此雷1)根据式(2)将雷达点的三维坐标变换到二维
达坐标系和相机坐标系之间的外参唯一且可由旋转图像平面上并以边长d为20像素的正方形表示;
矩阵R3×3和平移矩阵T3×1表示,结合式(1)可得三2)将每个雷达点所包含的距离、速度和中频
维雷达坐标投影到二维像素平面的变换式(2)。信号峰值通过式(3)~(5)按照比例转化为正方形的
三通道颜色,变换过程如图3所示;
Xr
ufux000
1(2)RT3331(3)Yr
vfv00y0RD128Do127,[,]o
01311IZr
10010
1
(4)相机雷达融合平台相机内参标定雷达相机外参标定雷达点在图像上投影
GP128Pe127,[100,100]e
式中:I1×1为单位矩阵,01×3为零矩阵。100
为了获得式(1)~(2)中的所有参数,Wang等[15]
256Ra(5)
提出了一种操作简单、无雷达反射强度和采用专用BR,[0,]a
标定装置的标定方法,Guo等[16]进一步简化了标定式中:R、G和B为三通道颜色值,Do、Pe和Ra分
相机
过程,通过最小二乘法获得坐标变换矩阵,但是上别为速度值、中频信号峰值和距离值。
述两种方法所涉及的雷达坐标系仅为二维,存在拟3)采用时间戳对齐法进行雷达与相机的时序
z
合计算误差较大和场景适用性不强的缺点。本研究匹配。雷达与相机作为两个不同的采集系统在采集
对上述两种方法进行改进,采用角反射器和Matlab过程中难免会出现延迟的情况,但由于雷达与相机
相机标定工具箱[17]获得坐标变换矩阵。通过机台被固定在一起,在某一时刻下必然同处于
本研究提出的雷达-相机的坐标融合过程如图2同一个时空下。考虑到本研究采用毫秒级的时间戳角反射器
x
所示,其步骤为:精度较高,当雷达与相机采集到的信息或图像的时y
1)将毫米波雷达和相机固定在机台上,确保间戳相差在10ms的范围内即认为发生在同一时
二者之间的相对位置固定不变;空下。因此,每次采集可各获得一张点云图像与视
2)利用棋盘格和Matlab相机标定工具箱测算觉图像。z
出相机内参fx、fy、u0和v0;毫米波对此本研究采用视觉增强和场景增强的方式
3)通过水平仪校准机台的旋转矩阵R3×3,并丰富数据。如图3所示的视觉增强方法包括对图像
采用OpenCV与雷达角反射器在多个场地进行均值雷达的锐化预处理、旋转、翻转和缩放,其中锐化预处
拟合获得机台的平移矩阵T3×1。理起到了加深鸟类的轮廓、提高检测精度的效果,y
x
内参标定过程外参标定过程投影验证
图2雷达-相机坐标融合示意图
-camerafusion
:.
旋转
锐化随机翻转
增强
-1-1-1-1-1
-1222-1
-1282-1
-1222-1
4高电压技术
其原理是采用扩大的拉普拉斯运算扩展模板[5]进行标即雷达或相机失效时的数据,让模型在训练过程-1-1-1-1-1
锐化,最后在此不改变点云图像和视觉图像分辨率中自适应增强识别算法的鲁棒性,确保所提算法的缩放
的基础上进行随机的旋转、翻转和缩放。识别有效性。另一方面,根据现场实际运行环境分
析,安装在杆塔上的相机雷达识别装置在识别鸟类不同标签样本不同数据集样本
的过程中不可避免的会受到其他目标干扰例如塑料
1500扩大的拉普拉斯3000
袋与线路检修人员等。综上所述,数据集中需包含2759
正常情况
鸟类、人和塑料袋三类标签并会进一步分化为正常、
雷达关闭
雷达失效和相机失效的情况。1018
运算扩展模板相机关闭数
2021年100011月,在阳光明媚的天气条件下采集2000
实验数据。实验装置架设在开阔的场地上,删除损数1本
图3视觉增强示意图坏的数据后共采集了600张图像,通过视觉增强和样
本
-图像
样
本研究所提的场景增强如图4所示,在(a)初始数据集RPImg2022500,其中各类标签的样本数如图54244241000
数据集的基础上随机添加掩膜:(b)添加阴影条、(c)所示。
添加噪声点、(d)模糊化处理、(e)添加光斑、(f)调整195
124313
亮度和(g)雪地化。通过场景增强后可以依次模拟不806588175
同程度下的遮阴、雨天、雾天、强光照射、夜间和0
0
雪天的气象条件。鸟类人塑料袋训练集验证集测试集
标签名称数据集划分
(f)
(a)(b)(c)(d)(e)(g)
图5各类标签数量分布图

2基于双输入的RPAM-YOLO目标识别算
法
随着目标检测的发展,YOLO系列模型不断在
图4场景增强示意图权衡运行速度和检测精度中发展并吸收当时可用的
,因此在实际应用中被广泛使用。目前

影响目标是否能被雷达检测到的因素主要体YOLOX[21]。相比YOLOv3、YOLOv4等基于锚策
现在雷达散射截面积(radarcrosssection,RCS)与距略(anchor-based)的前几代模型不同的是,YOLOX
离之间的关系,即雷达能够检测到目标的最大距离融入了过去两年来目标检测领域集中研究的不采用
和最大速度会随着目标RCS的减小而减小、反之则锚(anchor-free)等改进策略,使其在运行速度和检测
增大。刘凯越等[20]研究表明由于鸟类飞行姿态的不
精度均超过前几代模型。
,
本研究对YOLO模型进行了一定改进,以便更
本研究在开阔场地利用角反射器进行多次调参测试好地融合雷达信息和相机信息。为此,提出的基于
、-YOLO目标识别算法的网络结构
时有95%的概率能够被雷达检测到并用雷达点云表如图6所示,由RPAM、主干特征提取、特征金字
示;当鸟类不满足上述条件或背景过于复杂时则无塔(featurepyramidnetworks,FPN)和解耦模块组成。
法被雷达检测到。
为了解决因雷达分辨率的限制使得算法识别如图7所示,RPAM的主要作用是在模型前端
有效性受影响的问题,本研究在模型训练方面进行融合雷达采集到的信息和相机采集到的视觉图像,
改进:在数据集中分别加入雷达或相机检测不到目提高后续主干特征提取的效率。采集到的雷达信息
:.
点云图像
Conv1×1
ResNet50
主干特征提取特征金字塔回归分类
Conv1Conv2_xConv3×3Add
MulResBodyResBodyResBodyCBSSPPCSPConv
ConcatCSPYoloHead
×80
Conv5×5
视觉图像
下采样
FocusCBS上采样
改进部分
ConcatCSPConv
ConcatCSPYoloHead
本研究提出的RPAM×40
原部分
下采样
ResBodyCBSCSP
CBSConvBNSiLu
=上采样
=
ConcatCSPYoloHead
×20
×N改进的残差结构
ResBlock
CBSResBlock
CSP
=SPPReg
ResBlockMaxpool_5
ConcatCBS
YoloHeadN×N×4
CBSCBSCBS
×N=
CBS×2Obj
Maxpool_9
Conv
1×1
SPPCBSConcatCBS
=
N×N×1
Conv1Conv2_xConvAddSigmiod
吴洋铭,洪翠,高伟:基于雷达点云和视觉图像的输电线路探鸟驱鸟技术研究53×3
ResBlockConv1×1Conv3×3Maxpool_13
(320,320,64)(320,320,128)Cls
=
(640,640,3)Conv
AddCBSCBS
(320,320,1)
5×5
×2
(320,320,1)
无处理
N×N×3
改进的解耦头
(320,320,64)
图6基于双输入的RPAM-YOLO鸟类识别网络模型
-YOLObirdrecognitionnetworkmodelbasedondualinput
通过变换生成点云图像并与视觉图像一起作为输入,33和55的卷积、相加和激活操作,最终获得维
两者的输入维度均为(640,640,3),该部分的改进如度为(320,320,1)的视觉图像特征加权矩阵。
下:表1网络结构设计的验证
FocusConvMultiply
Table1Verificationofnetworkstructuredesign
网络层数训练成功参数规模

(320,320,12)(320,320,64)

(640,640,3)
2)相较于具有稀疏性的雷达信息,相机拍摄
的视觉图像含有更多的信息量、涉及更大的计算量。
图7雷达点云注意力机制因此对于视觉图像分支,采用Focus切片操作对输
-cloudattentionmechanism入维度为(640,640,3)的图像进行尺寸缩减、通道扩
1)对于雷达图像分支,由于雷达点云稀疏性充,如图8所示。相比卷积操作能使计算量和参数
的限制导致生成的雷达图像受到同样的影响,因此量更少以此提高计算速度,最后在调整通道数后与Focus
提取雷达图像的过程中要注意梯度消失等问题,对视觉图像特征加权矩阵进行相乘操作实现雷达和相
此ResNet模型利用残差结构能够在一定程度上克机的特征层融合。
服这些问题。采用不同ResNet50网络层数的实验情
况如表1所示,当网络层数大于2层时在训练初期
就会出现训练失败的情况,同时参数规模随着层数
的增加而大幅增加,这是由于点云图像特征的提取(640,640,3)(320,320,12)
受到其稀疏性的影响,层数过多反而不利于提取。
因此本研究仅取ResNet50的前两层即输入预处理图8Focus切片操作

范训练过程中出现梯度消失或训练失败的情况,
少模型参数量并节省计算资源。另一方面,雷达能主干特征提取的作用是对经RPAM加权后的
够反映检测区域内的物理状态,因此雷达点云具有特征进行学****其主干网络为CSPDarknet,由多个
空间性,主要体现在雷达点云的分布会受目标大小、具有残差结构的ResBody组成,输入维度为(320,
目标与雷达之间的距离影响。因此为了增强如鸟类320,64)的特征图经过残差结构处理后尺寸减半、通
等小目标和模糊目标的特征信息,由Conv2_x提取道翻倍。对应主干网络中间层、中下层和底层的三
而来的点云图像特征还需经过卷积核分别为11、个输出分别为(80,80,256)、(40,40,512)和(20,20,1
:.
SiLU
5
4
yxxsigmoid()
3
y
2
无上限
6高电压技术
024),分辨率越低的输出有着更广的感受野,适合种类判断Cls。此改进能够提高模型的收敛速度,本
对大目标的检测,相反则适合小目标的检测,该部研究中的RPImg2022数据集共有3类标签,以维度
分的改进如下:为(80,80,256)为例,通过解耦头解码后的输出为(80,
1
1)使用CSPNet结构,具体表现在将主干分为80,4)、(80,80,1)和(80,80,3)。
两部分:一部分以残差结构进行处理,另一部分则
3基于3F-GIoU的驱鸟器智能启停策略
直接连接到最后,起到了轻量化、降低内存占用和
提高学****效率的作用。传统驱鸟器存在长时间启动导致易被鸟类适
2)采用如图9所示的SiLU激活函数,作为应和资源浪费的缺点,另一方面根据鸟类的行为和
Sigmoid激活函数和ReLU激活函数的整合改进版常见的线路鸟害分析[2],当鸟类停留在线路或杆塔
0
具有平滑、有下限无上限的特性,并在更深层的网上一定时间可能会出现排泄、筑巢和啄咬电缆等危
络模型中起到的激活效果均优于Sigmoid激活函数害线路正常运行的行为,因此判断鸟类是否停留在
有下限
和ReLU激活函数。目标区域成为了驱鸟器启停的关键,对此本研究提
出一种基于3F-GIoU的驱鸟器智能启停策略。

目前IoU(intersectionoverunion)是目标检测中
-1
运用最为广泛的评估指标,能够评价模型预测结果
-5-4和实际结果之间的差异,如式-3-2(6)所示。-1012345
AB(6)x
IIoUAB
式中:A和B为任意方框,IIoU为A与B的交并比。
然而IoU算法对于二维平面的距离不敏感,若
图9SiLU激活