基于热成像技术的电气设备目标检测方法.pdf

文档介绍：该【基于热成像技术的电气设备目标检测方法 】是由【彩凤w】上传分享，文档一共【7】页，该文档可以免费在线阅读，需要了解更多关于【基于热成像技术的电气设备目标检测方法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。第51卷 第4期 ,
2021年4月 LASER & INFRAREDApril,2021
文章编号:1001-5078(2021)04-0530-07·图像与信号处理·
基于热成像技术的电气设备目标检测方法
霍成军1,史奕龙1,武晓磊1,李俊午1,陆 鑫2,陈 婧2
(,山西太原030001;,福建福州350003)
摘 要:红外热像仪具有高精度、非接触等特点,在电力系统设备检测中得到了广泛的应用。
检测热图像中的设备是自动检测和诊断的基础。为此,本文提出了一种基于深度学****的设备
元件实时检测方法,采用一个深度卷积神经网络来预测每个设备部件的坐标、方位角和类别类
型。为了提高预测结果的准确性,在模型中加入了零件间方向一致性的先验知识。为了进行
评价,构造了一个包含各种场景的大图像集,实验结果表明,该方法对噪声具有很强的鲁棒性,
,%。
关键词:电气设备检测,深度学****自动诊断,热像图
中图分类号:TP183;TM86 文献标识码:A DOI:.1001-
Targetdetectionmethodofelectricalequipmentbased
onthermalimagingtechnology
HUOCheng-jun1,SHIYi-long1,WUXiao-lei1,LIJun-wu1,LUXin2,CHENJing2
(,Taiyuan030001,China;-GreatPower,Fuzhou350003,China)
Abstract:Infraredthermalimagerhasthecharacteristicsofhighprecisionandnon-contact,whichhasbeenwidely

,areal-timedetectionmethodbasedondeeplearningisproposedinthispa-
,azimuthandcategorytypesofeachequip-
,aprioriknowledgeofdirectionconsistencybe-
,
,theaverage
%.
Keywords:electricalequipmentdetection;deeplearning;automaticdiagnosis;thermalimage
1 引 言图像显示了温度分布,从而可以对设备状态进行诊
设备检测是保证电力系统安全运行的重要环断。传统的诊断主要由经验丰富的电工来完成。随
节。通过对电气设备的监测,可以及时发现设备的着传感数据的急剧增加,使得诊断的自动化程度越
老化、故障,防止意外停电、火灾和其他潜在风险。来越高。
因此,热成像相机被广泛使用,它提供了一种非接触自动诊断首先要通过分割设备区域或使用边界
的方式来感知设备表面发出的红外能量,从而可以框定位设备来检测热像图中的电气设备[1-3]。考虑
在不关闭任何系统的情况下进行检测,采集到的热到电气设备的不同部分可能显示出不同的温度模
作者简介:霍成军(1979-),男,硕士,高级工程师,主要研究方向为电网线损管理。E-mail:******@
收稿日期:2020-05-27;修订日期:2020-07-26
万方数据
激光与红外 2021 霍成军等 基于热成像技术的电气设备目标检测方法531
式,本文旨在检测每个设备的各个部分,而不是作为研究[8-10]。文献[1]通过提取、匹配和聚类稀疏特
一个整体来检测。与彩***像中的一般目标检测相征点来检测故障区域。文献[8]提出了一种局部定
比,本研究具有以下特点:①由于背景干扰或相机设义聚类复杂度度量方法来提取故障区域。文献[9]
置不当,热图像可能呈现过于集中的温度分布,导致将Otsu方法应用于阈值设备区域。文献[10]利用
对比度低。②大多数图像都是由手持摄像机拍摄二元形状先验和特征池检测绝缘体。这些方法大多
的,在手持摄像机中,设备并没有很好地垂直对齐。使用对方差和噪声敏感的特征,并仅在简单图像的
因此,图像中的设备可能略微倾斜,甚至严重倾斜。上进行验证。本文所提方法在大量的图像中得到了
③不同的设备可能包含不同数量的零件,但设备的验证,并证明了它具有很高的鲁棒性。
零件应具有与刚体特性相同的方向角。此外, 目标检测
的背景和外观、形状、尺度的变化,使根据本研究具
目标检测是计算机视觉中的一个关键问题。目
有很高的挑战性。[11]
前,最先进的检测方法都是基于深度学****的,如
本文提出了一种基于YOLO[4-5]的深卷积神
YOLO[5]、R-CNN[12]和SSD[13]。这些方法在垂直
经网络(convolutionalneuralnetwork,CNN)来预测
目标检测上效果良好,但是,方向的改变可能会导致
各设备部件的坐标、方位角和类别类型。本文所
外观的大幅度变化,并遭受严重的背景干扰,从而导
提方法是第一个应用面向对象的深度学****技术的
致对定向目标的检测失败[14]。图1给出了传统目
电气设备检测方法,可以提供每个设备部件的位
标检测与面向包围盒预测的检测方法示意图。图1
置、方向和类别类型,从而方便后续的状态诊断。
(a)给出了传统目标检测方法预测垂直边界框的示
将方向一致性先验知识集成到模型中的方法,通
例,可见使用垂直包围盒定位设备可能会导致多余
过这种方法可以提高检测结果,特别是对于小尺
的背景噪声和不必要的重叠。图1(b)给出了面向
寸设备部件。此外,构建了一个包含四种主要电
包围盒预测的元件检测方法示例,不同颜色的框表
气设备的大型热像集,这使得训练基于深度学****br/>的模型成为可能。实验结果表明,该方法对噪声示它们处于不同组。
具有很强的鲁棒性,,平均
%。
2 相关研究
自动诊断技术
多年来,自动诊断的各种技术都得到了发展。
一般来说,包含三个阶段的通用框架:设备检测、特
征提取和状态分类。例如,文献[6]应用Watershed
变换对避雷器进行分段,采用模糊神经网络将故障、图1 传统目标检测与面向包围盒预测的检测方法示意图
正常、轻度和可疑情况进行分类。文献[7]使用K-
means聚类算法对电气设备进行分割,提取统计特boxpredictionorienteddetectionmethods
征,并使用支持向量机进行分类。这些研究仅在包如今,手持摄像机采集越来越多的图像,这些图
含数百个简单图像或更少图像的小数据集中得到验像中的对象通常没有很好地对齐。因此,近年来面
证,它们与实际应用之间还有很大的差距。近年来,向目标检测逐渐被关注,文献[15]提出了不同的面
深度学****方法被应用于故障诊断,这些技术能够对向目标检测方法。与彩***像中倾斜文本的检测相
故障进行端到端的检测,随着传感数据的增加,它们比,我们的设备部件检测是在强度对比度较低的红
将逐渐成为主要的研究方向。外热像中进行的,这使得预测更加困难。而且,几乎
电气设备检测所有的面向目标检测方法都是将目标作为一个整体
诊断的成功在很大程度上取决于设备的正确检来处理的,而一个电气设备可分成几个部分。如何
测。因此,为了解决设备检测问题,人们进行了多种挖掘部件之间的结构信息至关重要。
万方数据
532激光与红外 第51卷
3 所提方法个S×S×(B(5+1+K))维量。当预测每个单元中
当给定一幅图像时,可以通过预测一组有向的B边界框时,不是直接预测坐标,而是预测与锚
包围盒来检测设备部件,每个包围盒都由其中心盒相关的五个参数(tx,ty,tw,th,tθ),如图3所示,锚
坐标、宽度、高度和方向角参数化。为此,本文提盒用虚线表示,预测边界框用实线表示。假设单元
出了一个基于回归的检测框架,该框架基于深卷格与图像左上角的偏移量为(cx,cy),目标框的宽度
积神经网络,如图2所示。图中,深卷积神经网络为wa,高度为ha。然后,根据预测参数计算出该单
以热像为输入,输出有向包围盒和相关类概率,然元格中的预测边界框(x,y,w,h,θ),如式(1)所示:
后进行非最大抑制(Non-MaximumSuppression,x=σ(tx)+cx
\
NMS)得到最终的检测结果。与这些现有的预测y=σ(ty)+cy
\
垂直边界框的方法不同,所提方法还预测了方向
%w=waexp(tw)(1)
\
角,并考虑了零件之间的方向约束。在常规检查h=hexp(t)
\ah
过程中收集到的热图像,首先被送入卷积层和最L
θ=tθ
大池层的堆栈中进行特征提取。然后,通过组织
其中,σ()是一个tx或ty的逻辑函数,取值为[0,
层将在不同层上获得的特征连接起来,并将其转
1]。使用K-means算法对B个锚盒进行聚类,即
发到另外两个卷积层。最后一层的输出生成有方
从训练样本中获得B个不同大小的锚盒。通过这
向的边界框和相关的类概率。最后,采用非最大
种方法,可以将设备部件的尺寸先验值融入到所
抑制过程来定位概率最高的部分。
提模型中,使网络训练稳定,并获得更好的定位
效果。
图2 所提框架的示意图

网络体系结构
所提网络结构由六层的特征提取栈组成。如图图3 与锚盒相关的边界框
2所示,
和一个最大池层; 损失函数
积层,后跟一个最大池层;第五个堆栈包含五个卷积在训练网络时,给出了一组热像图作为训练样
层,后跟一个最大池层;第六个堆栈包含七个卷积本。图像中的每一个设备部分都用一个有方向的边
层。图2中每个卷积层都有k×k核和c通道,用k界框和一个类标签作为进行注释。该网络被训练来
×k×c表示。由第四层和第六层堆栈提取的特征预测定位和分类结果,是一个多任务学****问题。因
通过重组层连接起来,并转发到另外两个卷积层中此,我们提出了一个多任务损失函数L,如式(2)所
进行参数预测。每层的大小如图2所示。该网络以示,其中包括定位损失Lloc、分类损失Lcl以及将部件
固定尺寸的416×416×3热图像作为输入。图像被之间的方向角约束为一致的损失Lort。
划分为S×S网格,每个网格单元预测B个边界框。L=Lloc+Lcls+Lort(2)
一个框有五个描述坐标的参数, 定位损失
的置信度分数,以及K类概率值。因此,输出是一采用t=(tx,ty,tw,th,tθ)表示预测边界框的位
万方数据
激光与红外 2021 霍成军等 基于热成像技术的电气设备目标检测方法533
obj
置,可以预测多个边界框。使用指示值Iij来表示第接着,将所有部分分成不同的组。假设一个图
i个单元格中的第j个预测边界框负责一个部分,使像包含G组设备元件,并且每个组可以包含不同数
noobj
用Iij来表示不负责。在本地学****中,只有那些负量的元件。定向一致性损失公式如下:
责任的盒子才是重要的。同时,还提供了一个置信GS2B
L=IobjIΩg(t-t)2(6)
loc∑∑∑ijijθijθΩg
分数sij来衡量盒子预测因子的可信度。如果盒子g=1i=1j=1
Ωg
是有责任的,分数应该很高,否则就不可信。为此,其中,Iij表示单元格i中的第j个预测边界框是否
对中的一个部分负责;t表示组中所有部分的
定位损失为:ΩgθΩg
S2BS2B平均方向角。
obj^2noobj
Lloc=∑∑Iij(sij-sij)+λnoobj∑∑Iij
i=1j=1i=1j= 训练与测试
S2B使用损失函数以一种端到端的方式训练网
^2obj2
(sij-sij)+∑∑Iij(tij-^tij)2(3)
i=1j=1络。训练图像及其注释被输入到网络中。采用随
obj
其中,带上标“^”的值表示基本事实。如果Iij=1,机梯度下降法(StochasticGradientDescent,SGD)优
2
则地面事实可信度为1,否则为0。此外,S是网格化损失,批量大小为16,,重量衰减为
单元的总数,B是每个单元中预测的框的数目,。采用了文献[16]的策略来调整学****率,
2
·2是L2范数,λnoobj是一个用于减少“不负责”的对于前35000次迭代,,之后降
保险损失参数。。
分类损失测试时,一个单独的图像被输入到训练的网
在我们的任务中,我们有K种电气设备部件。络中。最后一层产生输出预测位置、可信度和类
所构造的网络为每个边界框预测一个K维向量p。概率。将类别概率与置信度相乘,以表示盒子的
p的每个条目表示属于某个类的预测边界框的概置信度。NMS选择置信度最高的盒子作为最终
率。分类损失也只考虑那些“负责任”的边界框。结果。
因此,定义如下:4 算例分析
数据集
obj2
Lcls=∑∑Iijpij-p^ij2(4)
i=1j=1目前,还没有公开的热像数据集用于电气设
式中,p^为表示分类基础事实的K维二元向量。备的检测和诊断。为了对该方法进行评价,本文
定向一致性损失构造了一个数据集。某变电站,当电工进行例行
当检测一台设备的不同元件(例如电流互感器检查时,图像由手持热相机拍摄,如FLIRT640、
或电压互感器)时,这些元件应有相同的定向角。FLIRT660和FLIRP660。该数据集中于四种主要
可以采用该先验来改进包围盒的预测。因此,提出类型的变压器设备,包括电流互感器(currenttrans-
了一致性损失来约束元件之间的定向角。在施加此former,CT)、电压互感器(potentialtransformer,
约束之前,首先需要确定哪些元件位于同一设备上。PT)、避雷器(surgearrester,SA)和断路器(circuit
因此,首先将带注释的边界框划分为不同的组,每个breaker,CB)。为了训练网络和评估测试结果,手
组表示一个设备实例,如图2(b)所示。这可以根据动标注了7955幅图像。图像中的每个设备元件
以下条件检查元件的定向角来完成。当给定两个带都用一个定向边界框和一个类标签进行注释。根
注释的边界框a和b时,如果满足式(5),它们属于据这些设备的组成,将所有部件分为六类:套管、
同一组。波纹管、均压环、套管连接器、凸缘和灭弧室。例
|t-t|<与|t-t|<(5)
θaθbδ1θθ槇δ2如,电流互感器由波纹管和套管连接器组成,但是
其中,δ1和δ2是手动设置的阈值;tθa和tθb分别表示电压互感器可能由不同数量的套管连接器、凸缘、
a和b的角度;t表示a和b的平均方向角;t表示均压环和套管组成。表1列出了图像中存在的元
θθ槇
连接a和b中心线的方向。件和设备的数量。所有元件的方位角分布如图4
万方数据
534激光与红外 第51卷
所示,以正x轴为基准0°角,方位分布在65°到垂直目标检测的最新方法进行比较,这些方法包括
115°之间,且多数为直立。YOLO9000[5]、R-CNN[12]和SSD[13]。结果根据平均
精度(AveragePrecision,AP)进行评估,平均精度是
表1 数据集中不同部件、设备和图像的数量
衡量类的精度召回曲线下面积的一个标准。在计算
,equipments,
精确率和召回率时,如果与地面事实的交集(inter-
andimagesinthedataset
sectionoverunion,IoU)大于阈值,将预测的边界框
设备电流电压
避雷器断路器数量判断为真实。与大多数目标检测工作一样,阈值通
部分 互感器互感器
。表2给出了每个类的AP以及所有
绝缘套管462132842993320514103
类的平均精度(meanAveragePrecision,mAP)。结
波纹管46210004664
果表明,本文提出的方法获得了最高mAP,优于其
均压环0956299303949
他所有的垂直目标检测方法。这种改进主要得益于
套管连接器066800668
模型中对旋转的考虑,从而使模型对旋转引起的外
凸缘03476365707151
观变化更具鲁棒性,对背景噪声的影响更小。
灭弧室00036723672
表2给出了以每秒帧数(framespersecond,
设备量462132842993320514104
FPS)表示的时间比较。由于在计算IoU时,定向包
图数22092324226411587955
围盒的非最大抑制与直立包围盒的非最大抑制略有
不同,因此在估计FPS时,也考虑了非最大抑制的
时间,以便进行比较。所提模型可以达到20f/s,比
R-CNN快。由于定向包围盒非最大抑制的复杂性,
所提模型比YOLO9000和SSD慢。
表2 实验结果与其他方法的对比

方法FRCNNSSDYOLO9000
图4 数据集中所有设备部件的方向分布所提方法
部分 [12][13][5]


在数据集中,随机选择60%

练,其余的图像进行测试。图像的原始分辨率为

480×640或640×480。两者都被缩放到480×

480输入。同时,通过以下方法来增加训练数据:

将每个训练图像随机裁剪成416×416的小块,并
MAP/%
,此外在色调、饱和度和曝
FPS11465920
光度上应用一些偏移。在所有的实验中,采用了
文献[5]中的默认参数设置,即S=13,λnoobj= 烧蚀实验
,设置K=6来表示六个设备部件类别。采用为了研究所提方法中方向一致性损失的有效
K-means算法对B=5个锚盒进行聚类,得到42×性,对所提出的不存在方向一致性损失的模型进行
195、92×66、81×120、38×299和38×36的锚盒。了训练和测试,称为“所提w/o”。并对结果进行了
模型需要10个小时左右的时间来训练。为了测mAP评价。为了更好地评估定位性能,报告了IoU
试,它每秒钟可以训练20帧。。表3列出了完
实验结果整模型和无方向损失约束模型在不同阈值下的结
与其他方法相比果。
首先采用所提完整模型进行实验,并将其与为的AP。根据这些结果,可以观察到:
万方数据
激光与红外 2021 霍成军等 基于热成像技术的电气设备目标检测方法535
1),平均精度
逐渐下降。因为IoU越高,定位结果就越精确。当
将所提完整模型与无方向损失约束的模型进行比较
时,发现完整模型更优。,mAP增加
%,随着IoU的增加,%。这说
明元件之间的方向约束可以提供更好的定位性能。
2)通过比较各元件的AP,可以看出,对于波纹
管、套管连接器、均压环等高宽比较小的设备部件,
AP有较大的改善,原因是这些元件的方向预测比其
他类型的元件对噪声更敏感。利用所提方向一致性
损失,可以得到了更稳健的预测结果。
表3 相对于mAP(%)的烧蚀实验结果

regardingtomAP%
方法
所提w/o所提方法
IoU阈值







表4 消融实验结果与AP和mAP比较

regardingtoAPandmAP%
方法@(IoU)所提w/o所提w/o所提
所提***@
部分 ***@0.******@0.******@


所提完整模型得到的测试结果


5 结 论

设备检测是实现自动检测和诊断的基础。基于

深度学****技术,本文提出了一种检测热图像中细粒
mAP/%
度设备的方法。所提方法能够通过预测包围盒来检
图5给出了使用所提完整模型在测试集上检测测设备部件,无论它们是直立的还是倾斜的。该方
到的典型结果。结果表明,该方法能够精确地检测法已经在构建的大型数据集中得到了验证。实验表
出元件,对尺寸、温度和方向角的变化具有鲁棒性。明,所提方法能够较好地检测电气设备,元件之间的
即使在背景杂乱的情况下,也能获得较好的检测方向约束可以提供更好的定位性能,方法具有鲁棒
结果。性。后续将进行基于检测结果的故障诊断研究。
万方数据
536激光与红外 第51卷
[9] ZhaoFuqun,ZhouMingquan,
参考文献:
thresholdsegmentationandquantitativerecognitionbased
[1] MSJadin,KHGhazali,-Otsumethod[J].JournalofJilinUniversity:Engi-
thermalimageofelectricalinstallations[C]//,2017,47(3):959-964.
.,.,2014:496-501.(inChinese)
[2] ZhaoXingke,LiMinglei,ZhangGong,-赵夫群,周明全,-Otsu法的图像阈值
tionmethodofUAVthermalinfraredimagebasedonsali-分割及定量识别[J].吉林大学学报:工学版,2017,47
encymapfusion[J].ActaAutomaticaSinica,2020,(1):(3):959-964.
1-15.(inChinese)[10]ZZhao,GXu,-
赵兴科,李明磊,张弓,
载热红外图像目标检测方法[J].自动化学报,2020,[J]..,2016,23(5):
(1):1--2866.
[3] LiuXinjun,LinHu,ZhengLiaomo,[11]
deeplearningtechnologyinautomaticinspectionofwork-basedondeeplearning[D].Chengdu:UniversityofElec-
piece[J].JournalofChineseComputerSystems,2020,41tronicScienceandTechnology,2018.(inChinese)
(4):710-714.(inChinese)
刘信君,林浒,郑飉默,[D].成都:电子科技大学,2018.
检测中的应用[J].小型微型计算机系统,2020,41[12]XueYang,WuHaidong,ZhangNing,
(4):710--
[4] FangQingyun,-CNN[J].Laser&OptoelectronicsPro-
detectionmethodbasedonimprovedyolov3network[J].gress,2019,(1):1-11.(inChinese)
AerospaceShanghai,2019,(5):21-27,34.(inChi-薛阳,吴海东,张宁,-CNN输电
nese)线穿刺线夹及其螺栓的检测[J].激光与光电子学进
方青云,,2019,(1):1-11.
速检测方法[J].上海航天,2019,(5):21-27,34.[13]ZhouFan,PiaoYan,-
[5] JRedmon,:Better,faster,strongergorithmbasedondensemodulesandfeaturefusion[J].
[C]//.,2017:ComputerEngineeringandApplications,2019,(1):1-
13.(inChi