文档介绍：该【改进YOLOv5的轻量级安全帽佩戴检测算法 】是由【彩凤w】上传分享，文档一共【9】页，该文档可以免费在线阅读，需要了解更多关于【改进YOLOv5的轻量级安全帽佩戴检测算法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。计算机工程与应用
ComputerEngineeringandApplications
ISSN1002-8331,CN11-2127/TP
《计算机工程与应用》网络首发论文
题目:改进YOLOv5的轻量级安全帽佩戴检测算法
作者:杨永波,李栋
网络首发日期:2022-01-19
引用格式:杨永波,[J/OL].计算机
://.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
网络首发时间:2022-01-1916:29:38
网络首发地址:.
1ComputerEngineeringandApplications
改进YOLOv5的轻量级安全帽佩戴检测算法
杨永波,李栋※
内蒙古工业大学信息工程学院内蒙古自治区感知技术与智能系统重点实验室,呼和浩特010051
摘要:针对现有的对安全帽佩戴检测算法的参数多、网络复杂、计算量大、不利于在嵌入式等设备进行部署,且对遮挡
目标辨别度差等问题,提出了一种改进的轻量级的安全帽检测算法YOLO-M3,先将YOLOv5s主干网络替换为Mo-
bileNetV3来进行特征提取,降低了网络的参数量和计算量;其次,使用DIoU-NMS替换NMS,提高对遮挡目标的辨识度,添
加CBAM注意力机制使模型更关注主要信息以提升检测精度,最后对模型进行知识蒸馏,增加模型检测的召回率和准确度。
通过实验验证了YOLO-M3算法提高了对遮挡目标的辨识度,在保证较高的检测平均精度时,将YOLOv5s模型的计算量降
低了42%,模型大小降低了40%,降低了硬件成本,满足在嵌入式端部署的需求。
关键词:轻量化;目标检测;改进YOLOv5;注意力机制;知识蒸馏
文献标志码:A中图分类号::.1002--0346
LightweighthelmetwearingdetectionalgorithmofImprovedYOLOv5
YANGYongbo,LIDong※
CollegeofInformationEngineering,InnerMongoliaUniversityofTechnology,InnerMongoliaAutonomousRe-
gionKeyLaboratoryofPerceptionTechnologyandIntelligentSystem,Hohhot010051,China
Abstract:Aimingattheproblemsoftheexistinghelmetwearingdetectionalgorithm,suchasmultipleparame-
ters,complexnetwork,largeamountofcalculation,whichisnotsuitablefordeploymentonembeddeddevices,
andpoordiscriminationofocclusiontargets,animprovedlightweighthelmetdetectionalgorithm,YOLo-M3,was
,theYOLOv5sbackbonenetworkwasreplacedbyMobileNetV3forfeatureextraction,which
,Diou-NMSwasusedtoreplace
-
,knowledgedistillation
-M3
algorithmcanimprovetheidentificationofocclusiontargets,andreducethecalculationamountofYOLOv5s
modelby42%andthemodelsizeby40%whileensuringahighaveragedetectionaccuracy,thusreducingthe
hardwarecostandmeetingtherequirementsofdeploymentinembeddedend.
Keywords:lightweight;objectdetection;improvedYOLOv5;attentionalmechanism;knowledgeofdistillation
随着社会信息化水平的不断提升,智能应用在不国内有少部分学者提出基于深度学****的安全帽检
同行业领域得到广泛应用。如人脸识别、交通灯识别测方法。施辉等[2]在YOLOv3中添加特征金字塔迚
等等。在建筑和矿产等行业,为保证工人生产安全,行多尺度的特征提取,获得不同尺度的特征图,以此
要求工人生产期间必须佩戴安全帽,安全帽的佩戴检实现安全帽的检测。肖体刚等[3]在yolov3算法的基础
查成了生产安全管理的一项重要的工作[1]。由于工地上,改进网络结构,增大输入图像的尺度,使用深度可分
上作业环境危险,不适合用人力在现场进行实时监控,离卷积结构替换Darknet-53传统卷积,使用多尺度特
安全帽的正确佩戴情况的实时监测,成为了智能化嵌征检测,增加浅层检测尺度,添加4倍上采样特征融合
入式设备应用开发研究的一个重要应用场景。结构,缩减模型参数,提高安全帽佩戴检测准确率。张
基金项目:内蒙古自治区高等学校科研项目(NJZY21304)。
作者简介:杨永波(1995-),男,硕士,学生,研究方向:信息处理与智能控制;李栋(1984-),男,博士,副教授硕导,
内蒙古工业大学电子信息工程系教师,CCF会员,CSIG会员,研究方向:信息处理与智能控制,E-mail:******@。
2ComputerEngineeringandApplications
锦等[4]在YOLOv5的基础上使用K-means++算法重新
设计先验框尺寸并将其匹配到相应的特征层;在特征
提取网络中引入多光谱通道注意力模块,使网络能够
自主学****每个通道的权重,增强特征间的信息传播,
从而加强网络对前景和背景的辨别能力,并在训练迭
代过程中随机输入不同尺寸的图像,以此增强模型的
泛化能力。(a)标准卷积
上述方法虽然对算法进行了优化改进,但其参数
量和计算量较大,不利于终端设备的部署,且对遮挡
目标辨别度差,针对现有技术的缺点、不足之处,本
文提出了一种轻量级的安全帽佩戴检测模型
YOLO-M3,将YOLOv5s主干网络替换为Mo-
bileNetV3来进行特征提取,由深度可分离卷积代替(b)深度卷积
原始卷积层提取特征,大幅度减少网络计算量;其次,使
用DIoU-NMS替换NMS,改善目标遮挡时的漏检问
题,为了在减少参数量和计算量的同时保持较高的检
测精度,添加CBAM注意力机制加强对检测目标的关
注,再对模型进行知识蒸馏,使轻量级的模型具有复
(c)点卷积
杂网络模型的学****能力,来增加模型检测的召回率和
图1标准卷积分解过程
准确度。通过实验验证了YOLO-M3模型的有效性,
提高了对遮挡目标的辨识度,降低了硬件成本,满足
假设𝐷×𝐷为卷积核的尺寸,M为输入通道数,
在低算力平台上部署的需求,。𝑘𝑘
N为输出通道数,𝐷𝐹×𝐷𝐹为输出特征图的尺寸,那么
(1)
1相关理论普通卷积的计算量如式所示
𝐷×𝐷×𝑀×𝑁×𝐷×𝐷(1)
𝑘𝑘𝐹𝐹
深度可分离卷积的计算量如式(2)所示
MobileNet系列网络作为轻量级网络的代表,被广
𝐷×𝐷×𝑀×𝐷×𝐷+𝑀×𝑁×𝐷×𝐷(2)
[5]𝑘𝑘𝐹𝐹𝐹𝐹
泛应用到嵌入式端和移动端,MobileNetv3作为如式(3)所示,通过深度可分离卷积,相当于将普通卷
MobileNet系列的最新版,它综合了以下四个特点:积的计算量压缩为
𝐷𝑘×𝐷𝑘×𝑀×𝐷𝐹×𝐷𝐹+𝑀×𝑁×𝐷𝐹×𝐷𝐹11
=+2(3)
𝐷𝑘×𝐷𝑘×𝑀×𝑁×𝐷𝐹×𝐷𝐹𝑁𝐷𝑘
引入深度可分离卷积,将普通卷积替换为深度卷通过深度可分离卷积,在保持较好的精度的同时,
计算量大幅度降低[7]。
积和点卷积,深度卷积针对每个输入通道采用不同
的卷积核,
差结构
等,使网络的计算量减到最低,再使用点卷积进行
[8]
channel之间的融合[6]。标准卷积分解为深度卷积与逐MobileNetV2的线性瓶颈的逆残差结构与原始
点卷积的过程如图1所示。的残差结构不同,原始的残差结构采用先降维,再升
维的方法,深度卷积因其参数少,提取的特征相对较
少,先进行压缩,提取的特征会更少,因此先扩张来
进行特征提取再压缩,此外,深度可分离卷积得到的
特征对应于低维空间,如果后续接线性映射则能够保
留大部分特征,而如果接非线性映射则会破坏特征,
使得模型效果变差。因此把每一个Block中最后的
ComputerEngineeringandApplications3
ReLU6层换成了线性映射Linear,来减少特征的损耗,上界、有下界、平滑和非单调的特点,并且在深层模
获得更好的检测效果。如图2所示型上的效果优于ReLU,但其sigmoid函数𝜎(𝑥)在移动
端非常消耗计算资源,为了能够在移动设备上应用
swish并降低它的计算资源的消耗,h-swish改用
sigmoid函数𝜎(𝑥)的近似函数ReLU6来逼近swish,使
用ReLU6在量化模式下能提高大约15%的效率,且
ReLU6函数在许多软硬件框架中都已实现,易于量化
部署,计算推理速度快。swish和h-swish函数的公式
图2反向残差模块结构分别如式(4)(5)所示
𝑠𝑤𝑖𝑡ℎ=𝑥∗𝜎(𝑥)(4)
h−swish=𝑥∗𝑅𝑒𝐿𝑈6(𝑥+3)/6(5)
引入轻量级注意力机制SENet[9]网络,注意力网YOLOv5s的结构由四部分组成,输入端、
络SENet是通过对每个通道进行全局平均池化,使其Backbone主干网络、Neck网络、Prediction输出端,
具有全局的感受野,进而使浅层网络也具有了全局信如图4所示。YOLOv5s在数据输入部分加入了自适应
息;再通过FC->Relu->FC->h-swish为每个通道生图像填充、自适应锚框计算、Mosaic数据增强来对数
成相应的权重,来提升重要的特征并抑制不重要的特据进行处理,增加了检测的辨识度和准确度;在
征,SENet注意力机制结构如图3所示。Backbone中主要采用Focus结构和CSP1_X结构,
Focus结构主要用来进行切片操作,在不损失任何信
息的情况下通过增加特征图的维度来缩小特征图的尺
寸,得到二倍下采样特征图,CSP1_X中加入残差结
图3SENet注意力机制结构构使得层和层之间进行反向传播时,梯度值得到增强,
,得到的特征
粒度更细。Neck中采用CSP2_X结构,降低计算量
其中输入X的大小为H×W×C,GAP表示全局平
的同时使网络对特征的融合能力得到加强,保留了更
均池化,FC表示全连接层,ReLU和h-swish为激活
丰富的特征信息。Neck层还设计了特征金字塔在网络
函数,scale将生成的各个通道的权重系数与对应通道
中从上向下的传递语义信息,和路径聚合结构来传递
所有元素相乘实现重要的特征增强,不重要的特征减
定位信息。Prediction中将边界锚框的损失函数
弱,从而让提取的特征指向性更强。
CIOU_Loss改为GIOU_Loss,采用加权nms运算对多
-swish代替swish函数
h-swish是基于swish[10]的改进,swish函数具有无个目标锚框进行筛选来提高对目标识别的准确度。
图4YOLOv5s结构图
4ComputerEngineeringandApplications
位,而且最终判别物体的几率也更高。CBAM注意力
2YOLO-M3改进算法机制结构如图5所示。
将YOLOv5s的Backbone主干网络替换为
mobilenetv3的主干网络,来进行特征提取,
Mobilenetv3是一种轻量神经网络,特点是参数少,速
度快,占用显存低,由深度可分离卷积代替原始卷积
图5CBAM注意力机制结构
层提取特征,在减少参数量的同时,提高了运算速度,
也大幅度降低了对算力的需求。YOLO-M3提取网络
结构如表1所示。具体方法:先通过通道注意力机制,在空间维度
表1YOLO-M3提取网络结构上分别进行最大值池化与平均值池化,得到两个只有
Table1YOLO-M3extractnetworkstructure通道维度的向量,然后将这两个向量分别通过一个共
FromparammoduleArgumentssigmoid
-1464Conv3BN[3,16,2]享全连接层,两特征相加后经过函数。得到
-1464Invertedresidual[16,16,16,3,1,0,0]通道注意力向量,通道注意力机制表达式如式(6)所示。
-13440Invertedresidual[16,24,64,3,2,0,0]
()()
-14440Invertedresidual[24,24,72,3,1,0,0]𝑴𝒄𝑭=𝜹(𝑴𝑳𝑷(𝑨𝒗𝒈𝑷𝒐𝒐𝒍𝑭)+
𝒄
-17540Invertedresidual[24,40,72,5,2,1,0]𝑴𝑳𝑷(𝑴𝒂𝒙𝑷𝒐𝒐𝒍(𝑭)))=𝜹(𝑾𝟏(𝑾𝟎(𝑭𝒂𝒗𝒈))+
𝒄
-114938Invertedresidual[40,40,120,5,1,1,0]𝑾𝟏(𝑾𝟎(𝑭𝒎𝒂𝒙)))(6)
-114928Invertedresidual[40,40,120,5,1,1,0]
-132080Invertedresidual[40,80,240,3,2,0,1]通道注意力机制如图6所示
-134760Invertedresidual[80,80,200,3,1,0,1]
-131992Invertedresidual[80,80,184,3,1,0,1]
-131992Invertedresidual[80,80,184,3,1,0,1]
-1127522Invertedresidual[80,112,480,3,1,1,1]
-1216034Invertedresidual[112,112,672,3,1,1,1]
-1259138Invertedresidual[112,160,672,5,1,1,1]
-1291394Invertedresidual[160,160,672,5,2,1,1]
-1450658Invertedresidual[160,160,960,5,1,1,1]
图6通道注意力机制
表1中From列的-1表示输入来自上一层输出,
Con3BN后Arguments列的值分别表示该模块的输入再通过空间注意力机制,在通道维度上进行最大
通道数、输出通道数和步长信息,Invertedresidual后值池化和平均值池化,然后将这两个结果基于通道做
Arguments列的值分别表示该模块的输入通道数、输连接操作。然后经过一个卷积操作,降维为1个通道。
出通道数、1×1卷积升维后的通道数、卷积核大小、再经过sigmoid生成空间注意力向量。空间注意力机
步长、是否加入SE注意力机制和是否使用h-swish激制表达式如式(7)所示。
𝟕×𝟕
活函数,经计算,提取网络替换后的模型共计5102109𝑴𝒔(𝑭)=𝜹(𝒇([𝑨𝒗𝒈𝑷𝒐𝒐𝒍(𝑭);𝑴𝒂𝒙𝑷𝒐𝒐𝒍(𝑭)]))
7×7𝑠𝑠
个parameters,,YOLOv5s模型共计=𝛿(𝑓([𝐹𝑎𝑣𝑔;𝐹𝑚𝑎𝑥))(7)
7056607个parameters,,由此得知,优空间注意力机制如图7所示
%,计算量减少了38%,
实现了对模型的初步压缩。
在网络模型中用CBAM[11]注意力机制替换SENet
模块来优化目标检测精度,加强对检测目标的关注,
图7空间注意力机制
从而降低由于环境复杂造成的检测精度下降的问题。
CBAM包含2个独立的子模块,通道注意力模块
和空间注意力模块,
[12]
Attention,给定一个特征图,CBAM模块会沿着两个使用DIoU-NMS替换NMS,改善目标拥挤时
独立的维度(通道和空间)依次推断注意力图,然后的漏检问题,增加检测的召回率和准确率。在使用
将注意力图与输入特征图相乘以进行自适应特征优化。NMS移除多余的检测框时,评判的标准是某个检测框
引入CBAM后,特征覆盖到了待识别物体的更多部与预测得分最高的检测框的交并比IoU,当IoU大
ComputerEngineeringandApplications5
于设定的阈值时,预测的检测框将被移除。但在目标的教师网络,得到logits,然后,将教师网络输出logits
密集的情况下,由于目标的相互遮挡检测框的重叠面进行温度为T的蒸馏,经过softmax层得到类别预测
积较大,经常会被NMS错误的移除,造成目标漏检。概率分布作为softtargets,同时,学生网络输出logits
考虑到工作场地人员的密集性,使用DIOU和NMS经过相同温度T进行蒸馏,经过softmax层之后得到
相结合的方法来改善漏检情况,DIoU-NMS不仅考虑类别预测概率,作为softpredictions,进一步得到损失
了交并比IoU的值,还考虑了预测边界框和真实边界函数𝐿𝑠𝑜𝑓𝑡,𝐿𝑠𝑜𝑓𝑡公式如式(10)所示,
𝑁𝑇𝑇
框两个Box中心点之间的距离,DIoU-NMS公式如式𝐿𝑠𝑜𝑓𝑡=−∑𝑗𝑝𝑗lb(𝑞𝑗)(10)
𝑇
(8)所示,𝑝𝑗教师网络在温度T下softmax输出预测第j类
𝑇
𝑆𝑖,𝐼𝑂𝑈−𝑅𝐷𝐼𝑂𝑈(𝑀,𝐵𝑖)<𝜀,概率,𝑞𝑗学生网络在温度T下softmax输出预测第j
𝑆𝑖={(8)
0,𝐼𝑂𝑈−𝑅𝐷𝐼𝑂𝑈(𝑀,𝐵𝑖)≥𝜀,类概率。
其中M表示预测分数最高的一个预测框,𝐵用来
𝑖教师网络也有一定的错误率,使用真实标签作为
判断预测框是否需要被移除,𝑆表示分类分数,𝜀表示
𝑖hardtargets,和学生网络原始softmax进一步得出损失
NMS的阈值,𝑅𝐷𝐼𝑂𝑈是两个Box中心点之间的距离,
函数𝐿ℎ𝑎𝑟𝑑,𝐿ℎ𝑎𝑟𝑑的公式如式(11)所示,
公式如式(9)所示。𝑁𝑇
𝐿ℎ𝑎𝑟𝑑=−∑𝑗𝑐𝑗lb(𝑞𝑗)(11)
𝜌2(𝑏,𝑏𝑔𝑡)
𝑅=(9)
𝐷𝐼𝑂𝑈𝑐2𝑐𝑗为第j类真实标签值。
𝜌2(⋅)b𝑏𝑔𝑡
其中是欧式距离,和是预测边界框和真损失函数𝐿ℎ𝑎𝑟𝑑和𝐿𝑠𝑜𝑓𝑡加权相加作为最终的损失
实边界框的中心点,c表示两个Box的最小包围框的函数L。使得学生模型学****教师模型的同时,也在和
最短对角线长度。真实标签进行比对学****可有效阻止教师网络中的错
DIoU-NMS的与NMS的最大不同之处在于当两误信息被蒸馏到学生网络中。本文采用YOLOv5m模
个中心点较远的box,DIoU-NMS认为可能位于不同型作为教师模型,以经过以上步骤改进的YOLOv5s
的对象上,不应将其删除,从而改善漏检情况。作为学生模型进行蒸馏,提高学生模型的性能。
知识蒸馏(knowledgedistillation)是模型压缩的3实验结果及对比分析
一种常用的方法[13],不同于模型压缩中的剪枝和量化,
知识蒸馏的主要思想是训练一个小的网络模型来模仿本实验是在Windows10操作系统,NVIDIARTX
一个预先训练好的大型网络。这种训练模式又被称为A5000显卡下,通过Pytorch深度学****框架实现的模
“teacher-student”,大型的网络是“教师网络”,小型的型的搭建、训练和验证,,
网络是“学生网络”。知识蒸馏期望让学生网络在拥有同时将cudnn添加到环境中加速计算机的计算能力。
更少参数量,更小规模的情况下,达到与教师网络相所用的数据集是SafetyHelmetWearing[14],并对其中
似甚至超越教师网络的精度。因此,我们对模型进行不符合本实验的图片进行剔除,同时又从互联网上筛
蒸馏,解决了速度较慢,占用显存高的问题,并且增选一些具有复杂的施工环境和目标密集的图片来做补
加了模型的准确度。蒸馏过程如图8所示。充,进而提高检验难度,来满足在移动端或嵌入式端
的实际应用,用PASCALVOC对数据进行标记。实验
数据集包含7851张图片,以8:2的比例划分数据集和
验证集,并将格式从XML转换为txt格式,图片分辨
率大小为640×640,训练批次设置为16,初始学****br/>,,,所
有参照模型均按照此参数训练300个epoch。
为了证明网络的各项改进点对模型的性能提升都
图8蒸馏过程有贡献,本文进行了对比实验,对比实验采用召回率
(recall)、平均精度(mAP)、参数量、计算量、模型
大小对各个模型性能进行对比。召回率(recall)和平均
首先利用数据训练一个层数更深,提取能力更强
精度(mAP)的计算公式如式(12)、式(13)所示。
6ComputerEngineeringandApplications
𝑇𝑃
recall=(12)(a)YOLO-M3平均精度图
𝑇𝑃+𝐹𝑁
1
mAP=∑𝐴𝑃(𝑞)(13)
𝑄𝑞∈𝑄
TP是指人佩戴了安全帽同时检测正确的数量,FN
是指人佩戴了安全帽但是检测错误的数量,AP是平均
准确度,是指在在所有召回率的可能取值情况下,得
到的所有准确度的平均值,平均精度(mAP)是指AP
值在所有类别下取的平均。平均准确度AP的计算公
式如式(14)所示。
𝑇𝑃+𝑇𝑁
AP=(14)
𝑇𝑃+𝑇𝑁+𝐹𝑃
TN是指人未佩戴安全帽同时检测正确的数量,(b)YOLO-M3召回率图
FP是指人未佩戴安全帽但检测错误的数量。具体实验
结果如表2所示。
表2改进过程的对比实验结果
Table2Thecomparativeexperimentalresultsoftheim-
provementprocess
召回平均参数计算模型
模型率精度量量大小
YOLOv5+
YOLOv5+
+CBAM+DIoU-NMS
YOLO-M3(仅𝐿𝑠𝑜𝑓𝑡)
YOLO-
(c)YOLOv5s平均精度图
由表2可以看出,,
,特征提取网络换深度可分离卷积后
,,添加
CBAM注意力机制和DIoU-NMS替换NMS进行优
,,模型大小为
YOLOv5s的60%,计算量为YOLOv5s的58%,mAP
仅下降了1个百分点,仅通过跟教师模型学****mAP
,但再加上和真实标签
比对学****后获得的最终模型YOLO-M3的mAP仅比
,召回率和YOLOv5s
相等,由此可知,通过改进,在大幅度减少计算量、(d)YOLOv5s召回率图
参数量和模型大小的情况下也保证了较高的mAP。图9YOLO-M3和YOLOv5s的训练结果
YOLO--M3andYOLOv5s
9
果的平均精度和召回率的曲线图如图所示。另外,为了更直观地感受改进的算法和
YOLOv5s的检测区别,选取了密集目标和光线不好的
情况图像来进行检测对比,结果如图10和图11所示。
(a)密集目标(b)光线不好
图10YOLO-M3检测结果