文档介绍：该【基于改进Faster-RCNN 的烟标缺陷检测 】是由【1781111****】上传分享，文档一共【5】页，该文档可以免费在线阅读，需要了解更多关于【基于改进Faster-RCNN 的烟标缺陷检测 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..-RCNN的烟标缺陷检测李殷昊,李莹,王凯彬,何自芬(昆明理工大学机电工程学院,云南昆明650550)摘要:针对品检机上的烟标缺陷检测算法进行改进,根据烟标缺陷检测固有特性,融合目标检测算法,提高烟标缺陷检测精度,实现传统烟标缺陷检测算法不能实现的实时缺陷分类。用改进后的Faster-RCNN代替传统的模版匹配,对CCD线阵相机采集到的4K烟标图像进行烟标缺陷检测,通过加入特征图金字塔网络FPN,%。在FPN中使用内卷卷积,对比不同大小内卷卷积核的烟标缺陷检测精度发现,使用5×5的内卷卷积核的烟标缺陷检测精度提升最大,达1%,且使用内卷卷积模型的单张烟标检测时间未增加。最后通过迁移学****使烟标缺陷检测精度进一步提升,%。结果表明,所提算法能够实现烟标缺陷检测定位和分类,且具有较高准确率。关键词:D线阵相机;烟标缺陷检测;内卷卷积DOI:(资源服务)标识码(OSID):中图分类号::A文章编号:1672-7800(2023)003-0179-05CigaretteCaseDefectDetectionBasedonImprovedFaster-RCNNLIYin-hao,LIYing,WANGKai-bin,HEZi-fen(FacultyMechanicalandElectricalEngineering,KunmingUniversityofScienceandTechnology,Kunming650500,China)Abstract:Thecigarettecasedefectdetectionalgorithmonthequalityinspectionmachineisimproved,andtheobjectiondetectionalgorithmuracyofthesmokecasedefectde?-RCNNisusedinsteadofthetraditionaltemplatematching,,%.ByusinginvolutionintheFPN,uracyofcigarettecasedefectsofdifferentsizesofinvolutionkernels,uracyofcigarettecasedefectsusing5×5involutionalkernelsisgreatlyimproved,increasingby1%,,uracyofcigarettecasedefectdetectionisfurtherimprovedthroughtransferlearning,%.Theresultsshowthattheproposedalgorithmcanrealizetheposition?ingandclassificationofcigarettecasedefectdetection,:Dlinescancamera;cigarettecasedefectdetection;innervolumeconvolution得烟标质量缺陷检测方式得以不断发展和完善。0引言国内现有卷烟小盒商标纸通过各种工序生产而成,如凹印、喷二维码、烫全息、压凹、大页、模切、撕盒。在各种烟草作为快速消费品,面对的烟民众多,消费市场广工序中,由于凹印、喷二维码、烫全息都是高速的,且压凹、阔。由此,越来越多的烟草企业开始对烟标质量提出了更模切、撕盒中需要自动化与人工合作完成。因此,不可避高要求,以更好地维护自身利益和品牌形象。而相关印刷免会出现烟标印刷缺陷,针对烟标印刷缺陷检测,需采集企业为了获得更多烟厂订单,也提高了烟标印刷质量要设备、机器视觉、图像处理、缺陷检测等多领域合作。求,在其印刷品检测效率与准确性上也更加严格,从而使国内很多学者针对印刷品缺陷检测进行研究。王俊收稿日期:2022-04-02基金项目:国家自然科学基金项目(61761024)作者简介:李殷昊(1997-),男,昆明理工大学机电工程学院硕士研究生,研究方向为烟标缺陷检测;李莹(1977-),女,博士,昆明理工大学机电工程学院副教授、硕士生导师,研究方向为印刷图像处理、机器视觉、智能制造;王凯彬(1993-),男,昆明理工大学机电工程学院硕士研究生,研究方向为烟标缺陷检测;何自芬(1976-),女,博士,昆明理工大学机电工程学院副教授、硕士生导师,研究方向为印刷图像处理、机器视觉、目标检测。本文通讯作者:李莹。Copyright?.:..·180·软件导刊2023年艳[1]根据印刷企业实际需要,对套印不准缺陷进行检测,该符合实际生产中出现该缺陷的概率。由于点缺陷和面在套印不准时,通过印刷机自动调整印版位置偏差实现自缺陷出现次数最多,破损次之,但模型,训练需要一定数据动套准。王增琴等[2]针对印刷图像采集系统,对光源和印量,故综合考量各缺陷图像数量比值为2∶2∶1∶1∶1。刷图像表面干燥度进行调整,实现印刷图像的高效精准采数据集制作过程为:首先对6种缺陷烟标图像进行标集。张金凤[3]针对待检测印刷品图像进行预处理,对图像注,使用Labelme标准软件对1599张烟标缺陷图像进行手配准方法进行改进,实现标准样张与待检测印刷品图像的工标注,得到包含烟标缺陷图像缺陷位置和种类的json文快速配准和缺陷检测。汪以歆等[4]使用动态阈值检测算件;然后将其格式转换为xml文件;最后进行烟标缺陷数据法实现标准样张与待检测烟标的灰度图比对。高玉栋[5]集训练集和测试集划分,随机分配烟标缺陷图像1120张使用DCGAN网络实现印刷品缺陷图像的自动生成,使用到训练集、479张到测试集。烟标6种缺陷如图1所示。堆叠卷积网络对自动生成的印刷缺陷图像实现自动检测。江领[6]从印刷缺陷检测的硬件设备出发,使用FPGA,结合印刷品阈值分割方法实现印刷品网点图像的自动分割。钱隽[7]对卷烟小盒商标纸的特征进行学(a) Spotdefects(b) Linedefects****然后输入待检测烟标图像,利用无监督模式实现对烟(a) 点缺陷(b) 线缺陷标好坏的划分,但此方法不能检测烟标图像存在的具体是哪种缺陷,不能实现对烟标印刷工序的反馈。针对印刷缺陷在线检测,华夏视科设计了完善的印刷(c) Planedefects(d) Scratchdefects检测系统,能够实现胶印机上的在线缺陷检测。而大恒图(c) 面缺陷(d) 刮花缺陷像的滚筒式大张喷码机能够实现印刷设备、喷码系统、缺陷检测的融合,能够实现小张样品的高速检测。为了提高检测精度并降低人工成本,本文提出一种基于机器视觉与目标检测的烟标小盒商标纸缺陷检测算法。(e) Smallareabreakagedefects(f) Bigareabreakagedefects(e) 小面积破损缺陷(f) Cigarettecasedefects图1 烟标缺陷通过品检机[8]收集烟标缺陷图像,主要对笔者实****半年过程中正在生产的苏烟彩中、炫赫门、黄果树、天下秀42模型确定与超参数设置种烟标进行收集并制作为数据集。在品检机上收集了16000张黑白和彩色的烟标图像, 模型确定1599张。针对印刷中需要检测的6种缺陷进行检测,包括本文实验软件环境为Windows10;硬件环境为Intel点缺陷、线缺陷、面缺陷、刮花、小面积破损、大面积破损这COREi7-9700K处理器,16G内存,NVIDIARTX2060S8G6种缺陷,因为这6种缺陷是烟标中最为常见的缺陷。出独立显卡;,。使用Py?现小面积破损和大面积破损是由于品检机上的递纸机构torch深度学****框架对模型进行训练和测试。有缺陷,在检测速度过快时,撕裂了烟标,而刮花是因为在本文选取Yolov3[9]、SSD[10]、[11]、Faster-凹印、胶印、丝印、模切等过程中,N4种模型。为验证4种模型对烟标缺陷检测的准[12]导致烟标某一部分存在缺少印刷的情况。面缺陷出现的确性和速度,在自建烟标缺陷数据集上进行训练,通过烟原因主要是甩墨,甩墨多出现在烟标的两侧,有时会出现标缺陷测试集测试精度,每秒检测烟标数n确定检测速在烟标中间部分,导致甩墨的原因多种多样,如油墨的流度,通过对比得到最适合该烟标缺陷数据集的基础模型。动性不足导致转移油墨至烟标上时出现甩墨,油墨中出现parisontheresults气泡或者丝印时刮墨刀的压力过大。1599张烟标缺陷图像中,有点缺陷396张、线缺陷200表1 对比结果模型mAP/%检测速度/n张、面缺陷396张、刮花197张、小面积破损205张、。相较于点缺陷而言,。点缺陷是小目标检测,难度较高,-,因为破损位置非常固定,小面积破损位置也较固定,但相较于大面积破损而言检测难度略高。点缺陷、线对比4种模型检测结果可以看出,SSD模型对烟标缺缺陷、面缺陷这3种缺陷在烟标图像中出现的位置是随陷检测速度最快,Faster-RCNN对烟标缺陷精度最高。Yo?lov3和SSD对烟标缺陷检测速度差不多,但检测精度过低,机的。一个好的烟标数据集中,每种类型的缺陷数量比值应不适用于品检机上烟标缺陷检测。和Faster-Copyright?.:..第3期李殷昊,李莹,王凯彬,等:基于改进Faster-RCNN的烟标缺陷检测·181·RCNN检测结果进行比较,Faster-%,相较于Faster-RCNN的检测表3 对比结果mAP/%速度较快,但是由于烟标缺陷检测对精度要求较高,因而烟标缺陷图像大小检测速度/-RCNN作为最终烟标缺陷检测模型,并对Fast?-RCNN进行改进,使得该模型适合烟标缺陷检测。 超参数设置来不多的点缺陷信息缺失,导致目标检测模型检测不到该超参数设置如表2所示。学****率影响着权值更新速点缺陷。当由4k降为1k时,很多点缺陷信息已消失,通过度,设置过大的学****率导致模型无法收敛,过小的学****率人眼,1k大小的烟标缺陷图像中的点缺陷已经看不见了,导致结果陷入局部最优,,对于烟标缺陷检测而言,图像分辨率越大,越小缺陷收敛且精度较高。设置权值衰减系数(decay),的信息就越多,被目标检测模型检测到的概率就越大。因保证了模型训练时出现过拟合。动量(momentum),该参数影响着梯度下降到最优值的速度。由于烟标此,针对烟标缺陷数据集,不宜采用下采样使烟标缺陷图像分辨率降低,应输入原始烟标缺陷图像进行训练和检图像通过4k相机进行拍摄,导致烟标图像的最大尺寸为测,以达到增加模型检测烟标缺陷精度的目的。4096,因此不宜设置过大的batchsize, 加入FPN层存设置batchsize=2。。对比实验结果如表4所示。通过加入FPN层,%,检测速度有所下降。综合烟标检Table2 Hyperparameters测速度和烟标缺陷准确率,选择加入FPN层。表2 超参数parisonresults参数取值表4 对比结果学****率(learningrate)/%检测速度/(momentum)(decay)50+ 改进FPN层输入图像最大尺寸输入图像最小尺寸512卷积拥有空间不变性和通道特异性两项属性,空间不rpn在nms处理前保留的proposal数2000变性指在空间上共用同一个卷积核,而通道特异性指各通rpn在nms处理后保留的proposal数2000[13]道的卷积核不同。,,通道不变性指对各通道进行分组,。。Faster-×64×16256×64×16maxpoolFaster-×1s2Faster-RCNN计算误差时采样的样本数512Faster-×128×32256×128×32256×512×128Conv2dC5InvolutionP51×1s1upsample3模型改进及结果1024×256×64Conv2d256×256×64conv2d256×256×64C4P41×1s13× 输入图像分辨率512×512×128256×512×128256×512×128Conv2dconv2dC3P3输入烟标缺陷图像分辨率大小是影响目标检测模型1×1s13×3s2upsample精度和速度的重要因素之一。图像分辨率越高,烟标中的256×1024×256256×1024×256256×1024×256Conv2dconv2d信息越多,图像检测精度就越高。原始烟标缺陷图像分辨C2P21×1s13×3s2率为4k,通过下采样使原始烟标缺陷图像分辨率为2k、 Convolutionallayer1k。不同分辨率烟标缺陷图像检测结果如表3所示。图2 卷积层通过结果可知,分辨率下降越多,烟标缺陷检测精度改进后的Faster-50作为前越低,但检测速度有所提升。由4k降为2k的烟标缺陷图特征提取器,%,对于烟标缺陷中的点缺陷检测而言,点为后特征提取器。在烟标缺陷数据集中,图片是4k图像,缺陷是小目标检测,在烟标缺陷图像中所占面积非常小,且不同烟标缺陷面积不同,故存在多尺度问题。内卷卷积分辨率降低时,一些非常小像素的点缺陷由于下采样使本具有自注意力机制(Self-attention),这是由于内卷卷积探Copyright?.:..·182·软件导刊2023年索每一个像素点与周围像素点的联系,自注意力机制对大数据集与烟标缺陷中的点缺陷、线缺陷、面缺陷有相似之目标检测效果较好。将C5后的3×3卷积核替换为involu?处,大数据集中有小目标,而烟标缺陷数据集中多为小目tion核,以此生成的特征图用于大目标检测,而内卷卷积对标,数据集之间越相似,迁移学****后效果越好。于大目标检测效果较好,对中目标检测也有一定效果。%。对烟标小面积破损由于自身的空间特异性,内卷卷积核应用在相同组通和大面积破损而言,精度没有上升,因为大数据集与该数道特征图每个位置上的参数不同,通过设置每组通道数为据集在某些方面存在一定差异。对于点缺陷、线缺陷、面1,内卷卷积核具有普通卷积通道特异性特征,即每组通道缺陷和刮花缺陷,%、%、%和数为1的内卷卷积具有空间和通道两个维度上的特异性,%。因为大数据集与烟标缺陷中的点缺陷、线缺陷、面使检测模型对高层语义特征作进一步学****内卷卷积in?缺陷有相似之处,大数据集中有小目标,而烟标缺陷数据volution核大小对模型检测精度影响如表5所示。集多为小目标,数据集越相似,迁移学****后效果越好。parisonresults表5 对比结果4检测结果可视化与模型泛化能力mAP/%参数检测速度/nConvolution3×× 检测结果可视化involution3×、线缺陷、面缺陷、刮花缺陷、involution5××、大面积破损缺陷检测结果展示,模型改进前检测结果如图3所示,改进后检测结果如图4所示。由表5所知,involution核的大小为1×1时,%。convolution中1×1的卷积是为了升维或者降维,而每组通道数为1的1×1的involution的作用是为高层语义特征上每个通道的每个像素点加上了一个空间注意力[14]。当involution核的大小为3×3时,探索的是每个像素与周围(a) Spotdefects(b) Linedefects一圈像素的关系,即自注意力[15],但是与3×3的普通卷积(a) 点缺陷(b) 线缺陷相比没有优越性。当involution核的大小为5×5时,精度上升最高,为1%。因为该核探索的是单个特征图像素点与周围两圈像素的关系,因此比3×3大小的普通卷积精度有所上升。而involution核的大小为7×7时,%,(c) Planedefects(d) Scratchdefects对高层语义特征使用了较大面积的空间注意力,烟标缺陷(c) 面缺陷(d) 刮花缺陷图像中没有那么大面积的缺陷需要用到7×7的卷积,且内卷卷积核参数过多,在训练时有一定困难。在检测速度上,使用内卷卷积与普通卷积的检测时间大致相同,因为通过替换普通卷积为内卷卷积,虽然参数增加了,但是整(e) Smallareabreakagedefects(f) Bigareabreakagedefects个网络的参数量改变不大。因此,通过增加5×5的内卷卷(e) 小面积破损缺陷(f) 大面积破损缺陷积使该模型精度上升。 迁移学****图3 改进前检测结果展示迁移学****16]是通过让模型对大数据集进行学****泛化能力将学****到的参数运用到目前需要训练的烟标缺陷数据集该数据集中仅包括苏烟彩中、炫赫门、黄果树、天下秀上。通过迁移学****能够让模型收敛速度加快,增加烟标缺4种烟标缺陷图像,为了验证该模型对其他品类的烟标进陷检测准确率。对比结果如表6所示。行缺陷检测时也可以使用,选择云烟紫缺陷图像验证该模parisonresults型泛化能力。选择点缺陷、线缺陷、面缺陷、刮花缺陷、小表6 对比结果mAP/%AP/%AP/%AP/%AP/%AP/%AP/%面积破损缺陷、大面积破损缺陷的云烟紫烟标图像进行检spotlineplanescratchL-BB-,检测结果如图5所示。,对于点缺陷而言,检测结果完全正确,%。对于烟标小面积破对于线缺陷和面缺陷,由于检测模型没有对云烟紫中粘黏损和大面积破损而言,精度未上升,因为大数据集与该数部分的小目标黑体文字学****过,使模型将此特征误认为烟据集存在一定差异。而对于点缺陷、线缺陷、面缺陷和刮标的点缺陷,但是针对图中线缺陷和面缺陷的检测结果完花缺陷,%、%、%、%。因为大全正确。Copyright?.:..第3期李殷昊,李莹,王凯彬,等:基于改进Faster-RCNN的烟标缺陷检测·183·[D].西安:西安理工大学,2019.[4]WANGYX,YUGH,XUQ,[J].JournalofJiangsuUni?versityofTechnology,2019,25(4):7-,余光辉,徐镪,(a) Spotdefects(b) Linedefects检测技术[J].江苏理工学院学报,2019,25(4):7-14.(a) 点缺陷(b) 线缺陷[5][D].Harbin:HarbinUniversityofScienceandTechnology,[D].哈尔滨:哈尔滨理工大学,2021.[6]?GA[D].Xi′an:XidianUniversity,2020.(c) Planedefects(d) [D].西安:西安电子(c) 面缺陷(d) 刮花缺陷科技大学,2020.[7]?opackagingprinting[J].GreenPackaging,2020(11):34-[J].绿色(e) Smallareabreakagedefects(f) Bigareabreakagedefects包装,2020(11):34-39.(e) 小面积破损缺陷(f) 大面积破损缺陷[8][M].Bei?jing:BeijingInstituteofPrinting, [M].北京:北京印刷学院, 改进后检测结果展示[9]ZHANGGR,CHENX,ZHAOY,[J].AdvancesinLaserandOptoelectronics,2022,59(16):142-,陈相,赵玉,[J].(c) Planedefects激光与光电子学进展,2022,59(16):142-150.(a) Spotdefects(b) Linedefects[10]ZHANGYZ,YANGPL,(a) 点缺陷(b) 线缺陷(c) 面缺陷railwaytunnelsbasedonimprovedSSDalgorithm[J]. TestresultspresentationandOptoelectronics,2021,58(22):391- 检测结果展示张云佐,杨攀亮,[J].激光与光电子学进展,2021,58(22):391-398.[11]HOUQZ,SUNJY,WANGH,[J].AdvancesinLaserandOpto?electronics,2022,59(2):192-,孙景彦,王浩,-RCNN对烟标缺陷进行检[J].激光与光电子学进展,2022,59(2):192-,对不同尺寸烟标图像的缺陷检测结果进行对比发现,[12]ZHAOJ,LUXW,ZHAOJ,,通过加入FPN层,N[J].JournalofUniversityofScienceandTechnolo?gyLiaoning,2021,44(4):263-%。通过在FPN中使用内卷卷积,通过对比不赵俊,鹿晓威,赵骥,[J].同大小的内卷卷积核的烟标缺陷检测精度发现,使用5×5辽宁科技大学学报,2021,44(4):263-270.[13]LID,HUJ,WANGCH,:invertingtheinherenceof的内卷卷积核的烟标缺陷检测精度提升最大,达1%,且使convolutionforvisualrecognition[C]//LosAlamitos:IEEE/CVFConfer?用内卷卷积模型的单张烟标检测时间没有增加。puterVisionandPatternRecognition,,改进后的Faster-RCNN算法能够对烟标缺陷进行[14]LIUDZ,LIANGZY,,%,且对训练集以外不同种类的烟标进行[J].puter-puterGraphics,2021,33缺陷检测时能够成功实现检测。(10):1541-,梁正友,:别方法[J].计算机辅助设计与图形学学报,2021,33(10):1541-1552.[1][15]LIYC,[D].Shijiazhuang:HebeiUniversityofSciencebasedonimprovedself-?andTechnology,[J].ElectricPowerAutomationEquipment,2021,41(11):[D].石家庄:100-,,[2]WANGZQ,YANY,DONGYQ,[J].电力自动化设备,2021,41(11):collectedbyprintingdetector[J].ShanxiElectronicTechnology,2018(3):100--26.[16]CAOXG,,闫瑛,董永谦,[J].山西transferlearning[J].SoftwareGuide,2019,18(12):183-,20