文档介绍：该【基于卷积神经网络的焊缝表面缺陷检测方法 】是由【刘备文库】上传分享，文档一共【6】页，该文档可以免费在线阅读，需要了解更多关于【基于卷积神经网络的焊缝表面缺陷检测方法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。万方数据
.。。.蠢器型薏耋篡兰:翟’丢釜:曛囊熏慧曩蕤蘸霸基于卷积神经网络的焊缝表面缺陷检测方法封雨鑫唬撕旯,程睫照躁照≮蕊鹫烊飅燎礁;鬷蓐諭钰引言品的市场需求对工艺、材料、设备的要求越来越高。,广东深圳心洗笱锢碛氲缱友г海ど随着我国近年来在工业智能制造领域的快速发展,产在汽车、医疗、航空、船舶等诸多邻域的应用中成为了一种必不可少的材料。当前,激光焊接成为了工业钢材结构焊接的主流,受工艺环境的影响,会在焊接部位形成不同程度和数量的溅射、气孔、夹渣、未焊透等现象。这些工艺问题是不可避免的,如果视而不见的去应用这些焊件材料会影响整个产品的使用性能,尤其是化工锅炉、桥梁结构等一些应用场景中,严重时可能会带来不可预估的安全事故。因此,焊缝缺陷检测是确保焊件材料安全性、可靠性的一道必不可少的工艺。而目前工业缺陷检测主要以人工检测和机器视觉检测为主,人工检测存在检测效率低、检测精度低和误检率高等问题;在机器视觉检测方面已存在大量的方法:谑滞枷翊砑际跆岢了一种热轧钢带表面缺陷检测系统;刘明炜,王快社计了一种带钢表面缺陷检测系统;热丝赸基于统计量提出了一种彩色纹理缺陷检测方法;周鹏,徐科等人基于算子对中厚板材进行了缺陷检测的研究;热丝基于小波算法提出了一种多分辨率文章编号:—一一/摘要:针对工业激光焊接中,采用传统方法进行焊缝质量检测效率低下的问题,提出了一种基于卷积神经网络的工业钢板表面焊缝缺陷检测方法;首先基于卷积神经网络,搭建了一个多分类模型框架,并分析了各层中所用到的函数及相关参数;然后基于工业数控机床和工业相机进行了焊缝数据采集,并对这些数据进行了分类、增强、扩增等前期预处理;最后基于数控机器轴,采用滑动窗口检测的形式采集实际待测图像,并通过实验对比了传统的机器学习算法在该类图像数据中的性能评估;经实验证实,通过卷积神经网络训练得到的多分类模型,焊缝缺陷检测精度能达到%以上,且每张待测图像的测试时间均在左右,远超机器学习算法,在准确性和实时性上均能达到实际工业要求。关键词:激光焊接;卷积神经网络;焊缝缺陷检测;焊缝数据采集;滑动窗口检测”,,%,修回日期:——。基金项目:中国博士后基金还易匀豢蒲Щ作者简介:封雨鑫,男,湖南衡阳人,硕士,工程师,主要从事激光加工控制系统方向的研究。通讯作者:邓宏贵,男,湖南邵阳人,教授,博导,主要从事无线移动通信、光信息处理与传输、基于嵌入式系统的智能仪器仪表等方向的研究。引用格式:封雨鑫,邓宏贵,:—,.投稿网址:甹.—/...中图分类号:文献标识码:;..,琒甋,鉳—.收稿日期:—一;甤,:——;,,籉,,,,琣“:粀粀籹·
万方数据
弧郏,矛,扛琧弧,∑;一,叫焕锒M瘤乡,一一芝;。诰砘窬绲亩喾掷嗄P涂蚣焊缝样本采集及焊缝样本预处理封雨鑫,等:基于卷积神经网络的焊缝表面缺陷检测方法表面缺陷检测算法;针对钢板材料的表面缺陷检测,天津大学、西安理工大学、河北工业大学等研究人员在缺陷检测方法和缺陷检测系统设计这方面做了大量研究叩。R上这些研究在很大层面上解决了人工质检效率低下、误检率高、成本高等问题,但随着市场对产品质量的要求越来越高,在诸多的工业材料质检领域,传统的检测方法无论是在检测精度上还是实时检测效率上都难以达到行业检测标准。教父在年发表了一篇文章口才真正开启深度学习的时代。自此之后,深度学习在表面缺陷检测的应用中得到了大量研究。文献基于卷积神经网络研究了轨道表面缺陷检测;》椒ǎ晃南譡猚为神经网络框架检测带钢表面缺陷,并基于迁移学习优化权重参数,。文献提出了一种改进的算法用于金属表面缺陷检测,使用了特征金字塔和残差网络来定位缺陷边界框,并通过非极大值抑制来筛选精确框;而且对输入的数据利用直方图均衡化做了处理,提高了检测效率,通过实验表明改进后的算法对缺陷的检测精度能够达到%以上。本研究也基于深度学习中的卷积神经网络,采集了一系列工业钢板缺陷样本,并对这些工业钢板表面焊缝缺陷分类识别进行了研究,还对比了传统的机器学习算法在该样本多分类任务中的表现,最终在自定义卷积神经网络模型中能够取得最优效果。卷积神经网络也叫卷积网络,是目前来说提取数字图像特征最好的一种方式,在二维数字图像识别、分类、分割中得到了广泛的应用。且恢指咝У募喽窖澳P停鸵夭阃ü积和池化的交替操作提取图像的特征,高层通过全链接层进行分类输出“。它一般由卷积层、激活层、池化层和全链接层等网络层组成。在本研究中,综合了实际工业中钢板的缺陷类型搭建了如图镜淖远ㄒ寰砘窬框架。输入层的图像尺寸为,整个模型包括卷积层、龀鼗愫个全链接层,卷积核的大小为,步长,绞轿猻>砘操作后输出图片的尺寸为梢酝ü表示:式中,咒为滤波核的大小;训为权重,可以通过随机初始化将初始权重矩阵的值设置为一个较小的值;F茫时,激活函数向左移动;当保せ詈蛴乙动。输入像素值淮尉砘怂愫蟮玫绞涑鲋祔。然后将输出值魑<せ詈氖淙胫担蟹窍咝栽怂悖本研究中,激活函数为,如式荆采用最大池化可以进一步提取上层特征图中的信息边缘特征,还能降低模型的过拟合T诒狙芯恐校畲蟪化的核大小为匠の。第一次池化后得到的输出为T谧詈笠桓龀鼗愫筇砑恿艘桓鯠悖ü鼶可以对隐藏层的神经元以概率进行随机剪枝,实现权重参数的压缩,能够有效地防止网络过拟合,还能提高模型的训练速度‘”1狙芯恐校怕噬栉。通过全链接层将之前网络提取的所有局部特征进行整合,这里设置了鋈唇硬悖現有錾窬#个神经元,最后一层0个类别的输出,利用醒镜母怕试げ猓梢酝ü式硎荆其中:硎纠啾鹗环肿颖硎镜氖堑趇个网络节点的输出值;表示输出结果为第隼啾鸬母怕省损失函数采用交叉熵误差,如式荆浔局适判断实际值与期望值之间的距离,因此实验中可以通过优化器反向传播多次迭代更新来最小化损失误差,以此来提高模型精度。本研究中,训练过程中的优化器采用的是怠式中,J淙胪计叽纾現为滤波核的大小,硎驹图像周围填充多少圈像素,硎静匠ぁ>淮尉砘螅得到奶卣饔成渫肌T诙嗖闵窬缰校积操作可通过式扑恪焊缝样本采集本研究针对某工厂实际钢板激光焊接缺陷检测,需要采集一系列数据。其中,钢板对象有碳钢板和不锈钢板两种。相机设备采用工业相机和工业定焦镜头;光源第】网络模型投稿网址:甹甤,图蕴鹨籱,·
万方数据
孽—溜蚅⋯一一熙糍蚕∥一弛∽一,掣一斟篇采用工业环形视觉光源;配合工业数控机床和僮髅板进行数据采集。在实际采集过程中,采用了视觉曝光的方式进行了样本的采集,更突出了目标的表面特征。原始焊缝图特别大,如图荆渲邪懈髦植煌嘈偷缺陷,后续需要进行裁剪和分类。通过视觉曝光后采集的某张图像如图尽最后设置一个固定的滑动窗口在原图中进行样本手动截取,通过分类和打好标签后,分别装载在鑫募邢隆已采集的图像总共分为掷啾穑糠纸厝〉难救缤所示,从左至右依次为:正常、凹陷、溅射和未焊满。焊缝数据预处理在某些情况下,图像的采集会受到实际环境的影响。比如说,机床焊接中有时会有氮气、颗粒气雾等干扰,悬浮在焊缝图像上方时影响相机的图像采集,在这种情况下采集到的焊缝图像对比度和亮度都会下降,此时的图像特征会被部分隐藏,特征的具体轮廓也会难以辨认。对于采集到的存在干扰的焊缝图像,由于其灰度直方图的像素分布是比较密集的,肉眼看上去会有点不太清晰,存在一些朦胧感。根据这些特点,如果能够将这些密集的灰度直方图分布进行拉伸,就能提高图像的对比度。通过实验发现,利用院阜焱枷窠幸淮畏窍咝员浠豢梢越饩稣庖问题口⋯。谋浠还饺所示:其中:,,表示变化后的灰度值,瑈硎颈浠恢前的灰度值,硎颈浠恢暗淖畹突叶戎担表示变换之前的最高灰度值。这里通过的函数∫可以分别计算出—蚼。低对比度的焊缝图像进行浠缓罂梢缘玫饺缤增强后的图像。根据图灰度直方图的分布可知,图像拉伸后的像素灰度级分布明显平缓了很多。在本研究中,采集到的原始图像非常宽,且有张,每张图像的焊缝区域基本都在崴椒较蛏希糠图像存在度左右的角度偏移。在手动截取过程中,设置一个窗口大小为幕翱诙运性纪枷翊幼至右以一定的步长依次截取,最后可以生成磐枷瘢然后通过分类打标签分别封装在鲎游募邢隆?悸堑数据量比较少,为了提高模型的分类效果,对采集的数据进行数据扩增是必要的阻⋯。在本研究中,数据扩增主要包括水平翻转、垂直翻转、以度角度范围随机旋转、随机亮度增强等操作来进行,部分数据处理效果如图尽移动窗口检测由于本研究的焊缝在钢板中的位置都是以直线形式呈现,因此实际检测时可以从起始端到尾端依次用调好的相机进行扫描就行。实际中的钢板是比较大的,为了便于焊缝检测,焊接完后的焊缝区域,在其起始位置和尾端会各设置一个点。如图荆鹗嫉阄狝,尾端为通过这两个定位点坐标确定一条直线路径诠ひ凳鼗床上,机器轴可以根据第一个起始点将相机对准到计算机测量与控制第卷图几职搴阜焱图毓庀虏杉耐枷图职灞砻婧阜焱浠磺昂蟮暮阜焱枷窈突叶戎狈酵图菰銮投稿网址:甹甤&.,浠磺浠缓图随机角度旋转原图垂直翻转亮度增强添加椒盐噪声水平翻转—·
万方数据
固一一一一一一一一一;一笔篆措装甜—盯‘。‘真实看、、\胁忙斋条弧龆⋯阳一面高等尚丽觚涮。咒一亍苦斋;、、\蝮佳﹠油/拢ǎ唬甠唬跻\一一㈣,㈩㈣;一~~⋯矿笛榧敖峁治獀≮封雨鑫,等:基于卷积神经网络的焊缝表面缺陷检测方法点。由于训练的图片尺寸为饫锩扛龃翱贖,也采用⒔嗷ㄎ坏降谝桓鯤。的中心!N了避免每个窗口衔接处未被采集到,从第二个窗口嚎J的后面所有窗口都会有一小部分覆盖在前面窗口上,依次定位到每个中心点进行图像采集。将每一条焊缝区域中的图像采集完后,采用数字编码的形式做好标签,并依次输入到已训练好的神经网络模型中进行预测分类,在本研究中有掷嘈腿毕莺鸵恢终焊缝。当该焊缝中的所有缺陷比例达到一定工业条件时则判别为不合格,并重加工;当只有很小一部分焊缝区域不合格时,则可根据不合格区域对应的标签用机器轴找到该位置,并针对不同的缺陷采用相应的方法进行修补。实验环境本研究中,通过数据采集并扩增后的数据有牛每种焊缝类型均在抛笥摇0凑:谋壤治Q练集和验证集,并在训练集中再抽取四分之一作为测试集。,基于框架和行实现,处理器为—评价指标在神经网络的性能评价指标中,有准确率、精确率、召回率和精确率与召回率的调和,可以通过表幕煜阵来进行表示。皉准确率硎驹げ庹返难臼甲茉げ样本数的比例。涮。行仿表示预测正确的正样本数占总预测样本中正样本数的比例。趜召回率硎驹げ庹返恼臼颊媸嫡本的比例。一蔷仿屎驼倩芈实囊恢值骱托问健参数选择及训练本研究中,采用的优化器是捎诟梅椒采用了动量的机制,在一定程度上能够加快梯度的下降,并将其初始学习率设为,每批次的样本量猻为,并采用姆绞酱蚵已盗费荆徊捎胑—的方法进行迭代训练,即当网络发生过拟合时停止训练;通过搭建的卷积神经网络首次训练后可以得到一个模型,该模型的精度基本维持在附近。将学习率缩小到畂保ü啻窝盗泛螅⒕蝒迭代可以得到如图镜慕峁F渲校葑瓯硎揪ǘ龋左边图表示在训练集中的性能表现,右边图表示在验证集中的性能表现。为了验证学习率是否还会影响实验结果,通过实验发现,当学习率设为甇,并冻结部分权重,经过多次模型微调训练后可以达到图颈冉虾玫男Ч通过数据表明,损失函数曲线和各精度评价指标分别平稳第窗口检测示意图虶显卡。表煜卣预测值一農咒已訸投稿网址:甹图鞑吻安煌问碌哪P托阅图珼皉卵:赯甤、:苗目·
万方数据
结束语下滑和稳定上升,且经过多次调参后的模型精度能够达到一个相对模型较高的水准。在测试集上验证该模型时,可以得到如表镜结果。实验结果及分析通过以上得到的训练模型,模型大小为诙圆试样本的评估上,精度可以达到%以上,通过滑窗采集测试图像的方式,每张图像在该网络下检测时间基本维持在之间。为了验证该卷积神经网络的有效性,本研究还进行了相同类型样本下的机器学习训练,如图所示,采用蚄进行了多缺陷检测研究,在不同的惩罚因子虶口迪拢琒分类器表现为不同的检测效果,随着脑黾泳ǘ冉植槐洌辉诓煌牧谟蚣下,胁煌男Ч硐郑涣秸叩腃和是都在一定范围内具有最佳表现性能,但精度都始终维持在%以下,且样本量大的情况下,惴ǚ浅:氖薄U攵愿美嘈褪据,在实际工程中,对于有无缺陷分类,芄淮锏%以上的检测效果,但在多分类中无法满足实际要求。对比机器学习算法,本文搭建的卷积神经网络在实际工程中实用性更强。至于存在少量误检的原因,是因为在本研究中,部分溅射缺陷和未焊满之间出现了误判,由于训练数据是人工标注的,某些溅射缺陷在焊缝周围飞溅的焊锡并不太多,也不是很明显,但在标注当中也是当成溅射缺陷标注的,导致对部分该类型缺陷进行了误判,所以分析结果时发现某些溅射缺陷被分为了未焊满。针对激光工业板材焊件焊缝检测中,人工检测与传统视觉检测效率低下、无法满足质检要求等问题,本研究提出了基于卷积神经网络的焊缝表面缺陷检测方法。通过工业数控机床及工业相机采集钢板焊缝样本,对原始数据进行处理后进行训练,通过对参数及权重进行多次微调训练后,准确度可以达到%以上,且复杂度低,能够满足实际产线的检测要求。实际检测中还可以在机床上通过机器轴和相机的配合,以滑动窗口的形式完成待测样本的采集,本研究还在机器学习算法上对该类型数据进行了验证,进一步表明本文研究的卷积神经网络模型在应用上的优势。对于模型的移植问题,可以通过权重剪枝方式来完成,这将是下一步的重要工作。计算机测量与控制第卷调参后不同迭代次数下的模型性能表馐约械哪P托阅芷拦微调前微调后蚄下数据测试性能参考文献:琄//趺黛浚蹩焐纾直砻嫒毕菰谙呒觳馐凳贝矸椒ㄑ芯苯鹕璞福:—.琂色一鹏,徐科,—瑆琧//粒畏⒔祝】饲冢龋职灞砻嫒毕菁扑慊泳踉谙检测系统的研制痔:—.粒畏⒔祝】饲冢龋职灞砻嫒毕菁觳夤庋低车设计ǜ屑际跹Пǎ:.伦5投稿网址:甹图,.—甤瑂甀珹,..:甂·
万方数据
乎哆渺淳哆水尊诤婷诙吒《叽哝枚叽瓸孛啦渺孛哆孛韭渺淳哆艰啦守牡博韭孛啦谬哆水哆串担婷哆毒眵渺炉孛哆渺尊啦渺博曲诤曲守哆淖哆守曲谆啦淳哆壮渺孛哆幸哆渺孛哆博啦诤哆归溥哆濞哆濞哆计算机测量与控制第卷比,基于际醯囊谎趸技觳庀低尘哂械ヒ谎≡性、不受背景气干扰;测量线性好,精度高、响应快;标校周期长、使用寿命长等优点⋯,解决了目前煤矿电化学一氧化碳检测系统存在的诸多问题,实现了一氧化碳的实时在线测量与数字信号传输。寮觳饧际踉谝谎化碳检测系统上的应用,对提升煤矿安全监测的可靠性,减轻井下人员对设备运维的工作量具有重要的现实意义与经济价值凹⋯。丁武文,孙利群,:锛唐剑嚎笮畔⒒远录际跤敕⒄,呙艚埽琱雄洙,:.死冢赥的甲烷实时监测系统研究妹牛厦门大学,.,,醣耄购榉桑畎缕妫龋捎肰激光光源的—,,跆危赥技术的高精度有毒有害气体的浓度检测技术研究啥迹旱缱涌萍即笱В端商危燕,潘教青,⑾低常诺率ぃ赥的一氧化碳传感器设计テ嵌入式系统应用.:—.电子科技大学,.顾利帅,裴彦军,,,—:哈尔滨工程大学,.:西安科技大学,.谱的高灵敏度甲烷浓度遥测技术锢硌Пǎ贾荩褐泄屏看笱В王彪,陈越,黄硕,,贾军伟,柴吴,:—.刘杰,董洋,古明思,::吉林大学,.王彪,张函嘉,陈晨,::黑龙江大学,.辖拥疲胙悄冻ち龋诨魇泳醯闹砻嫒毕人工神经网络检测方法匦突担:潞S溃焐趵ぃ龋贕小波和加权马氏距离的带钢表面缺陷检测缱硬饬坑胍瞧餮Пǎ,,.畐—.方叶祥,甘平,:,.陈超,:—.//:北京邮电大学,.王理顺,钟勇,李振东,:—.:甹—:.猙一—,,—琂—甤··—.—.,珼現瓻。订—.——.:.