文档介绍：该【线卷积网络在二维线检测和三维线框重建中的应用 戴锡笠 】是由【迎春文档】上传分享，文档一共【9】页，该文档可以免费在线阅读，需要了解更多关于【线卷积网络在二维线检测和三维线框重建中的应用 戴锡笠 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。小型微型计算机系统
JournalofChineseComputerSystems
ISSN1000-1220,CN21-1106/TP
《小型微型计算机系统》网络首发论文
题目:线卷积网络在二维线检测和三维线框重建中的应用
作者:戴锡笠,龚海刚,刘明
收稿日期:2022-03-18
网络首发日期:2022-08-05
引用格式:戴锡笠,龚海刚,
[J/OL].小型微型计算机系统.
.
网络首发:在编辑部工作流程中,稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶
段。录用定稿指内容已经确定,且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期
刊特定版式(包括网络呈现版式)排版后的稿件,可暂不确定出版年、卷、期和页码。整期汇编定稿指出
版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出
版管理条例》和《期刊出版管理规定》的有关规定;学术研究成果具有创新性、科学性和先进性,符合编
辑部对刊文的录用要求,不存在学术不端行为及其他侵权行为;稿件内容应基本符合国家有关书刊编辑、
出版的技术标准,正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。
为确保录用定稿网络首发的严肃性,录用定稿一经发布,不得修改论文题目、作者、机构名称和学术内容,
只可基于编辑规范进行少量文字的修改。
出版确认:纸质期刊编辑部通过与《中国学术期刊(光盘版)》电子杂志社有限公司签约,在《中国
学术期刊(网络版)》出版传播平台上创办与纸质期刊内容一致的网络版,以单篇或整期出版形式,在印刷
出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊(网络版)》是国家新闻出
版广电总局批准的网络连续型出版物(ISSN2096-4188,CN11-6037/Z),所以签约期刊的网络版上网络首
发论文视为正式出版。
网络首发时间:2022-08-0510:15:17
网络首发地址:.
小型微型计算机系统
JournalofChineseComputerSystems
线卷积网络在二维线检测和三维线框重建中的应用
戴锡笠,龚海刚,刘明
(电子科技大学计算机科学与工程学院,成都611731)
E-mail:daixili_******@
摘要:本文提出了一个线卷积网络,可以从图像中检测线段。通过预测每条线段的中心位置、长度和角度,该网络能够
以端到端的方式检测线段。此外,根据线中心检测的特点,本文设计了一维旋转卷积模块,并通过分析,证明其满足等变
性质。在实现上,本文采用改进的数据增强和非极大值抑制方法,有效的提高了线检测的性能。通过大量消融实验以及对
比实验,本文提出的线卷积网络相比于当前最优算法HAWP,在精度上高出3个百分点,达到了当前最优。最后,将该方
法应用于单张图三维线框重建任务,从可视化结果上看,明显优于之前的方法。
关键词:线检测;线卷积网络;等变性;三维线框重建;
中图分类号:TP391文献标识码:A
ApplicationofLineConvolutionalNetworkin2DLineDetectionand3DWireframe
Reconstruction
DAIXi-li,GONGHai-gang,LIUMing
(SchoolofComputerScienceandEngineering,UniversityofElectronicScienceandTechnologyofChina,Chengdu611731,China)
Abstract:
end-to-endfashionbypredictingthemwitheachline'scenterposition,length,,basedonthecharacterofline
center,,weadapt
,
theproposedlinedetectionmethodisabletosignificantlyoutperformallstate-of-the-,we
applythismethodtoapplication3Dwireframereconstructionfromsingleimageandtheresultissignificantbetterthanother
method.
Keywords:linedetection;lineconvolutionalnetwork;equivariant;3Dwireframereconstruction
景的表达更加紧凑、稳健和易于使用。这一理念启发了最近
1引言一系列关于从图像中识别几何结构的工作[2-9]。
目前在三维重建任务中,基于局部特征(如基于SIFT在上面提到的所有几何元素中,线可以说是最重要和最
的角点表达)的重建方法被广泛应用于实际生产和生活中。基本的一个。一个准确的点线检测系统是众多下游视觉任务
然而,局部特征方法在稳定性和完整性上有其天然的缺陷。的基础,例如消失点检测[10]、相机姿态估计[11]、相机校准[12]、
例如当图像中存在重复结构,反光镜面,以及多视角之间视立体匹配[13],甚至是场景三维重建[14]。
角变化过大等情况时,局部特征将失效。点线检测(WireframeDetection)任务是在论文[2]中首
三维重建中的整体表征,是指用高层语义的几何基结构次提出的。该工作提供了一个带有点线标注的大规模数据集
(如线、平面和布局)来表达和重建三维场景[1]。例如对一和一个基准方法以及评价指标。之后,论文[3]提出了一个
个规则立方体形状的房间进行三位重建,可以用平面来代替端到端的深度学****解决方案,并显著提高了性能。论文[15]
点云进行三维重建。因此,相比于局部表征,整体表征对场与论文[3]互为同期工作,也引入了一个新的标注数据集。
收稿日期:2022-03-18收修改稿日期:2022-05-13基金项目:国家自然科学基金项目(61572113)资助;中央高校基金项目(XGBDFZ09)资
:戴锡笠,男,1990年生,博士研究生,研究方向为计算机视觉、深度学****三维重建;龚海刚,男,1973年生,博士,副教授,博士
生导师,研究方向为大数据处理、人工智能与模式识别;刘明,男,1970年生,博士,教授,博士生导师,研究方向为大数据处理、人工智能与
模式识别.
2小型微型计算机系统
同时,[16]是[17]的后续工作,保持着目前最好的结果。论的许多数学上的等价表示。例如,最近关于单阶段线检测的
文[18]为点线检测任务设计了一个基于hough-transform的方法[21,28]分别采用两种不同的基于线段中点的表达:1)线
卷积算子。为了处理结点和线条的拓扑结构,论文[19]提出段中点𝑝𝑐,长度l,角度𝛼;2)线段中点𝑝𝑐,水平偏移∆𝑥,
𝑙𝑙
了一种基于图神经网络的方法来处理点线任务。最近,垂直偏移∆𝑦。其中∆𝑥=𝑐𝑜𝑠𝛼和∆𝑦=𝑠𝑖𝑛𝛼。
22
LETR[20],一种基于Transformer的方法,被提出用于检测点本文选用三元组:线段中点,长度,角度来作为线表
线。严格来说,线段检测不是点线检测,因为它不检测多个征。
线段的连接点。因此,本文仅与点线检测方法中的线检测结
果进行比较。
目前大多数基于深度学****的线检测方法都为两阶段检
测[3,15,16],这种方法已被证明是有效的,并达到了迄今为止
最高精确度[16]。然而,这种两阶段的方法牺牲了效率,因
为它需要用一个额外的子网络来处理大量的候选线。随后有
工作[21,28]提出通过单阶段模型对线段进行直接检测。这些方(a)二维卷积(b)一维旋转卷积
法提高了线检测的速度,但是却牺牲了线段检测性能。
本文针对这些单阶段线检测方法进行总结,尤其对其线
表征方法进行分析归纳,提出了适合于单阶段方法的线卷积
模块,并且通过分析,证明该线卷积模块依然满足等变性。
最后,通过在大型真实图像数据集上的实验,结果表明
本模型不仅在𝑠𝐴𝑃5指标上比当前最优算法HAWP[16]高出3(c)ShanghaiTech数据集(d)YorkUrban数据集
个百分点,并且相比于同类型的单阶段模型TPLSD[21],在线角度分布线角度分布
𝑠𝐴𝑃5指标上更是高出8个百分点。此外,本文还在合成的图2二维卷积和一维旋转卷积及数据角度分布
数据集SceneCity上进行单张图三维线框重建的实验,,1Drotatedconvolutional,andangledistribution
结果表明,高质量的线检测可以大幅度提高三维线框重建的
性能。并且对比于其它三维线框重建的方法,
势。在单阶段目标检测任务中,要想准确检测出目标中点,
模型输出的特征图的感受野(receptivefiled)需大于所
2线卷积网络检测的目标。同理,要准确检测到某线段中点,其感受野必
本节将对现有单阶段线方法的线表征进行归纳总结,须包含整条线段,即模型“看见”线段左右两端点。然而,
随后提出本文的线卷积模块。通过分析,证明该线卷积模块不同于目标检测任务,二维卷积操作会对线检测任务带来额
满足等变性。最后,给出线卷积网络实现细节,包括网络结外噪声。如图2(a),当3×3的卷积核作用在一条线段上
构,损失函数,以及改进的数据增强方法和非极大值抑制方(绿色格子),卷积核上的有效激活单元只有3个,其余6
法。个单元皆为噪声信息。因此信噪比只有1/2,而该信噪比会
(即噪声比例增大)。
一维旋转卷积操作,如图2(b)可以有效的降低噪声,
提高线段中点以及线长度的检测性能。然而,旋转卷积操
作的计算开销会随着旋转次数的增加而增加,(例如总共
旋转180度,每次旋转45度,则旋转次数为4。即每个像素
需进行4次一维卷积操作。)幸运的是,在我们生活的城市
图1线表征环境下,拍摄出来的照片中的线段绝大部分都是水平或者
。如图2(c),2(d)为ShanghaiTech和YorkUrban
222
令𝑝𝑐∈𝑅为图片中线段中点坐标,𝑝𝑙∈𝑅和𝑝𝑟∈𝑅分两个线检测数据集中所有标注线段与水平夹角的统计直方
别表示线段左右端点。可以得到如下关系:图。从图中可以看出,水平方向和垂直方向的线段数量占
1
𝑝=𝑝+(𝑙∗𝑐𝑜𝑠𝛼,𝑙∗𝑠𝑖𝑛𝛼)(1)主导。
𝑙𝑐2
1
𝑝=𝑝−(𝑙∗𝑐𝑜𝑠𝛼,𝑙∗𝑠𝑖𝑛𝛼)(2)因此,本文提出由一维旋转卷积和最大池化所组成的
𝑟𝑐2
其中l是线段长度,𝛼是线段与水平方向的夹角。上述五个线卷积模块,如图3(b)。相比于普通残差模块(图3(a),
量中的任何三个都可以唯一地决定一条线段。这导致了线段输入通道数为c,输出通道数为4c),线卷积模块的残差分
戴锡笠等:线卷积网络在二维线检测和三维线框重建中的应用3
支由一个3×3的卷积层,4个权重共享的不同角度的一维卷max{[𝐿𝑡𝑓]∗𝑤1,[𝐿𝑡𝑓]∗𝑤2,[𝐿𝑡𝑓]∗𝑤3,[𝐿𝑡𝑓]∗𝑤4}(7)
积分支,以及最大池化构成。由于本文选用的线表征为线=max{𝐿𝑡[𝑓∗𝑤1],𝐿𝑡[𝑓∗𝑤2],𝐿𝑡[𝑓∗𝑤3],𝐿𝑡[𝑓∗𝑤4]}(8)
段中点,长度,角度;其中角度的预测,需要二维整体信=𝐿𝑡max{[𝑓∗𝑤1],[𝑓∗𝑤2],[𝑓∗𝑤3],[𝑓∗𝑤4]}(9)
息,因此还是需要采用二维卷积来提取特征,因此本文对其中根据公式(5),可以从公式(7)推导至公式(8)。
线卷积模块的第一层采用二维卷积。随后的共享一维卷积再根据论文[29]中公式(20)的结论,最大池化操作满足
层和最大池化层可以有效提高模型在抓取线特征时的信噪等变性,即𝐿𝑡max{𝑓∗𝑤}=max{𝐿𝑡[𝑓∗𝑤]}。因此,公式
比,从而提高线段中点以及线长度的检测性能。(8)可以推导至公式(9)。至此,可以证明本文提出的
线卷积模块满足等变性。
(a)ResNet残差模块(b)线卷积模块
图3普通残差模块及线卷积模块结构图
图4线卷积网络结构图
(Equivariant)
公式(3)是以1×3为例的一维旋转卷积和最大池化操
作的数学表达,其中w为卷积核,f为输入特征图。
深度学****方法的实现至关重要,好的实现细节直接决
𝑂(𝑥,𝑦)=max{∑𝑤(∆𝛾)∗𝑓(𝑥′,𝑦′)}(3)
𝑡={1,…,𝑇}
∆𝛾={−1,0,1}定了方法是否有效。因此,本节将对关键实现细节进行详细
𝑡
𝑥′=𝑥+∆𝛾∗cos𝜋描述。包括网络结构,损失函数,数据增强,以及最后的非
𝑇
极大值抑制方法。
𝑡
𝑦′=𝑦+∆𝛾∗sin𝜋(backbonenetwork)
𝑇
𝑡本文选择一个当前最优的并行多分辨率网络结构
其中𝜋表示旋转步长,当T=1时,一维旋转卷积退化成普
𝑇HRNet[22],该网络结构在许多视觉任务中表现出最好的性能,
通一维卷积(公式(4))。
如图像分割、检测和识别。本文在HRNet的网络结构基础
()()()()
𝑂𝑥,𝑦=∑𝑤∆𝛾∗𝑓𝑥,𝑦+∆𝛾4上,将里面的所有残差模块替换成本文的线卷积模块,从而
∆𝛾={−1,0,1}
得到本文的基础网络。此外,为了验证本文提出的线卷积模
等变性(Equivariant):等变性是卷积神经网络的重
块的有效性,本文选用另一个在线检测问题中常用的网络结
要数学性质,尤其在图像检测,分割等任务中尤为重要。论
构Hourglass[23],将里面的所有残差模块替换成本文的线卷
文[29]首次引入群理论来分析卷积神经网络,并且证明由二
积模块,从而得到另一版本的基础网络。
维卷积和最大池化组成的卷积网络满足等变性。此外,论文
还进一步证明对二维卷积引入P4群操作(即旋转二维卷积),
借鉴线检测中常用的方式,令基础网络的输入大小为
该操作依然满足等变性。
512×512(即图片大小),输出的特征图大小为128×128。
不同于论文[29]中的操作,本文采用一维旋转卷积和
随后,在该特征图之上,再接出4个子网络(如图4),分
最大池化操作,借助论文[29]中的分析方法,本文进行如下
别对线中心,线中心偏移,线长度,线角度进行预测。4个
分析证明。首先引入基本卷积操作的等变性表示,其中w为
子网络均由2个3×3的卷积层和一个1×1的卷积层组成。
卷积核,f为输入特征图,𝐿𝑡为某种变换,*为卷积操作。
首先,第一个子网络输出一个128×128的分数图𝐶̂
[𝐿𝑡𝑓]∗𝑤=𝐿𝑡[𝑓∗𝑤](5)
(scoremap),表示128×128个单元,每个单元中出现线中
则本文提出的线卷积模块中4个一维旋转卷积分支加最大池
心的概率。𝐶表示分数图的真实值(groundtruth),即𝐶仅在
化可以表示成公式(6),其中𝑤1,𝑤2,𝑤3,𝑤4分别表示
线中心所在单元处分数为1,其余位置分数为0。于是得到
4个不同角度的一维卷积。
如下关于第一个子网络的损失函数。
max{[𝑓∗𝑤1],[𝑓∗𝑤2],[𝑓∗𝑤3],[𝑓∗𝑤4]}(6)
当对特征图f施加变换𝐿𝑡,得到如下推导过程。
4小型微型计算机系统
𝐶𝑖,𝑗,𝐶𝑖,𝑗= max𝐶𝑖′,𝑗′
𝛽′(𝑖′,𝑗′)∈𝒩(𝑖,𝑗)
𝐶 =max𝐶′′{
1𝐶𝑖,𝑗(1−𝐶̂𝑖,𝑗)log(𝐶̂𝑖,𝑗)𝐶𝑖,𝑗=1𝑖,𝑗𝑖,𝑗(15)
∑(10)′′𝛿⋅𝐶,𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒
ℒ𝒞≐−𝑖,𝑗{𝛽(𝑖,𝑗)∈𝒩(𝑖,𝑗)𝑖,𝑗
𝑁(1−𝐶)𝐶̂log(1−𝐶̂)𝐶≠1
𝑖,𝑗𝑖,𝑗𝑖,𝑗𝑖,𝑗其中,N(i,j)代表位置(i,j)周围的8个单元。这种非极
该损失函数为focalloss的简单变形,其中𝛽是focalloss的大值抑制可以用最大池化算子来实现。在使用SoftNMS后,
超参数,N是分数图上的单元数量,𝐶̂是分数特征图经过根据分类得分选取前m个线中心。使用相应的预测长度和
softmax之后的概率图。角度值,根据公式(1)(2)形成一条线。
第一个子网络只能判断哪些单元中存在线中心,第二个SoftNMS只在点的层面上进行NMS,没有考虑线的长
子网络则会在其结果之上,给出线中心相对于单元中心的具度和角度的影响。因此,本文提出了一种新的结构化非极
体偏移值。输出为2个128×128的数值图𝑂̂,本文采用𝑙2回大值抑制(StructNMS),对线段整体进行NMS,即从分数
归来预测偏移值,则损失函数如下最高的线开始(假设其索引为i),计算其两个端点与另一
条线j的端点之间的𝑙距离。
1̂22
ℒ𝑂≐−∑𝑖,𝑗|𝑂𝑖,𝑗−𝑂𝑖,𝑗|(11)2222
𝑁2𝑑=min(‖𝒑𝒊−𝒑𝒋‖+‖𝒑𝒊−𝒑𝒋‖,‖𝒑𝒊−𝒑𝒋‖+‖𝒑𝒊−𝒑𝒋‖).
𝒍𝒍2𝒓𝒓2𝒍𝒓2𝒓𝒍2
其中𝑂为真实偏移值。(16)
当某个单元被判断出存在线中心后,第三、四个子网络根据以上公式,利用结构化非极大值抑制删除所有d
则会在对应单元输出该线中心对应的长度和角度。因此这两小于预定阈值τ的线条。
个子网络分别输出大小为128×128,并且经过sigmoid归
一化的数值图𝐿̂和𝐴̂,数值范围在0-1之间。则损失函数如下3实验
1
ℒ≐−∑|𝐿̂−𝐿|(12)本章节对本文提出的基于几何的线检测算法(Line
ℓ𝑁𝑖,𝑗𝑖,𝑗𝑖,𝑗
1
ℒ≐−∑|𝐴̂−𝐴|(13)ConvolutionalNetwork,LCN)进行实验分析,首先介绍基本
𝛼𝑁𝑖,𝑗𝑖,𝑗𝑖,𝑗
L和A分别表示长度和角度的真实结果。在实现中,本实验设置以及实验细节,同时通过消融实验分析LCN算法
文将长度和角度的真实标签归一化到0-1之间,来对网络进性能,最后同其它当前最优的线检测算法进行实验对比。
行训练。具体来说,由于输入图像统一大小为512x512,
此线长度不会超过5122,通过将所有线长除以5122来达到数据集:本实验所有算法将在ShanghaiTech数据集[2]
归一化的效果。同样对于线角度,其与水平方向的夹角不会上训练及测试,该数据集包含5000张训练图像和462张测
超过180度(当考虑线段与水平方法的夹角时,90度和270试图像。同时,为了评估模型的泛化性能,所有实验将在还
度的情况是一样的),通过除以180,将其归一化到0-1之间。将YorkUrban数据集[14]上单独进行测试,该数据集包含102
在预测环节,将预测的0-1之间的值分别乘以5122和180张图像。
来得到真实的线长度和线角度值。评价指标:结构平均精度(sAP)[3],被提出来用于评
最终总损失函数如下:价线框检测的准确性,使用预测线段端点和其真实线段端点
之间的平方误差之和作为评价指标。当预测的线段的平方误
ℒ=𝜆𝒞ℒ𝒞+𝜆𝑂ℒ𝑂+𝜆𝑙ℒ𝑙+𝜆𝛼ℒ𝛼(14)
差之和小于阈值,如=5、10、15时,将被算作真阳性检测。
其中𝜆𝒞,𝜆𝑂,𝜆𝑙,𝜆𝛼分别等于{1,,3,1}ϵ
[2]。本文没有直接使用线段的矢量表示,
为了使模型对各种角度和大小的线更加鲁棒,本文采用而是将线段栅格化后产生的热图用于解析结果和基础事实。
以下数据增强。第一步,以等概率方式对输入图像采用如下对比方法:本文将LCN与六个线检测方法进行比较。
3种操。LSD[27],DWP[2],AFM[17],L-CNN[3],HAWP[16],和TP-LSD[21]。
;其中后五种方法是基于有监督的深度学****方法。它们代表了
;各自类别方法中的最先进水平。本文使用每篇论文中提供的
;预训练模型以及开源代码进行评估,所有算法均在
之后,采用随机缩小[25]数据增强法。在512×512的全黑图ShanghaiTech数据集上进行训练。
上选择一个k×k的区域,将图片缩小至k×k大小并填入该实现细节:本文对HRNet和Hourglass两个不同版本的
区域。在训练过程中每次迭代前从[256,512]中随机抽选取基础网络设置不同的初始学****率4×10−3和4×10−4。同
k值。该数据增强可以大幅提高短线的检测精度。时,针对HRNet和Hourglass,令其focalloss中的𝛽分别取
。此外,分别取1,,3,1为公式(7)中的4个
在测试过程中,首先在线中心分数图上应用非极大值𝜆值。本文总训练轮次为300代,分别在240代和280代处
抑制(NMS)来去除重复的线检测结果。与论文[3]不同,进行衰减,。所有实验均在一张NVIDIA
本文利用目标检测中的SoftNMS[26]可以有效提高检测性能。2080TiGPU上进行。批量大小(batchsize)为6,优化器为
戴锡笠等:线卷积网络在二维线检测和三维线框重建中的应用5
ADAM,权重衰减系数为1×10−4。最后,在测试过程中取表2不同NMS消融实验
SoftNMS中的𝛿,StrucNMS中的𝜏.
𝑠𝐴𝑃5𝑠𝐴𝑃10𝑠𝐴𝑃15
本节通过大量的实验来验证本文提出方法的有效性。所(a)
有的实验都是在ShanghaiTech数据集上进行的,并给出sAP(b)
指标。(c)
表1分析了不同训练设计的选择。首先,通过比较表1(d)
中(a)和(b),表明使用focalloss可以将sAP提高约1个点。
这是因为线段中心只占据了图像的一小部分,因此正负样本表3线卷积模块消融实验
之间的比例非常小。在这种情况下,focalloss对解决这个问Table3AblationstudyonLineconvolutionalblock
题是有效的。其次,验证本问提出的数据增强的有效性。在𝑠𝐴𝑃5𝑠𝐴𝑃10𝑠𝐴𝑃15
表1中(c)和(d)中,加入旋转和放缩增强之后分别为模型带(a)
来了约1和3个点的性能改善。这些结果表明,通过用不同(b)T=
的几何变换来增强数据,可以得到一个更有效的线条检测器,(c)T=
其泛化性能更好。(d)T=
表2展示了不同非极大值抑制策略的影响。(a)中使用
原始的实现了的5值。接下来,应用公式()
中的SoftNMS,结果提高了2点,。这是因为在这表4总结了本文提出方法与其它现有算法的结果对比。
个阶段,只利用了点信息。因此,可能有一些中心位置接近结果表明,本文提出的LCN算法在性能上明显优于其它算
的不同线条被错误地删除。设置一个较低的置信度,而不是法。其中LCN(HR)表示基础网络为原始HRNet的版本,
完全删除这些线条,可以保持恢复这种错误的可能性。接下LCN(HR-L)表示基础网络为线卷积版的HRNet。同理,
来的结果表明,使用StructNMS可以进一步提高性能1个点,LCN(HG)和LCN(HG-L)分别表示基础网络为原始
因为这种机制考虑到了整个线条。结合这两个新的NMS机Hourglass和线卷积版Hourglass。从表中结果可以看出,在
制,比原来的结果提高了3个点。加入本文提出的线卷积模块后,相比于原始基础网络,在各
表3对线卷积模块中旋转次数T进行了消融实验,其sAP指标上都可以稳定提升1个点。同时,配合上提出的
中baseline表示基础网络为HRNet。T=2,4,8表示将HRNetStrucNMS以及数据增强等技术,LCN算法性能超过当前最
中的残差模块替换成本文的线卷积模块,T表示线卷积模块优算法HAWP约3个点,在sAP,APH等指标上达到了当
中的旋转次数。图3(b)为T=4示意图。从表3中看出,前最优。此外,通过对比FPS(FramePerSecond),即每秒
5
线卷积模块相比于残差模块,在𝑠𝐴𝑃指标下,T=2比baseline处理样本数量这个指标,发现本文方法在效率上明显优于2
,当进一步将旋转次数T提高到4,性能提阶段方法如LCNN和HAWP,并且与单阶段方法TPLSD比
。。
倍。最后,T=8相比于T=4的提升已经非常微弱,但是在表4对比实验
计算开销上,却增加了1倍。Table4Experimentcomparison
MethodShanghaiTechYorkUrban
表1消融实验:表示线中心损失函数,CE表示交叉墒,FL表示
ℒ𝒞𝑠𝐴𝑃5𝑠𝐴𝑃10𝐴𝑃𝐻𝑠𝐴𝑃5𝑠𝐴𝑃10𝐴𝑃𝐻FPS
focalloss,数据增强这一列中,F翻转,R表示旋转,E表示放缩。
Table1Ablationstudy:meanslossfunctionoflinecenter,“CE”
ℒ𝒞
meanscrossentropy,“FL”
augmentation,F,R,andRmeanflip,rotation,andexpandrespectively.
L-
51015
基础网络ℒ𝒞数据增强𝑠𝐴𝑃𝑠𝐴𝑃𝑠𝐴𝑃