(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111950551 A(43)申请公布日 2020.11.17
(21)申请号 202010816397.7(22)申请日 2020.08.14
(71)申请人 长春理工大学
地址 130022 吉林春市朝阳区卫星路
7186号(72)发明人 李松江 吴宁 王鹏
(74)专利代理机构 北京方圆嘉禾知识产权代理
有限公司 11385
代理人 程江涛(51)Int.Cl.
G06K 9/32(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
权利要求书2页 说明书5页 附图1页
(54)发明名称
一种基于卷积神经网络的目标检测方法(57)摘要
本发明涉及一种基于卷积神经网络的目标检测方法，包括：基于残差卷神经网络进行特征提取，得到逐层的基础特征图；将所述基础特征图由浅至深依次融合，得到融合特征图；基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。本发明针对小目标及遮挡目标具有较高检测精度。
CN 111950551 ACN 111950551 A
权 利 要 求 书
1/2页
1.一种基于卷积神经网络的目标检测方法，其特征在于，包括：基于残差卷神经网络进行特征提取，得到逐层的基础特征图；将所述基础特征图由浅至深依次融合，得到融合特征图；基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。2.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述基础特征图包括第一特征图、第二特征图、第三特征图和第四特征图。
3.根据权利要求2所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述将所述基础特征图由浅至深依次融合，得到融合特征图，包括：
对所述第一特征图进行下采样处理，得到下采样特征图；对所述第二特征图进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同；
将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图；同理最终得到所述融合特征图。
4.根据权利要求3所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述对所述第一特征图进行下采样处理，得到下采样特征图，包括：
基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整数；将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下采样特征图。
5.根据权利要求4所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述n为3，3个支路的空洞率分别为1、2和3。
6.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图，包括：
基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图；基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图；基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图；将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。
7.根据权利要求6所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归，包括：
根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归；用所述初始边框回归替换所述设定锚框，并依次执行后续步骤，通过设定m个阈值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。
8.根据权利要求6所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述第一设定卷积核为3×3；所述第二设定卷积核为1×1。
9.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图，包括：
基于ROI Align对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴
2
CN 111950551 A
权 利 要 求 书
2/2页
趣区域特征图；
按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图；
基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行全局上下文提取，得到上下文信息；
基于ROI Align对初始感兴趣区域特征图与所述上下文信息进行融合得到所述感兴趣区域特征图。
10.根据权利要求1所述的一种基于卷积神经网络的目标检测方法，其特征在于，所述残差卷神经网络为ResNet-101网络。
3
CN 111950551 A
说 明 书
一种基于卷积神经网络的目标检测方法
1/5页
技术领域
[0001]本发明涉及图像信息处理技术领域，特别是涉及一种基于卷积神经网络的目标检测方法。
背景技术
[0002]随着道路交通压力的日益增大，通过计算机技术对道路车辆的智能化管控已成为研究热门；利用道路监控设备对车辆目标进行检测，掌握路网的车辆数据及行车轨迹是优化交通、缓解交通压力的前提，同时车辆目标检测是无人驾驶、车辆跟踪、车辆特征识别领域的研究基础。[0003]目前，卷积神经网络被广泛应用于车辆目标检测领域，常用的一般分为单阶段检测算法和双阶段检测算法，单阶段检测算法是一种基于回归的目标检测算法，双阶段检测算法首先生成候选区域，然后进行分类和细化。由于算法结构的差异，双阶段检测算法有更高的检测精度，但检测速度低于单阶段检测算法，适用于对检测精度要求较高的场景。[0004]现有的双阶段目标检测算法存在以下问题：由于遮挡目标及小目标的特征较少，现有的算法对于浅层位置信息及上下文信息利用的不充分，使得小目标及遮挡目标的检测精度较低。
发明内容
[0005]本发明的目的是提供一种针对小目标及遮挡目标具有较高检测精度的基于卷积神经网络的目标检测方法。[0006]为实现上述目的，本发明提供了如下方案：[0007]一种基于卷积神经网络的目标检测方法，包括：[0008]基于残差卷神经网络进行特征提取，得到逐层的基础特征图；[0009]将所述基础特征图由浅至深依次融合，得到融合特征图；[0010]基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；
[0011]根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；[0012]根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。[0013]优选地，所述基础特征图包括第一特征图、第二特征图、第三特征图和第四特征图。
[0014]优选地，所述将所述基础特征图由浅至深依次融合，得到融合特征图，包括：[0015]对所述第一特征图进行下采样处理，得到下采样特征图；[0016]对所述第二特征图进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同；
[0017]将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图；同理最终得到所述融合特征图。
4
CN 111950551 A[0018][0019]
说 明 书
2/5页
优选地，所述对所述第一特征图进行下采样处理，得到下采样特征图，包括：基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整
数；
将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下
采样特征图。[0021]优选地，所述n为3，3个支路的空洞率分别为1、2和3。[0022]优选地，所述基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图，包括：
[0023]基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图；[0024]基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图；
[0025]基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图；
[0026]将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。[0027]优选地，所述根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归，包括：
[0028]根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归；[0029]用所述初始边框回归替换所述设定锚框，并依次执行后续步骤，通过设定m个阈值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。[0030]优选地，所述第一设定卷积核为3×3；所述第二设定卷积核为1×1。[0031]优选地，所述根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图，包括：
[0032]基于ROIAlign对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴趣区域特征图；
[0033]按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图；
[0034]基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行全局上下文提取，得到上下文信息；
[0035]基于ROIAlign对初始感兴趣区域特征图与所述上下文信息进行融合得到所述感兴趣区域特征图。[0036]优选地，所述残差卷神经网络为ResNet-101网络。[0037]根据本发明提供的具体实施例，本发明公开了以下技术效果：[0038]本发明涉及一种基于卷积神经网络的目标检测方法，包括：基于残差卷神经网络进行特征提取，得到逐层的基础特征图；将所述基础特征图由浅至深依次融合，得到融合特征图；基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图；根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图；根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。本发明针对小目标及遮挡目标具有较高检测精度。
[0020]
5
CN 111950551 A
说 明 书
3/5页
附图说明
[0039]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本发明基于卷积神经网络的目标检测方法流程图。
具体实施方式
[0041]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]本发明的目的是提供一种针对小目标及遮挡目标具有较高检测精度的基于卷积神经网络的目标检测方法。
[0043]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0044]图1为本发明基于卷积神经网络的目标检测方法流程图，如图1所示，本发明提供了一种基于卷积神经网络的目标检测方法，包括：[0045]步骤S1，基于残差卷神经网络ResNet-101进行特征提取，得到逐层的基础特征图；具体包括第一特征图、第二特征图、第三特征图和第四特征图。本实施例中，所述ResNet-101的各卷积层具体情况如表1。[0046]表1、ResNet-101各个卷积层
[0047]
[0048]
6
CN 111950551 A[0049]
说 明 书
4/5页
其中，w为感兴趣区域的宽度，h为感兴趣区域的高度。
[0050]步骤S2，将所述基础特征图由浅至深依次融合，得到融合特征图。[0051]以所述第一特征图和所述第二特征图进行融合为例，进行说明，具体过程如下：[0052]基于n个支路空洞卷积分别对所述第一特征图进行下采样处理；n为大于1的正整数。本实施例中，n取3，卷积核大小为3×3，卷积步长为2；3个支路的空洞率分别为1、2和3。[0053]将经过各支路空洞卷积进行下采样处理的所述第一特征图进行融合得到所述下采样特征图。具体计算公式为：[0054]F＝H3,1(x)+H3,2(x)+H3,3(x)；[0055]式中：F表示融合后的下采样特征图，Hk,r,(x)表示空洞卷积，k表示卷积核大小，r表示空洞率，x为第一特征图。
[0056]对所述第二特征图采用1×1的卷积核进行卷积降维处理，得到降维特征图，所述降维特征图的通道数与所述下采样特征图的通道数相同。
[0057]将所述下采样特征图与所述降维特征图进行融合得到初始融合特征图。[0058]根据上述步骤依次进行融合得到所述融合特征图。[0059]步骤S3，基于区域生成网络对所述融合特征图进行候选框提取，得到候选目标区域特征图。
[0060]作为一种可选的实施方式，本发明所述步骤S3包括：[0061]步骤S31，基于第一设定卷积核对所述融合特征图进行卷积处理，得到第一卷积特征图。本实施例中，所述第一设定卷积核大小为3×3。[0062]步骤S32，基于第二设定卷积核对所述第一卷积特征图进行卷积处理，得到第二卷积特征图。本实施例中，所述第二设定卷积核大小为1×1。[0063]步骤S33，基于第二设定卷积核对所述第二卷积特征图进行卷积处理，得到第三卷积特征图。
[00]步骤S34，将所述第二卷积特征图和所述第三卷积特征图分别输入两个并行的全连接层，基于设定锚框进行处理，得到所述候选目标区域特征图。[0065]步骤S4，根据所述融合特征图和所述候选目标区域特征图得到感兴趣区域特征图。
[0066]具体地，所述步骤S4包括：[0067]步骤S41，基于ROI Align对所述融合特征图和所述候选目标区域特征图进行融合得到初始感兴趣区域特征图。[0068]步骤S42，按照设定倍数对所述初始感兴趣区域特征图进行放大处理得到放大感兴趣区域特征图。本实施例中，所述设定倍数为1.5。[0069]步骤S43，基于所述放大感兴趣区域特征图对所述初始感兴趣区域特征图进行上下左右四个方向的全局上下文提取，得到上下文信息。[0070]步骤S44，基于ROIAlign将所述初始感兴趣区域特征图与所述上下文信息映射成为相同大小的矩形框，并进行进行融合得到所述感兴趣区域特征图。[0071]步骤S5，根据所述感兴趣区域特征图基于全卷积层得到分类得分和边框回归。[0072]具体地，根据所述感兴趣区域特征图基于全卷积层得到初始分类得分和初始边框回归。
7
CN 111950551 A[0073]
说 明 书
5/5页
用所述初始边框回归替换所述设定锚框，并依次执行之后的步骤，通过设定m个阈
值，并重复执行m次此过程，得到所述分类得分和所述边框回归；m为大于或等于1的正整数。本实施例中，m取3，三个阈值分别为0.5、0.6和0.7。
[0074]本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0075]本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的。
8
CN 111950551 A
说 明 书 附 图
1/1页
图1
9
