科技网

当前位置: 首页 >自媒体

百度视觉团队斩获ECCVGoogleAI

自媒体
来源: 作者: 2019-04-05 22:41:22

雷锋(公众号:雷锋) AI 科技评论消息,近日,百度视觉团队在 Google AI Open Images-Object Detection Track 目标检测任务中斩获第一,并受邀在计算机视觉顶级学术会议 ECCV 2018 上进行分享。

Google AI Open Images-Object Detection Track 由 Google AI Research 举行,今年共吸引全球 450 多支队伍参赛。

大赛采取 Google 今年 5 月份发布的 Open Images V4 数据集作为训练数据集,包括超过 170 万的图片数据,500 个种别和超过 1200 万物体框,数据没有完全精细标注,属于弱监督任务,框选种别数目不均衡且有非常广泛的类别分布,这更符合实际情况,也意味着参加比赛的团队需要考虑到种别的散布,而不能统一对所有种别做处理,因此更具挑战性。

这项赛事有助于复杂模型的研究,同时对评估不同检测模型的性能有积极的增进作用。下图为 Open Image V4 与 MS COCO 和 ImageNet 检测任务数据比较情况,可以看到 Open Image V4 数据范围远远大于 MS COCO 和 ImageNet。

Open Image V4 与 MS COCO及ImageNet 检测数据比较情况

以下为百度视觉团队技术方案解读:

与传统的检测数据集合相比,该赛事除数据范围大、更真实以外,还存在一系列的挑战。具体来说,主要集中在以下三个方面:

数据散布不均衡:最少的种别框选只有 14 个,而最多的种别框选超过了 140w,数据散布严重不均衡。

种别框数量散布

漏标框:很多图片存在只标注主体种别,其他小物体或非目标物体没有标注出来。

漏标注图片举例

尺度变化大:大部分物体框只占全部图片的 0.1 以下,而有些框选却占了全部图片区域。如图所示,Open Image V4 集合存在更多的小物体,参赛者也会在检测数据中遇到更大的挑战。

框尺度大小散布比较

解决方案

在比赛进程中,百度视觉团队采取了不同复杂度、不同框架络进行模型的训练,并对这些模型进行融合。从整体方案框架来看,可分为 Fast R-CNN 和 Faster R-CNN 两种不同的训练模式。Fast R-CNN 版本是百度视觉团队研发的一套 PaddlePaddle 版本,在此基础上 Faster R-CNN 加入了 FPN、Deformable、Cascade 等最新的检测算法,模型性能实现了大幅度的提升。

整体方案框架流程图

络为 ResNet-101 的 Fast R-CNN,模型收敛后可以到达 0.481,在测试阶段加入 Soft NMS 和 Multi-Scale Testing 策略,可以到达 0.508。百度也尝试了其他络(dpn98,Inception-v4,Se-ResNext101),并把不同络的检测算法融会到一起,终究 mAP 可以达到 0.546。在 Proposal 采样阶段,百度在不同位置进行不同尺度的候选框生成,然后对这些框选进行分类和调剂他们的位置。

Faster R-CNN: 采取这类框架可以到达略高于 Fast R-CNN 的效果,mAP 为 0.495。在测试阶段使用 Soft NMS 和 Multi-Scale Testing 策略后,性能到达 0.525。

Deformable Convolutional Networks:使用 Soft NMS 和 Multi-Scale Testing 策略前后,性能分别到达 0.528 及 0.559。

Deformable Cascade R-CNN : 使用 Soft NMS 和 Multi-Scale Testing 策略前后,性能分别可以到达 0.581 和 0.590.

在 Fast R-CNN 框架下,百度视觉团队采取了不同的络进行训练,而在 Faster R-CNN 框架下只使用了 ResNet101 这类络进行训练。在训练过程中,百度视觉团队还通过不同的策略有效解决了各种技术问题。详情以下:

动态采样

Google Open Images V4 数据集大概有 170w 图片,1220w 框选,500 个种别信息。最大的种别框选超过了 140w,最小的种别只有 14 个框选,如果简单使用所有的图片及框选,需要几十天才能进行模型训练,而且很难训练出来一个无偏的模型。因此,需要在训练进程中进行动态采样,如果样本数量多则减少采样几率,而样本数量少则增加采样几率。百度视觉团队分别进行全集数据训练、固定框选子集训练、动态采样模型训练3种策略进行。

全集数据训练:依照主办方提供数据进行训练,mAP 到达 0.50。

固定框选子集训练:线下固定对每个种别最多选择 1000 个框,mAP 到达 0.53。

动态采样模型训练:对每一个 GPU、每个 Epoch 采取线上动态采样,每次收集的数据都不同,轮数到达一定数目后,全部全集的数据都能参与整体训练。最后 mAp 到达 0.56。

动态采样策略

FPN

基于训练数据集的分析,百度视觉团队发现其中 500 个类别的尺度有很大的差异。因此他们将 FPN 引入到检测模型中,即利用多尺度多层次金字塔结构构建特点金字塔络。在实验中,百度视觉团队以 ResNet101 作为骨干络,在不同阶段的最后一层添加了自顶向下的侧连接。自顶向下的进程是向上采样进行的,水平连接是将上采样的结果与自底向上生成的相同大小的 feature map 合并。融会后,对每一个融会结果进行 3*3 卷积以消除上采样的混叠效应。值得注意的是,FPN 应当嵌入到 RPN 络中,以生成不同的尺度特点并整合为 RPN 络的输入。终究,引入 FPN 后的 mAP 可到达 0.528。

Deformable Convolution Networks

百度视觉团队采取可变形卷积神经络增强了 CNNs 的建模能力。可变形卷积络的思想是在不需要额外监督的情况下,通过对目标任务的学习,在空间采样点上增加额外的偏移量模块。同时将可变形卷积络应用于以 ResNet101 作为骨架络的 Faster R-CNN 架构,并在 ResNet101 的 res5a、5b、5c 层以后应用可变形卷积层,并将 ROI Pooling 层改进为可变形位置敏感 ROI Pooling 层。可变形卷积络的 mAP 性能为 0.552。

Cascade R-CNN

比赛中,百度视觉团队使用级联的 R-CNN 来训练检测模型。除训练基本模型外,还使用包括五个尺度特征金字塔络(FPN)和 3 个尺度 anchors 的 RPN 络。另外,他们还训练了一个针对全类模型中表现最差的150类的小类模型,并对这 150 类的模型分别进行评估。得出的结论是,500 类模型的 mAP 为 0.477,而用 150 类单模型训练结果替换 500 类的后 150 类的结果,模型的 mAP 提升为 0.498。使用以上方法进行训练的单尺度模型的性能为 0.573。

Testing Tricks

在后处理阶段,百度视觉团队使用了 Soft NMS 和多尺度测试的方法。用 Soft NMS 的方法代替 NMS 后,在不同模型上有 0..3 点的改进,而 Multi-Scale Testing 在不同模型上则有 0. 个点的提升。

模型融会

对每一个模型,百度视觉团队在 NMS 后预测边界框。来自不同模型的预测框则使用一个改进版的 NMS 进行合并,具体如下:

给每一个模型一个 0~1 之间的标量权重。所有的权重总和为 1;

从每一个模型得到边界框的置信分数乘以它对应的权重;

合并从所有模型得到的预测框并使用 NMS,除此之外百度采用不同模型的分数叠加的方式代替只保存最高分模型,在这个步骤中 IOU 阈值为 0.5。

(完)

雷锋版权文章,未经授权制止转载。详情见转载须知。

4个月的宝宝咳嗽怎么办
4个月宝宝咳嗽怎么办
婴儿咳嗽

相关推荐