1 Fast R-CNN 和 Faster R-CNN 网络对比

Size: px

Start display at page:

Download "1 Fast R-CNN 和 Faster R-CNN 网络对比"

璃骆
5 years ago
Views:

Faster R-CNN Fast-RCNN 基本实现端对端 ( 除了 proposal 阶段外 ), 下一步自然就是要把 proposal 阶段也用 CNN 实现 ( 放到 GPU 上 ) 这就出现了 Faster-RCNN, 一个完全 end-to-end 的 CNN 对象检测模型论文提出 : 网络中的各个卷积层特征 (feature map) 也可以用来预测类别相关的 region

1 Faster R-CNN Fast-RCNN 基本实现端对端 ( 除了 proposal 阶段外 ), 下一步自然就是要把 proposal 阶段也用 CNN 实现 ( 放到 GPU 上 ) 这就出现了 Faster-RCNN, 一个完全 end-to-end 的 CNN 对象检测模型论文提出 : 网络中的各个卷积层特征 (feature map) 也可以用来预测类别相关的 region proposal( 不需要事先执行诸如 selective search 之类的算法 ), 但是如果简单的在前面增加一个专门提取 proposal 的网络又显得不够优雅, 所以最终把 region proposal 提取和 Fast-RCNN 部分融合进了一个网络模型 ( 区域生成网络 RPN 层 ), 虽然训练阶段仍然要分多步, 但是检测阶段非常方便快捷, 准确率也与原来的 Fast-RCNN 相差不多, 从此, 再也不用担心 region proposal 提取耗时比实际对象检测还多这种尴尬场景了 (faster RCNN 可以大致看做区域生成网络 +fast RCNN 的系统, 用区域生成网络代替 fast RCNN 中的 Selective Search 方法 )

2 1 Fast R-CNN 和 Faster R-CNN 网络对比

2 区域生成网络 ( Region Proposal Networks ) RPN 网络的作用是输入一张图像, 输出一批矩形候选区域, 类似于以往目标检测中的 Selective Search 一步网络结构是基于卷积神经网络, 但输出包含二类 softmax 和 bbox 回归的多任务模型网络结果如下 ( 以 ZF 网络为参考模型 ): 用于生成 9 种 anchor RPN 网络其中,

3 2 区域生成网络 ( Region Proposal Networks ) RPN 网络的作用是输入一张图像, 输出一批矩形候选区域, 类似于以往目标检测中的 Selective Search 一步网络结构是基于卷积神经网络, 但输出包含二类 softmax 和 bbox 回归的多任务模型网络结果如下 ( 以 ZF 网络为参考模型 ): 用于生成 9 种 anchor RPN 网络其中, 虚线以上是 ZF 网络最后一层卷积层前的结构, 虚线以下是 RPN 网络特有的结构首先是 3*3 的卷积, 然后通过 1*1 卷积输出分为两路, 其中一路输出是目标和非目标的概率, 另一路输出 box 相关的四个参数, 包括 box 的中心坐标 x 和 y,box 宽 w 和长 h 至于之前为什么要用 3*3 的卷积核, 我觉得是和感受野大小相对应的在原来的 ZF 模型中,3*3 卷积核对应 map 比例是 3/13, 相当于在型如 1000*600 的图片中采用 180 左右的感受野对于 1000*600 的图片中大部分目标而言, 这个大小的感受野是比较合适的吧从卷积运算本身而言, 卷积相当于滑窗假如输入图像是 1000*600, 则经过了几次 stride 后,map 大小缩小了 16 倍, 最后一层卷积层输出大约为 60*40 大小, 那么相当于用 3*3 的窗口滑窗 ( 注意有 padding), 对于左边一支路而言, 输出 18 个通道, 每个通道 map 大小仍为 60*40, 代表每个滑窗中心对应感受野内存在目标与否的概率右支路同理 RPN 是一个卷积层 (256 维 ) + relu + 左右两个层的 (clc layer 和 reg layer) 的小网络这个卷积层 VS 普通的卷积层 RPN 是一个将 n x n x channels 的输入通过 256 个 3 x 3 大小的卷积核生成 1 * 1 * 256 的 feature map, 即最后是 256 维的特征 RPN 的输入就是滑动窗口 3x3 对应的特征图区域, 经过它卷积后特征图变成 1 x 1 了由于此时输出的是 1 * 1 *256, 所有 cls layer 和 reg layer 是用 1 x 1 的卷积核进行进一步的特征提取, 这里 1 x 1 卷积核卷积时, 对各个通道都有不同的参数, 因为输入又是 1 x 1 的图片, 所以相当于全连接的功能, 相当于把 1 * 1 * 256 展平成 256, 然后进行全连接对上面虚线下 3*3 卷积核解释的个人理解 : ZF-Net 去掉全连接后的网络首先这一层的作用是为了获得 anchor, 如上图所示,3*3 卷积核在 M*N 的卷积图上滑动 ( 滑动步长为 1, 填充边缘 ), 卷积核的中心落到每一个卷积图的像素上, 然后以不同尺寸,

4 不同比例在原图上提取 anchor, 即可能的候选区域, 相当于感受野的概念, 但是大小和比例是人为给的分析 : 如何训练出一个网络来替代 selective search 相类似的功能呢? 论文借鉴 SPP 和 ROI 中的思想 : 在 feature map 中提取 proposal 先通过对应关系把 feature map 的点映射回原图 ( 参看 : 原始图片中的 ROI 如何映射到到 feature map?), 在每一个对应的原图设计不同的固定尺度窗口 (bbox), 根据该窗口与 ground truth 的 IOU 给它正负标签, 让它学习里面是否有 object, 这样就训练一个网络 (Region Proposal Network) 由于我们只需要找出大致的地方, 无论是精确定位位置还是尺寸, 后面的工作都可以完成, 作者对 bbox 做了三个固定 : 固定尺度变化 ( 三种尺度 ), 固定 scale ratio 变化 ( 三种 ratio), 固定采样方式 ( 只在 feature map 的每个点在原图中的对应 ROI 上采样, 反正后面的工作能进行调整 ) 如此就可以降低任务复杂度可以在特征图上提取 proposal 之后, 网络前面就可以共享卷积计算结果 (SPP 减少计算量的思想 ) 这个网络的结果就是卷积层的每个点都有有关于 k 个 achor boxes 的输出, 包括是不是物体, 调整 box 相应的位置网络流程图 : ZF-Net 提取 anchor 在 51*39 的卷积图上每个像素对应 9 个 anchor 这里特征图的大小不对, 这里只是为了理解

3 anchor anchor 是 rpn 网络的核心刚刚说到, 需要确定每个滑窗中心对应感受野内存在目标与否由于目标大小和长宽比例不一, 需要多个尺度的窗 Anchor 即给出一个基准窗大小, 按照倍数和长宽比例得到不同大小的窗例如论文中基准窗大小 ( 候选框的面积大小, 具体大小根据实际情况修改 ) 为 16, 给了 {8 16 32} 三种倍数和 {1:1 1:2 2:1}

anchor 不同面积和比例示意图 : 因此, 在对 60*40 的 map 进行滑窗时, 以中心像素为基点构造 9 种 anchor 映射到原来的 1000*600 图像中, 映射比例为 16 倍那么总共可以得到 60*40*9 大约 2 万个 anchor 4 RPN 训练过程得到最终用来预测的 feature map: 图片在输入网络后, 依次经过一系列 conv+relu ( 套用

5 3 anchor anchor 是 rpn 网络的核心刚刚说到, 需要确定每个滑窗中心对应感受野内存在目标与否由于目标大小和长宽比例不一, 需要多个尺度的窗 Anchor 即给出一个基准窗大小, 按照倍数和长宽比例得到不同大小的窗例如论文中基准窗大小 ( 候选框的面积大小, 具体大小根据实际情况修改 ) 为 16, 给了 { } 三种倍数和 {1:1 1:2 2:1} 三种比例, 这样能够得到一共 9 种尺度的 anchor. anchor 不同面积和比例示意图 : 因此, 在对 60*40 的 map 进行滑窗时, 以中心像素为基点构造 9 种 anchor 映射到原来的 1000*600 图像中, 映射比例为 16 倍那么总共可以得到 60*40*9 大约 2 万个 anchor 4 RPN 训练过程得到最终用来预测的 feature map: 图片在输入网络后, 依次经过一系列 conv+relu ( 套用 ImageNet 上常见的分类网络即可, 本论文实验了 5 层的 ZF,16 层的 VGG-16) 得到的 feature map, 额外添加一个 conv+relu 层, 输出 51*39*256 维特征 (feature map) 准备后续用来选取 proposal, 并且此时坐标依然可以映射回原图计算 Anchors: 在 feature map 上的每个特征点预测多个 region proposals 具体作法是 : 把每个特征点映射回映射回原图的感受野的中心点当成一个基准点, 然后围绕这个基准点选取 k 个不同 scale aspect ratio 的 anchor 论文中 3 个 scale( 三种面积 {128,256,512}), 3 个 aspect ratio( {1:1,1:2,2:1} ) 关于正负样本的划分 : 考察训练集中的每张图像 ( 含有人工标定的 ground true box) 的所有 anchor(n*m*k) a. 对每个标定的 ground true box 区域, 与其重叠比例最大的 anchor 记为正样本 ( 保证每个 ground true 至少对应一个正样本 anchor) b. 对 a) 剩余的 anchor, 如果其与某个标定区域重叠比例大于 0.7, 记为正样本 ( 每个 ground true box 可能会对应多个正样本 anchor 但每个正样本 anchor 只可能对应一个 grand true box); 如果其与任意一个标定的重叠比例都小于 0.3, 记为负样本 c. 对 a),b) 剩余的 anchor 弃去不用 d. 跨越图像边界的 anchor 弃去不用

6 5 RPN 的损失函数 RPN 网络训练, 那么就涉及 ground truth 和 loss function 的问题对于左支路,ground truth 为 anchor 是否为目标, 用 0/1 表示那么怎么判定一个 anchor 内是否有目标呢? 论文中采用了这样的规则 : 1) 假如某 anchor 与任一目标区域的 IoU 最大, 则该 anchor 判定为有目标 2) 假如某 anchor 与任一目标区域的 IoU>0.7, 则判定为有目标 3) 假如某 anchor 与任一目标区域的 IoU<0.3, 则判定为背景所谓 IoU, 就是预测 box 和真实 box 的覆盖率, 其值等于两个 box 的交集除以两个 box 的并集其它的 anchor 不参与训练损失函数 : 对于每个 anchor, 首先在后面接上一个二分类 softmax, 有 2 个 score 输出用以表示其是一个物体的概率与不是一个物体的概率 (p i ), 然后再接上一个 bounding box 的 regressor 输出代表这个 anchor 的 4 个坐标位置 (t i ), 因此 RPN 的总体 Loss 函数定义为 : i 表示第 i 个 anchor, 当 anchor 是正样本时 p i = 1, 是负样本则 p i = 0 t i 表示一个与正样本 anchor 相关的 ground true box 坐标 ( 每个正样本 anchor 只可能对应一个 ground true box: 一个正样本 anchor 与某个 grand true box 对应, 那么该 anchor 与 ground true box 的 IOU 要么是所有 anchor 中最大, 要么大于 0.7) x,y,w,h 分别表示 box 的中心坐标和宽高,x, x a, x 分别表示 predicted box, anchor box, and ground truth box (y,w,h 同理 )t i 表示 predict box 相对于 anchor box 的偏移, t i 表示 ground true box 相对于 anchor box 的偏移, 学习目标自然就是让前者接近后者的值代价函数分为两部分, 对应着 RPN 两条支路, 即目标与否的分类误差和 bbox 的回归误差, 其中 Lreg(ti,ti*) = R(ti-ti*) 采用在 Fast-RCNN 中提出的平滑 L1 函数, 作者认为其比 L2 形式的误差更容易调节学习率注意到回归误差中 Lreg 与 pi 相乘, 因此 bbox 回归只对包含目标的 anchor 计算误差也就是说, 如果 anchor 不包含目标,box 输出位置无所谓所以对于 bbox 的 groundtruth, 只考虑判定为有目标的 anchor, 并将其标注的坐标作为 ground truth 此外, 计算 bbox 误差时, 不是比较四个角的坐标, 而是 tx,ty,tw,th, 具体计算如下 :

7 其中 L Reg 是 : p 表示这些 regressor 的 loss 指针对正样本而言, 因为负样本时 p i = 0 该项被消去 L cls 是关于两种类别 (object vs. not object) 的 log loss 训练 RPN: 文中提到如果每幅图的所有 anchor 都去参与优化 loss function, 那么最终会因为负样本过多导致最终得到的模型对正样本预测准确率很低因此在每幅图像中随机采样 256 个 anchors 去参与计算一次 mini-batch 的损失正负比例 1:1( 如果正样本少于 128 则补充采样负样本 ) 注意点 : 在到达全连接层之前, 卷积层和 Pooling 层对图片输入大小其实没有 size 的限制, 因此 RCNN 系列的网络模型其实是不需要实现把图片 resize 到固定大小的 n=3 看起来很小, 但是要考虑到这是非常高层的 feature map, 其 size 本身也没有多大, 因此个矩形中, 每个矩形窗框都是可以感知到很大范围的 7 Sharing Features for RPN and Fast R-CNN 前面已经讨论如何训练提取 proposal 的 RPN, 分类采用 Fast R-CNN 如何把这两者放在同一个网络结构中训练出一个共享卷积的 Multi-task 网络模型我们知道, 如果是分别训练两种不同任务的网络模型, 即使它们的结构参数完全一致, 但各自的卷积层内的卷积核也会向着不同的方向改变, 导致无法共享网络权重, 论文作者提出了三种可能的方式 : Alternating training: 此方法其实就是一个不断迭代的训练过程, 既然分别训练 RPN 和

Fast-RCNN 可能让网络朝不同的方向收敛 a) 那么我们可以先独立训练 RPN, 然后用这个 RPN 的网络权重对 Fast-RCNN 网络进行初始化并且用之前 RPN 输出 proposal 作为此时 Fast-RCNN 的输入训练 Fast R-CNN b) 用 Fast R-CNN 的网络参数去初始化 RPN 之后不断迭代这个过程, 即循环训练 RPN Fast-RCNN

能够获得梯度用以更新参数, 但是 proposal 的坐标预测则直接把梯度舍弃了, 这个设置可以使 backward 时该网络层能得到一个解析解 (closed results), 并且相对于 Alternating traing 减少了 25-50% 的训练时间 ( 此处不太理解 : 每次 mini-batch 的 RPN 输出的 proposal box 坐标信息固定, 让 Fast

8 Fast-RCNN 可能让网络朝不同的方向收敛 a) 那么我们可以先独立训练 RPN, 然后用这个 RPN 的网络权重对 Fast-RCNN 网络进行初始化并且用之前 RPN 输出 proposal 作为此时 Fast-RCNN 的输入训练 Fast R-CNN b) 用 Fast R-CNN 的网络参数去初始化 RPN 之后不断迭代这个过程, 即循环训练 RPN Fast-RCNN Approximate joint training: 这里与前一种方法不同, 不再是串行训练 RPN 和 Fast-RCNN, 而是尝试把二者融入到一个网络内, 具体融合的网络结构如下图所示, 可以看到,proposals 是由中间的 RPN 层输出的, 而不是从网络外部得到需要注意的一点, 名字中的 "approximate" 是因为反向传播阶段 RPN 产生的 cls score 能够获得梯度用以更新参数, 但是 proposal 的坐标预测则直接把梯度舍弃了, 这个设置可以使 backward 时该网络层能得到一个解析解 (closed results), 并且相对于 Alternating traing 减少了 25-50% 的训练时间 ( 此处不太理解 : 每次 mini-batch 的 RPN 输出的 proposal box 坐标信息固定, 让 Fast R-CNN 的 regressor 去修正位置?) Non-approximate training: 上面的 Approximate joint training 把 proposal 的坐标预测梯度直接舍弃, 所以被称作 approximate, 那么理论上如果不舍弃是不是能更好的提升 RPN 部分网络的性能呢? 作者把这种训练方式称为 Non-approximate joint training, 但是此方法在 paper 中只是一笔带过, 表示 This is a nontrivial problem and a solution can be given by an RoI warping layer as developed in [15], which is beyond the scope of this paper

训练步骤 : 上面说完了三种可能的训练方法, 可非常神奇的是作者发布的源代码里却用了另外一种叫做 4-Step Alternating Training 的方法, 思路和迭代的 Alternating training 有点类似, 但是细节有点差别 : 用 ImageNet 模型初始化, 独立训练一个 RPN 网络仍然用 ImageNet 模型初始化, 但是使用上一步 RPN 网络产生的

9 训练步骤 : 上面说完了三种可能的训练方法, 可非常神奇的是作者发布的源代码里却用了另外一种叫做 4-Step Alternating Training 的方法, 思路和迭代的 Alternating training 有点类似, 但是细节有点差别 : 用 ImageNet 模型初始化, 独立训练一个 RPN 网络仍然用 ImageNet 模型初始化, 但是使用上一步 RPN 网络产生的 proposal 作为输入, 训练一个 Fast-RCNN 网络, 具体而言,RPN 输出一个候选框, 通过候选框截取原图像, 并将截取后的图像通过几次 conv-pool, 然后再通过 roi-pooling 和 fc 再输出两条支路, 一条是目标分类 softmax, 另一条是 bbox 回归截止到现在, 两个网络并没有共享参数, 只是分开训练了 ; 至此, 两个网络每一层的参数完全不共享使用第二步的 Fast-RCNN 网络参数初始化一个新的 RPN 网络, 但是把 RPN Fast-RCNN 共享的那些卷积层的 learning rate 设置为 0, 也就是不更新, 仅仅更新 RPN 特有的那些网络层, 重新训练, 此时, 两个网络已经共享了所有公共的卷积层第四步 : 仍然固定共享的那些网络层, 把 Fast-RCNN 特有的网络层也加入进来, 形成一个 unified network, 继续训练,fine tune Fast-RCNN 特有的网络层, 此时, 该网络已经实现我们设想的目标, 即网络内部预测 proposal 并实现检测的功能至此, 网络训练结束, 网络集检测 - 识别于一体, 测试阶段流程图如下 : 参与训练 RPN 的区域都有参与最后 fast rcnn 的训练, 只是只有 RPN 预测为前景的区域在 fast rcnn 才有计算回归损失 RPN 网络得到的大约 2 万个 anchor 不是都直接给 Fast-RCNN, 因为有很多重叠的框文章通过非极大值抑制的方法, 设定 IoU 为 0.7 的阈值, 即仅保留覆盖率不超过 0.7 的局部最大分数的 box( 粗筛 ) 最后留下大约 2000 个 anchor, 然后再取前 N 个 box( 比如 300 个 ) 给 Fast-RCNN( 注意此时 rcnn 的预测类别不包括背景, 已经 RPN 输出的已经默认是前景了 ) Fast-RCNN 将输出 300 个判定类别及其 box, 对类别分数采用阈值为 0.3 的非极大值抑制 ( 精筛 ), 并仅取分数大于某个分数的目标结果 ( 比如, 只取分数 60 分以上的结果 )

10 9 问题 1. 3x3 对应原图大小有 228x228. 但是还是比最大的 anchor 512x512 小, 这应该怎么理解呢, 不然的 anchor 一直检测不到了嘛? 搬运了原文的一句话 We note that our algorithm allows predictions that are larger than the underlying receptive field. Such predictions are not impossible one may still roughly infer the extent of an object if only the middle of the object is visible. 大概是说有可能一个很大的物体, 但是只有一部分在图片里可见吧参考 : RCNN, Fast-RCNN, Faster-RCNN 的一些事目标检测 -- 从 RCNN 到 Faster RCNN 串烧 Focusing on your own Mind :) -> 站在巨人的肩膀上参考链接 1. ( 原文 )

RPN 2 DeepParts 22 part pool 2 3 HOG 12 LBP 13 Harr - like 15 DPM 16 Deformable Parts Model VGG16 X. Wang 14 VGG Convolutiona

RPN 2 DeepParts 22 part pool 2 3 HOG 12 LBP 13 Harr - like 15 DPM 16 Deformable Parts Model VGG16 X. Wang 14 VGG Convolutiona 2017 22 2 CHINESE JOURNAL OF STEREOLOGY AND IMAGE ANALYSIS Vol. 22 No. 2 June 2017 209 1007-1482 2017 02-0209 -0215 DOI 10. 13505 /j. 1007-1482. 2017. 22. 02. 014 RPN 1 2 3 3 1 1 2 3 1. 100090 2. 100090