【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列三：Faster R-CNN图文详解

【目标检测经典算法】R-CNN、Fast R-CNN和Faster R-CNN详解系列二：Fast R-CNN图文详解

概念预设

感受野

感受野(Receptive Field) 是指特征图上的某个点能看到的输入图像的区域。

神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；
值越小则表示其所包含的特征越趋向局部和细节。

在这里插入图片描述
在论文中，ZF网络特征图中 $3 * 3$ 的滑动窗口在原图中的感受野为 $171 * 171$

RPN

框架

Faster R-CNN不再需要SS算法进行候选框的生成，而是使用RPN进行锚框的生成和筛选，可以和分类回归任务放在一起进行实现，是一个一阶段任务。
在这里插入图片描述

anchor box

什么是anchors

在图像上预设好的不同大小，不同长宽比的参照框。 论文中设定每个区域可以生成k个anchor box。
在这里插入图片描述

anchors的大小和比例

由于每个目标的大小不同，所以会预设的anchors的大小和长宽比也不同。

在论文中预设了3种不同的面积和3种不同的比例大小的anchors：

$128 * 128, 256 * 256, 512 * 512$
$1 : 1, 1 : 2, 2 : 1$

因此一共会有9个anchors生成。
在这里插入图片描述

步骤

在这里插入图片描述

1. 滑动窗口

将图片输入网络得到相应的特征图后，将有一个3*3的滑动窗口在特征图上进行滑动，每滑动到一个新的位置，就生成一个一维向量（维度由所使用的backbone决定），在一维向量的基础上连接两个全连接层（cls layer和reg layer），获得2k个分类参数和4k个位置参数。

2k: 正样本概率和负样本概率
4k：4个需要回归的位置参数， $d_x d_y$ ：anchors的中心坐标的偏移量， $d_w d_h$ ：宽和高的调整参数

2. 生成anchor box

在这里插入图片描述

根据滑动窗口所在的特征图的中心点坐标以及特征图和原图的比例还原找到原图中所在位置的中心点坐标，然后根据原图所在位置的中心点坐标生成k个anchors（图中假设k=3）,这些anchors中可能包含着需要检测的目标。

3. scores详解

一维向量通过 $1 * 1$ 、个数为2k的卷积核可以生成2k个分类scores，通过 $1 * 1$ 、个数为4k的卷积核可以生成4k个分类scores。

生成的参数具体代表的含义如下图所示。

在这里插入图片描述

4. anchors的筛选

将大量生成的anchors进行筛选和删除，再通过NMS进行重叠的候选框，最后剩下大约2000个候选框（和SS算法生成的候选框数量差不多）
在这里插入图片描述

5. 正负样本的采样

在这里插入图片描述

正样本：

与标注框的iou值>0.7的anchors
与标注框的iou值最大的anchors

一般第一条就完全可以生成足够的标注框，但是为了防止所有的anchors与标注框的交并比都不大于0.7的特殊情况，则加上了第二个条件

负样本：与所有的标注框的iou值都<0.3的anchors

总结

可以看到
在这里插入图片描述