人工智能学习07--pytorch15(前接pytorch10)--目标检测:FPN结构详解

news/2024/7/10 1:23:04 标签: 目标检测, 人工智能, 学习

FPN:用于目标检测的特征金字塔网络

在这里插入图片描述
在这里插入图片描述
backbone:骨干网络,例如cnn的一系列。(特征提取)

(a)特征图像金字塔
检测不同尺寸目标。
首先将图片缩放到不同尺度,针对每个尺度图片都一次通过算法进行预测。
但是这样一来,生成多少个尺度就要预测多少次,训练效率很低。

(b)单一特征图
faster rcnn所采用的一种方式。
将图片通过backbone得到最终的特征图,在最终的特征图上进行预测。
针对小目标的预测效果不是很好。

©金字塔特征层次
与ssd算法类似。
将一张图片输入给backbone,在backbone镜像传播中得到不同的特征图上分别进行预测。

(d)特征金字塔网络
fpn结构。
与图(c)对比,不是简单的在backbone的不同特征图上进行预测,而是将不同特征图上的特征进行融合,在融合之后得到的特征图上再进行预测。

细节部分,如何融合特征

在这里插入图片描述
不同的特征图都是有一定要求的。比如这里按照2的整数倍选取:
在这里插入图片描述
在分类网络中的backbone在缩放特征图时都是整数倍缩放。

针对每一个backbone的特征图都会先用1x1的卷积层处理 ----> 调整backbone上不同特征图的channel统一。
在backbone不同层次上的channel不一样,一般情况下越来越多。
为了后续的融合,所以要保证一样的shape。

对上面的特征图进行2倍的上采样(临近差值算法)(保证上下高宽一样)。刚好跟中间特征图通过1*1卷积后的shape一样。

以resnet50作为backbone为例:
在这里插入图片描述
resnet网络整体框架一样:conv1(+BN、RELU) --> conv2_x所对应的一系列层结构 --> conv3_x所对应的一系列残差结构 --> conv4_x…… --> conv5_x……
在这里插入图片描述
在这里插入图片描述
(proposal 建议框,候选框)
faster rcnn:在预测特征图上通过rpn网络生成得到一系列proposal,把proposal映射到特征图上,再将映射的这部分特征输入fast rcnn,得到最终的预测结果。
fpn:首先通过rpn结构在p2 ~ p6上预测proposal,然后将预测得到的proposal映射到p2 ~p5上,再通过faster rcnn得到最终结果。

一个proposal如何正确投射到特征层上。
在这里插入图片描述


http://www.niftyadmin.cn/n/211093.html

相关文章

蓝桥杯 2023年省赛真题总结 C/C++ B 组

没有测评,不知道对不对,仅仅过样例而已 试题 A: 日期统计 本题总分:5 分 【问题描述】 小蓝现在有一个长度为 100 的数组,数组中的每个元素的值都在 0 到 9 的 范围之内。数组中的元素从左至右如下所示: 5 6 8 6 9…

代码随想录算法训练营day50|123.买卖股票的最佳时机III188.买卖股票的最佳时机IV 剑指offer21、57、58-I、12、面试题13

123.买卖股票的最佳时机III 题目链接 思路&#xff1a;本题中第i天有五种状态&#xff1a;不操作、第一次持有、第一次不持有、第二次持有、第二次不持有。 注意可以同一天进行买卖&#xff0c;而且是多次买卖。 class Solution { public:int maxProfit(vector<int>&…

LeetCode-45. 跳跃游戏 II

题目来源贪心动态规划动态规划贪心题目来源 45. 跳跃游戏 II 贪心 如果移动下标等于当前覆盖最大距离下标&#xff0c; 需要再走一步&#xff08;即ans&#xff09;&#xff0c;因为最后一步一定是可以到的终点。&#xff08;题目假设总是可以到达数组的最后一个位置&#xf…

数据结构

数据结构概述&#xff1a; 数据结构是计算机底层存储&#xff0c;组织数据的方式&#xff1b; 是指数据相互之间是以什么方式排列在一起的&#xff1b; 数据结构是为了更加方便地管理和使用数据&#xff0c;需要结合具体的业务场景来进行选择&#xff1b; 一般情况下&#…

Densely Connected Convolutional Networks(引言翻译(有选择性))

翻译得有可能会不太专业&#xff0c;望见谅的同时&#xff0c;如果有些地方翻译错了&#xff0c;欢迎批评指正&#xff01; as information about the input or gradient passes through many layers, it can vanish and "wash out" by the time it reaches the end …

Baumer工业相机堡盟工业相机如何通过BGAPISDK显示彩色相机和黑白相机的图像(C#)

Baumer工业相机堡盟工业相机如何通过BGAPISDK里显示彩色相机和黑白相机的图像&#xff08;C#&#xff09;Baumer工业相机Baumer工业相机的彩色和黑白成像的技术背景Baumer工业相机通过BGAPI SDK在回调函数里显示图像彩色工业相机在BufferEvent显示图像黑白工业相机在BufferEven…

使用颜色检测有向图中的循环

给定一个有向图,检查该图是否包含循环。如果给定的图形至少包含一个循环,您的函数应返回 true,否则返回 false。 例子: 输入: n = 4, e = 6 0 -> 1, 0 -> 2, 1 -> 2, 2 -> 0, 2 -> 3, 3 -> 3 输出:是 解释: <

聚类问题的算法总结

目录 一、K-means算法 1、算法原理 2、如何确定K值 3、算法优缺点 二、DBScan聚类 1、算法原理 2、处理步骤 3、算法优缺点 聚类代码实现 聚类算法属于无监督学习&#xff0c;与分类算法这种有监督学习不同的是&#xff0c;聚类算法事先并不需要知道数据的类别标签&am…