目标检测之遮挡物体检测

一、遮挡的类别

  1. 类内遮挡,目标被同一类别的目标遮挡
  2. 类间遮挡,目标被其它类别的目标遮挡

二、解决方法

数据标注

精调遮挡目标的GT边界框

数据增强

  1. cutout:在训练时,随机mask目标,提升模型对遮挡的应对能力
  2. mosaic:按一定比例融合多张图片,相当于模拟了一些遮挡的场景

网络结构

  1. 加注意力机制等,使模型提取判别力更强的特征
  2. 行人检测:将行人分为5个独立的区域,对这5个局部区域分别预测了一个0到1之间的遮挡分数,代表这5个局部区域的可见或者遮挡程度。使用这5个visibility score分别和对应区域的feature相乘后相加,得到最终的特征(Zhang, S., Wen, L., Bian, X., Lei, Z., & Li, S. Z. (2018). Occlusion-aware R-CNN: Detecting Pedestrians in a Crowd)

正负样本匹配机制

将匹配依据由IOU改成GIOU、DIOU、CIOU等

损失函数

RepLoss(Wang, X., Xiao, T., Jiang, Y., Shao, S., Sun, J., & Shen, C. (2017). Repulsion Loss: Detecting Pedestrians in a Crowd)

该损失函数由2部分组成,在要求预测框靠近匹配的GT框(T)的同时,也要求预测框远离其它GT框(B),在提升遮挡检测性能的同时降低检测器对NMS的敏感性

整体公式如下, 第一部分为吸引损失,第二部分为排斥损失(又可以分为预测框与其它GT框的损失,以及预测框与其它预测框的损失)

第一部分损失的公式如下,

作用:使P与匹配的GT框互相靠近

其中,

P_{+}:与至少一个GT之间的IOU大于等于0.5,

G_{Attr}^{P}:与P有最大IOU值的GT框

第二部分损失的公式如下,

RepGT

作用:使P远离与P之间的IOU值是次大的GT框

其中,

G_{Rep}^{P}:除了与P匹配的GT外,与P之间有最大IOU的GT框(即与P之间的IOU值是次大的)

RepBox

作用:使匹配了不同GT的预测框之间互相远离(排斥),降低了检测器对NMS的敏感性

根据匹配的GT框序号,将P_{+}分为不同的子集,如,P_{+}=P_{1}\cap P_{2}\cap ... \cap P_{\varrho }\varrho表示GT框的数量

参考文章

“别挡我,我要C位出道!”谈谈深度学习目标检测中的遮挡问题 - 知乎

Repulsion Loss 遮挡场景下的目标检测 - 知乎


http://www.niftyadmin.cn/n/1396181.html

相关文章

ModuleNotFoundError: No module named ‘datasets.humanseg‘/Pycharm 自定义类无法导入

错误截图和文件结构: 解决方法: 我扒拉的是GitHub上的源码,在解决这个问题的过程中,看了很多博客,总结大家的说法是:具有__init__.py的文件夹是包,包下面的.py文件是模块,没有__in…

使用samba将linux主机加入AD域

使用samba将linux主机加入AD域(一)<?xml:namespace prefix o ns "urn:schemas-microsoft-com:office:office" />在研究中经常看到下面这些东东&#xff0c;还是先了解下理论依据PDC&#xff1a;主域控制器&#xff0c;一般用来做验证BDC&#xff1a;备份域控…

SQL注入相关知识整理

SQL注入相关知识整理 SQL注入 什么是SQL注入  SQL注入&#xff08;Sql Injection &#xff09; 是一种将SQL语句插入或添加到应用(用户)的输入参数中的攻击 这些参数传递给后台的SQL数据库服务器加以解析并执行 哪里存在SQL注入&#xff1f; GETPOSTHTTP头部注入Cookie注入 任…

图像分割基础及经典网络结构

目录 一、图像分割简介 &#xff08;一&#xff09;图像分割类型 1. 根据不同的任务和数据类型&#xff1a; &#xff08;二&#xff09;语义分割性能指标&#xff1a; 二、FCN网络简介 &#xff08;一&#xff09;FCN网络如何工作&#xff1f; &#xff08;二&#xff0…

(2)学习集合,引申学习索引器和泛型

有1个Person类,下面我们要在前台利用集合去定义3个Person对象,然后返回这3个对象的Name public class Person { private string _firstName; private string _lastName; public string Name { get { return _firstName _lastName; …

数据库相关知识总结

mysql基本命令 mysql基本命令 1.基础常用命令 mysql -uroot -p密码;(也可以不带密码&#xff0c;之后输入) 本地登录mysql -h 登录ip -p 端口(通常3306&#xff09; -uroot -p密码; 远程登录desc 表名;查看表的各个字段的属性&#xff0c;以及自增键mysqldump -u用户 -p 数据库…

栈和队列例题

一、连续区域矩形面积&#xff08;栈&#xff09; 题目概述 Sample Input 3 1 2 3 4 1 2 3 3 4 1 2 3 4 -1Sample Output12 14题目大意&#xff1a;给出一系列矩形的宽度和高度&#xff0c;矩形沿着x轴对齐&#xff0c;求这些矩形组成的连续矩形区域的最大面积。 解题方法&…

dotnet下的Hook API

/// <summary>/// 对CAPIHook进行了dotnet下的封装。/// 其中fnHook: 为挂钩的函数的新地址的委托/// 不要传送和挂钩的函数不一致的委托&#xff0c;关于如果从程序上阻止这个行为&#xff0c;暂时还没有想到好的办法。///// 在dotnet中使用APIHook时发现了以下…