DETR

2024/4/13 1:54:49
基于Transformer的DETR的注意力权重可视化，非CAM可视化技术

基于Transformer的DETR的注意力权重可视化，非CAM可视化技术

神经网络的可视化可以客观的解释 “黑盒” ，所以一直以来都是论文中必不可少的工作。对于深度卷积神经网络，一般用CAM进行可视化研究。遗憾的是，基于Transformer的神经网络可视化，CAM并不奏效。所以，本文章提供一套基于…
阅读更多...
DETR-《End-to-End Object Detection with Transformers》论文精读笔记

DETR-《End-to-End Object Detection with Transformers》论文精读笔记

DETR（基于Transformer架构的目标检测方法开山之作） End-to-End Object Detection with Transformers 参考：跟着李沐学AI-DETR 论文精读【论文精读】 摘要 在摘要部分作者，主要说明了如下几点： DETR是一个端到端&am…
阅读更多...
Transformer实战-系列教程15：DETR 源码解读2（整体架构：DETR类）

Transformer实战-系列教程15：DETR 源码解读2（整体架构：DETR类）

🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类/ConvertCocoP…
阅读更多...
RT-DETR 项目【训练】【验证】【推理】脚本

RT-DETR 项目【训练】【验证】【推理】脚本

文章目录 训练 --train.py推理 --detect.py验证 --val.py不训练，只查看模型结构/参数量 --test.py有同学问 RT-DETR 怎么训练，其实和 YOLOv8 几乎一样，但是有很多同学没接触过 v8 我这里直接给大家写好几个脚本，大家直接在我的脚本上调节参数就可以训练了， 脚本包含【训…
阅读更多...
【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector

【Pytorch：nn.Embedding】简介以及使用方法：用于生成固定数量的具有指定维度的嵌入向量embedding vector

文章目录 1、nn.Embedding2、使用场景 1、nn.Embedding 首先我们讲解一下关于嵌入向量embedding vector的概念 1）在自然语言处理NLP领域，是将单词、短语或其他文本单位映射到一个固定长度的实数向量空间中。嵌入向量具有较低的维度，通常在几…
阅读更多...
DETR 系列有了新发现？DETRs with Hybrid Matching 论文阅读笔记

DETR 系列有了新发现？DETRs with Hybrid Matching 论文阅读笔记

DETR 系列有了新发现？DETRs with Hybrid Matching 论文阅读笔记 一、Abstract二、引言三、相关工作目标检测中的 DETR其它视觉任务中的 DETR标签赋值 四、方法4.1 基础知识通用的 DETR 框架通用的可变形 Deformable-DETR 框架 4.2 混合匹配4.2.1 混合分支计划一对一…
阅读更多...
DETR系列：RT-DETR 论文解析

DETR系列：RT-DETR 论文解析

论文：《DETRs Beat YOLOs on Real-time Object Detection》 2023.4 DETRs Beat YOLOs on Real-time Object Detection：https://arxiv.org/pdf/2304.08069.pdf 源码地址：https://github.com/PaddlePaddle/PaddleDetection/tree/develop/conf…
阅读更多...
基于transformer的解码decode目标检测框架(修改DETR源码)

基于transformer的解码decode目标检测框架(修改DETR源码)

提示：transformer结构的目标检测解码器，包含loss计算，附有源码 文章目录 前言一、main函数代码解读1、整体结构认识2、main函数代码解读3、源码链接二、decode模块代码解读1、decoded的TransformerDec模块代码解读2、decoded的TransformerDecoder模块代码解读3、decoded的De…
阅读更多...
独创改进 | RT-DETR 引入双向级联特征融合结构 RepBi-PAN | 附手绘结构图原图

独创改进 | RT-DETR 引入双向级联特征融合结构 RepBi-PAN | 附手绘结构图原图

本专栏内容均为博主独家全网首发，未经授权，任何形式的复制、转载、洗稿或传播行为均属违法侵权行为，一经发现将采取法律手段维护合法权益。我们对所有未经授权传播行为保留追究责任的权利。请尊重原创，支持创作者的努力，共同维护网络知识产权。 文章目录 YOLOv6贡献RepBi-…
阅读更多...
RT-DETR 更换主干网络之 ShuffleNetv2 | 《ShuffleNet v2：高效卷积神经网络架构设计的实用指南》

RT-DETR 更换主干网络之 ShuffleNetv2 | 《ShuffleNet v2：高效卷积神经网络架构设计的实用指南》

目前，神经网络架构设计多以计算复杂度的间接度量——FLOPs为指导。然而，直接的度量，如速度，也取决于其他因素，如内存访问成本和平台特性。因此，这项工作建议评估目标平台上的直接度量，而不仅仅是考虑失败。在一系列控制实验的基础上，本文得出了一些有效设计网络的实用指…
阅读更多...
Transformer实战-系列教程18：DETR 源码解读5（BackboneBase类/Backbone类）

Transformer实战-系列教程18：DETR 源码解读5（BackboneBase类/Backbone类）

🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类） …
阅读更多...
RTDETR 引入 超越自注意力：面向医学图像分割的可变形大卷积核注意力

RTDETR 引入 超越自注意力：面向医学图像分割的可变形大卷积核注意力

医学图像分割在转换器模型的应用下取得了显著的进展，这些模型擅长捕捉广泛的上下文和全局背景信息。然而，这些模型随着标记数量的平方成比例增长的计算需求限制了它们的深度和分辨率能力。大多数当前的方法通过逐层处理D体积图像数据（称为伪3D），在处理过程中错过了关键的跨…
阅读更多...
RT-DETR 更换损失函数之 SIoU / EIoU / WIoU / Focal_xIoU

RT-DETR 更换损失函数之 SIoU / EIoU / WIoU / Focal_xIoU

文章目录 更换方式CIoUDIoUEIoUGIoUSIoUWIoUFocal_CIoUFocal_DIoUFocal_EIoUFocal_GIoUFocal_SIoU提示更换方式 第一步：将ultralytics/ultralytics/utils/metrics.py文件中的bbox_iou替换为如下的代码：class
阅读更多...
DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精度笔记

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精度笔记

DEFORMABLE DETR DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 参考：AI-杂货铺-Transformer跨界CV又一佳作！Deformable DETR：超强的小目标检测算法！ 摘要 摘要部分，作者主要说明了如…
阅读更多...
损失函数篇 | RT-DETR 引入 Inner-IoU 考虑边框形状与尺度的度量

损失函数篇 | RT-DETR 引入 Inner-IoU 考虑边框形状与尺度的度量

作者导读：Inter-IoU：基于辅助边框的IoU损失 论文地址：https://arxiv.org/abs/2311.02877 作者视频解读：https://www.bilibili.com 开源代码地址：https://github.com/malagoutou/Inner-IoU 随着探测器的快速发展，边界框回归（BBR）损失函数不断更新和优化。然而，现有基…
阅读更多...
使用 Timm 库替换 RT-DETR 主干网络 | 1000+ 主干融合RT-DETR

使用 Timm 库替换 RT-DETR 主干网络 | 1000+ 主干融合RT-DETR

文章目录 前言版本差异说明替换方法parse_moedl( ) 方法_predict_once( ) 方法修改 yaml ，加载主干论文引用timm 是一个包含最先进计算机视觉模型、层、工具、优化器、调度器、数据加载器、数据增强和训练/评估脚本的库。 该库内置了 700 多个预训练模型，并且设计灵活易用。…
阅读更多...
《RT-DETR改进实战》专栏介绍 专栏目录

《RT-DETR改进实战》专栏介绍 专栏目录

《RT-DETR改进实战专栏》介绍及目录 介绍：欢迎来到最新专栏《RT-DETR改进实战》！这个专栏专注于基于 YOLOv8 项目的魔改版本，而不是百度飞桨框架中的 RT-DETR。 本专栏为想通过改进 RT-DETR 算法发表论文的同学设计。每篇文章均包含完整的改…
阅读更多...
【计算机视觉】DETR 系列的最新综述！

【计算机视觉】DETR 系列的最新综述！

论文地址： https://arxiv.org/pdf/2306.04670.pdf项目地址： https://github.com/mindgarage-shan/trans_object_detection_surveyTransformer在自然语言处理(NLP)中的惊人表现，让研究人员很兴奋地探索它们在计算机视觉任务中的应用。与其他…
阅读更多...
RT-DETR 模型改进 | AKConv：具有任意采样形状和任意参数数量的卷积核

RT-DETR 模型改进 | AKConv：具有任意采样形状和任意参数数量的卷积核

基于卷积操作的神经网络在深度学习领域取得了显著的成果，但标准卷积操作存在两个固有缺陷。一方面，卷积操作受限于局部窗口，无法捕捉其他位置的信息，而其采样形状是固定的。另一方面，卷积核的大小固定为kk，呈固定的正方形形状，而参数数量往往随大小呈平方增长。显然，不…
阅读更多...
即插即用篇 | UniRepLKNet：用于音频、视频、点云、时间序列和图像识别的通用感知大卷积神经网络 | DRepConv

即插即用篇 | UniRepLKNet：用于音频、视频、点云、时间序列和图像识别的通用感知大卷积神经网络 | DRepConv

大卷积神经网络（ConvNets）近来受到了广泛研究关注，但存在两个未解决且需要进一步研究的关键问题。1）现有大卷积神经网络的架构主要遵循传统ConvNets或变压器的设计原则，而针对大卷积神经网络的架构设计仍未得到解决。2）随着变压器在多个领域的主导地位，有待研究ConvNets…
阅读更多...
RT-DETR 应用 CARAFE：特征内容感知重新组装

RT-DETR 应用 CARAFE：特征内容感知重新组装

特征上采样是现代卷积神经网络架构中的关键操作，例如特征金字塔。其设计对于密集预测任务，如目标检测和语义/实例分割至关重要。在本研究中，我们提出了一种称为内容感知特征重组（CARAFE）的通用、轻量级且高效的操作符，以实现这一目标。CARAFE具有以下几个优点：（1）大的…
阅读更多...
独创改进 | RT-DETR 引入 Asymptotic Hybrid Encoder | 渐进混合特征解码结构

独创改进 | RT-DETR 引入 Asymptotic Hybrid Encoder | 渐进混合特征解码结构

本专栏内容均为博主独家全网首发，未经授权，任何形式的复制、转载、洗稿或传播行为均属违法侵权行为，一经发现将采取法律手段维护合法权益。我们对所有未经授权传播行为保留追究责任的权利。请尊重原创，支持创作者的努力，共同维护网络知识产权。 文章目录 网络结构实验结果…
阅读更多...
transfomer中Decoder和Encoder的base_layer的源码实现

transfomer中Decoder和Encoder的base_layer的源码实现

简介 Encoder和Decoder共同组成transfomer,分别对应图中左右浅绿色框内的部分. Encoder： 目的：将输入的特征图转换为一系列自注意力的输出。 工作原理：首先，通过卷积神经网络（CNN）提取输入图像的特征。然…
阅读更多...
目标检测DETR：End-to-End Object Detection with Transformers

目标检测DETR：End-to-End Object Detection with Transformers

NMS 对一个目标生成了多个检测窗口，但是事实上这些窗口中大部分内容都是重复的，找到目标检测最优的窗口 选取多个检测窗口中分数最高的窗口，剔除掉其他同类型的窗口 anchor generator 首先在该点生成scale512, aspect ratio{1:2&#xff…
阅读更多...
DETR系列：RT-DETR（一） 论文解析

DETR系列：RT-DETR（一） 论文解析

论文：《DETRs Beat YOLOs on Real-time Object Detection》 2023.4 DETRs Beat YOLOs on Real-time Object Detection：https://arxiv.org/pdf/2304.08069.pdf 源码地址：https://github.com/PaddlePaddle/PaddleDetection/tree/develop/conf…
阅读更多...
原论文一比一复现 | 更换 RT-DETR 主干网络为 【ResNet-50】【ResNet-101】【ResNet-152】| 对比实验必备

原论文一比一复现 | 更换 RT-DETR 主干网络为 【ResNet-50】【ResNet-101】【ResNet-152】| 对比实验必备

本专栏内容均为博主独家全网首发，未经授权，任何形式的复制、转载、洗稿或传播行为均属违法侵权行为，一经发现将采取法律手段维护合法权益。我们对所有未经授权传播行为保留追究责任的权利。请尊重原创，支持创作者的努力，共同维护网络知识产权。 更深层的神经网络更难训练。…
阅读更多...
RT-DETR 应用 BiFPN 结构 | 加权双向特征金字塔网络

RT-DETR 应用 BiFPN 结构 | 加权双向特征金字塔网络

模型效率在计算机视觉中变得越来越重要。在本文中，我们系统地研究了目标检测中的神经网络架构设计选择，并提出了几种关键的优化方法来提高效率。首先，我们提出了一种加权双向特征金字塔网络（BiFPN），它可以实现简单快速的多尺度特征融合；其次，我们提出了一种复合缩放方法…
阅读更多...
Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）

Transformer实战-系列教程15：DETR 源码解读2（ConvertCocoPolysToMask类）

🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类） …
阅读更多...
RT-DETR 更换骨干网络之 MobileNetV3 | 《搜寻 MobileNetV3》

RT-DETR 更换骨干网络之 MobileNetV3 | 《搜寻 MobileNetV3》

论文地址：https://arxiv.org/abs/1905.02244 代码地址：https://github.com/xiaolai-sqlai/mobilenetv3 我们展示了基于互补搜索技术和新颖架构设计相结合的下一代 MobileNets。MobileNetV3通过结合硬件感知网络架构搜索（NAS）和 NetAdapt算法对移动设计如何协同工作，利用互…
阅读更多...
《RT-DETR改进实战》专栏介绍 专栏目录《限时特惠中》

《RT-DETR改进实战》专栏介绍 专栏目录《限时特惠中》

《RT-DETR改进实战专栏》介绍及目录 介绍：欢迎来到最新专栏《RT-DETR改进实战》！这个专栏专注于基于 YOLOv8 项目的魔改版本，而不是百度飞桨框架中的 RT-DETR。 本专栏为想通过改进 RT-DETR 算法发表论文的同学设计。每篇文章均包含完整的改…
阅读更多...
原论文一比一复现 | 更换 RT-DETR 主干网络为 【VGG13】【VGG16】【VGG19】| 对比实验必备

原论文一比一复现 | 更换 RT-DETR 主干网络为 【VGG13】【VGG16】【VGG19】| 对比实验必备

本专栏内容均为博主独家全网首发，未经授权，任何形式的复制、转载、洗稿或传播行为均属违法侵权行为，一经发现将采取法律手段维护合法权益。我们对所有未经授权传播行为保留追究责任的权利。请尊重原创，支持创作者的努力，共同维护网络知识产权。 论文地址：https://arxiv.o…
阅读更多...
DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精读笔记

DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 论文精读笔记

DEFORMABLE DETR DEFORMABLE DETR: DEFORMABLE TRANSFORMERS FOR END-TO-END OBJECT DETECTION 参考：AI-杂货铺-Transformer跨界CV又一佳作！Deformable DETR：超强的小目标检测算法！ 摘要 摘要部分，作者主要说明了如…
阅读更多...
Transformer实战-系列教程21：DETR 源码解读8 损失计算:（SetCriterion类）

Transformer实战-系列教程21：DETR 源码解读8 损失计算:（SetCriterion类）

🚩🚩🚩Transformer实战-系列教程总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在Pycharm中进行 本篇文章配套的代码资源已经上传 点我下载源码 DETR 算法解读 DETR 源码解读1（项目配置/CocoDetection类/ConvertCocoP…
阅读更多...
手把手教你 RT-DETR 添加注意力机制 | 一次性添加 20+ 种！

手把手教你 RT-DETR 添加注意力机制 | 一次性添加 20+ 种！

RT-DETR 添加注意力机制 ！ 本来想多发一些自己的个人魔改，但是有些同学还是需要一些基础的注意力改进，那么大家可以先用这篇文章的代码，我同样给大家提供了很多的模板。 文章目录 RT-DETR 添加注意力机制 ！注意力机制介绍注意力机制的分类1. SE 注意力模块1.1 原理1.2 代码…
阅读更多...
计算机视觉算法——基于Transformer的目标检测（DN DETR / DINO / Sparser DETR / Lite DETR）

计算机视觉算法——基于Transformer的目标检测（DN DETR / DINO / Sparser DETR / Lite DETR）

计算机视觉算法——基于Transformer的目标检测（DN DETR / DINO） 计算机视觉算法——基于Transformer的目标检测（DN DETR / DINO）1. DN DETR1.1 Stablize Hungarian Matching1.2 Denoising1.3 Attention Mask 2. DINO2.1 Contrasti…
阅读更多...
RT-DTER 引入用于低分辨率图像和小物体的新 CNN 模块 SPD-Conv

RT-DTER 引入用于低分辨率图像和小物体的新 CNN 模块 SPD-Conv

论文地址：https://arxiv.org/pdf/2208.03641v1.pdf 代码地址：https://github.com/labsaint/spd-conv 卷积神经网络(CNN)在图像分类、目标检测等计算机视觉任务中取得了巨大的成功。然而，在图像分辨率较低或对象较小的更困难的任务中，它们的性能会迅速下降。 这源于现有CNN…
阅读更多...
RTDETR 引入 UniRepLKNet：用于音频、视频、点云、时间序列和图像识别的通用感知大卷积神经网络 | DRepConv

RTDETR 引入 UniRepLKNet：用于音频、视频、点云、时间序列和图像识别的通用感知大卷积神经网络 | DRepConv

大卷积神经网络（ConvNets）近来受到了广泛研究关注，但存在两个未解决且需要进一步研究的关键问题。1）现有大卷积神经网络的架构主要遵循传统ConvNets或变压器的设计原则，而针对大卷积神经网络的架构设计仍未得到解决。2）随着变压器在多个领域的主导地位，有待研究ConvNets…
阅读更多...

Copyright @ 2022~2023