实例分割算法

news/2024/6/3 17:28:57 标签: 算法, 深度学习, 目标检测

实例分割 COCO挑战赛
http://cocodataset.org/#detection-leaderboard

Mask Scoring R-CNN

2019-CVPR-华中科技大学-Mask Scoring R-CNN

Mask Scoring R-CNN

蒙版得分(mask score)
https://www.jiqizhixin.com/articles/2019-05-15-4

代码(只针对COCO数据集)
https://github.com/zjhuang22/maskscoring_rcnn
https://github.com/XiaoLaoDi/maskscoring_rcnn
https://github.com/zjhuang22/maskscoring_rcnn/issues/27#issuecomment-478257021

因为在原本不好的分割mask上打了更低的分,经过后处理之后删掉这些不好的mask,相当于降低false positive?从而分数有提高?
https://blog.csdn.net/weixin_37993251/article/details/88248361

解读
https://www.cnblogs.com/wemo/p/10505970.html

================================================================== 调试 =================================================================

The NVIDIA driver on your system is too old (found version 9000)
使用pytorch1.1.0版本解决

_C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN3c106Device8validateEv

EDIT: Somehow uninstalling torch and torchvision and deleting the copies from /lib/python3.6/site-packages/ and reinstalling them fixed my issue.
The current versions are as follows: torch-1.1.0 torchvision-0.3.0.
https://github.com/facebookresearch/maskrcnn-benchmark/issues/891

ImportError: libcudart.so.9.0: cannot open shared object file: No such file or directory
没有解决(重装cuda10.1和pytorch1.3.0)
https://github.com/pytorch/vision/issues/946
https://github.com/pytorch/pytorch/issues/10910

ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:852)

--no-check-certificate
https://blog.csdn.net/sunny_happy08/article/details/83146209
 

Hybrid Task Cascade

实例分割这个问题近几年的发展在很大程度上是由 COCO 数据集和比赛推动的。

Hybrid Task Cascade(HTC)在 COCO 2018 的比赛中也取得了第一名。

https://zhuanlan.zhihu.com/p/57629509

代码
PyTorch 1.1 or higher
CUDA 9.0 or higher
https://github.com/open-mmlab/mmdetection/blob/master/docs/INSTALL.md

陈恺,香港中文大学多媒体实验室博士生,COCO 2018 Instance Segmentation Challenge 冠军团队成员。

2014 年有一项很重要的工作是 R-CNN,它是将物体检测首次应用于深度学习中的一篇论文,引用量非常高,影响也非常广泛。它的主要思路是将物体检测转化为这么一个问题:首先找到一个 region(区域),然后对 region 做分类。之后作者又提出了 Fast R-CNN,它是一个基于 R-CNN 的算法,运算速度显著提高。

2015 年,这一群人又提出了 Faster R-CNN,它在速度上相比 Fast R-CNN 有了更大的提高,主要是改进了怎样在 Fast R-CNN 和 R-CNN 中找 region 的过程,Faster R-CNN 也是用深度学习的方法得到一些 region(称之为 proposal),然后再用这些 proposal 来做分类。虽然距离 Faster R-CNN 的提出已经三年多了,但它依旧是使用非常广泛的一种算法

2016 年,代季峰等人提出了 R-FCN,它在 Faster R-CNN 的基础上进行了改进,当时它在性能和速度都有非常大的提高。

2017 年有两篇影响力非常大的论文,FPN 和 Mask R-CNN。FPN 也就是 Feature Pyramid Network,它相当于生成了 feature pyramid,然后再用多个 level 的 feature 来做 prediction。Mask R-CNN 这篇论文获得了 ICCV 2017 的最佳论文,由何恺明他们提出,其在 Faster R-CNN 基础上增加了 mask branch,可以用来做实例分割,同时因为有 multi-task learning,因此它对物体框的性能也有很大的提高。

2018 年,沿着 Faster R-CNN 这条路线提出的方法有 Cascade R-CNN,它将 cascade 结构用在了 Faster R-CNN 中,同时也解决了一些 training distribution 的一些问题,因此它的性能是比较高的。另外还有两篇比较重要的论文——Relaiton Network 和 SNIP。
https://www.yanxishe.com/blogDetail/10372

mmdetection安装教程
https://www.cnblogs.com/marsggbo/p/11240534.html

The NVIDIA driver on your system is too old (found version 9000)
好像是有个驱动的版本太老,使用pytorch1.1.0版本解决

cannot find -lcudart

sudo ln -s /usr/local/cuda/lib64/libcudart.so /usr/lib/libcudart.so
https://blog.csdn.net/jacke121/article/details/54342176

unable to execute '/usr/local/cuda-9.2/bin/nvcc': No such file or directory

nvcc --version

没有解决
https://blog.csdn.net/ksws0292756/article/details/84859903
https://github.com/facebookresearch/maskrcnn-benchmark/issues/25


YOLACT

2019-ICCV-YOLACT: Real-time Instance Segmentation

在 MS COCO 数据集上做出了第一个实时的实例分割模型

https://zhuanlan.zhihu.com/p/76470432

代码
https://github.com/dbolya/yolact/
 

全景分割

目前图像分割任务发展出了以下几个子领域:语义分割(semantic segmentation)、实例分割(instance segmentation)以及今年(2018年)刚兴起的新领域全景分割(panoptic segmentation)。

全景分割可以说是语义分割和实例分割的结合,下图是同一张原图的全景分割结果,每个 stuff 类别与 things 类别都被分割开

原图

语义分割

实例分割

全景分割

https://www.jiqizhixin.com/articles/2018-12-24-12


http://www.niftyadmin.cn/n/1355529.html

相关文章

视频语义分割

图像语义分割任务取得了很大的突破,然而视频语义分割仍然是一个十分具有挑战性的任务 视频语义分割主要研究的重点大致有两个方向:第一个是如何利用视频帧之间的时序信息来提高图像分割的精度,第二个是如何利用帧之间的相似性来减少模型计算…

视频物体分割

视频分割(文章列表) Learning to Segment Instances in Videos with Spatial Propagation Network CVPRW2017 http://bbs.cvmart.net/topics/753/1?order_byvote_count& 视频语义分割(Video semantic segmentation)调研&…

CNN学习 LeNet

学习CNN mnist代码 TensorFlow实现 https://zhuanlan.zhihu.com/p/27870208 bug最终解决!!! OneHot问题 https://stackoverflow.com/questions/49065312/valueerror-cannot-feed-value-of-shape-50-for-tensor-placeholder-10-which LeNet-5…

图像分类/识别 AlexNet

Lenet,1998年 Alexnet,2012年 改进模型 ZFNet GoogleNet,2014年 VGG,2014年 ResNet,2015年 Deep Residual Learning,2015年 从下往上看: LeNet 7层:卷积、池化、卷积、池化、卷积…

图像分类/识别 GoogleNet

googlenet,14年比赛冠军的model,这个model证明了一件事:用更多的卷积,更深的层次可以得到更好的结构。 GoogLeNet提出了Inception新模块,以增加网络的宽度 Inception结构: 一般来说,提升网…

图像分类/识别 VGG

VGG有很多个版本&#xff0c;也算是比较稳定和经典的model。它的特点也是连续conv多&#xff0c;计算量巨大&#xff08;比前面几个都大很多&#xff09;。&#xff08;参数量&#xff1a;GoogleNet < AlexNet < VGG&#xff09; http://www.sohu.com/a/134347664_642762…

图像分类/识别 ResNet

ResNet残差网络,最早的 ResNet 是由 MSRA团队提出的一个 152 层的网络&#xff0c;在2015年的 ILSVRC2015 取得了冠军,比14年的 VGG 和 GoogLeNet 好了不少 随着网络越来越深&#xff0c;大家发现&#xff0c;仅仅靠 BN、ReLU、DropOut 等 Trick无法解决收敛问题&#xff0c;相…

Unet深度学习网络

2015年《U-Net: Convolutional Networks for Biomedical Image Segmentation》 先对图片进行卷积和池化&#xff0c;在Unet论文中是池化4次&#xff0c;比方说一开始的图片是224x224的&#xff0c;那么就会变成112x112&#xff0c;56x56,28x28,14x14四个不同尺寸的特征。然后我…