【终端目标检测03】nanodet训练自己的数据集、NCNN部署到Android

news/2024/7/10 0:23:06 标签: 目标检测, android, 人工智能

nanodet训练自己的数据集、NCNN部署到Android

    • 一、介绍
    • 二、训练自己的数据集
      • 1. 运行环境
      • 2. 数据集
      • 3. 配置文件
      • 4. 训练
      • 5. 训练可视化
      • 6. 测试
    • 三、部署到android
      • 1. 使用官方权重文件部署
        • 1.1 下载权重文件
        • 1.2 使用Android Studio部署apk
      • 2. 部署自己的模型【暂时存在问题】
        • 2.1 生成ncnn模型
        • 2.2 部署到android

一、介绍

看看作者自己的介绍吧

NanoDet-Plus 知乎中文介绍

NanoDet 知乎中文介绍

在这里插入图片描述

二、训练自己的数据集

1. 运行环境

conda create -n nanodet python=3.8 -y
conda activate nanodet

conda install pytorch torchvision cudatoolkit=11.1 -c pytorch -c conda-forge

git clone https://github.com/RangiLyu/nanodet.git
cd nanodet

pip install -r requirements.txt

python setup.py develop

2. 数据集

该示例最后使用的是coco格式的标注文件，下方提供了一个voc转coco的脚本。

import os
from tqdm import tqdm
import xml.etree.ElementTree as ET
import json
 
class_names = ["cat", "bird", "dog"]


def voc2coco(data_dir, train_path, val_path):
    xml_dir = os.path.join(data_dir, 'Annotations')
    img_dir = os.path.join(data_dir, 'JPEGImages')
     
    train_xmls = []
    for f in os.listdir(train_path):
        train_xmls.append(os.path.join(train_path, f))
    val_xmls = []
    for f in os.listdir(val_path):
        val_xmls.append(os.path.join(val_path, f))

    print('got xmls')
    train_coco = xml2coco(train_xmls)
    val_coco = xml2coco(val_xmls)
    with open(os.path.join(data_dir, 'coco_train.json'), 'w') as f:
        json.dump(train_coco, f, ensure_ascii=False, indent=2)
        json.dump(val_coco, f, ensure_ascii=False, indent=2)
    print('done')
 
 
def xml2coco(xmls):
    coco_anno = {'info': {}, 'images': [], 'licenses': [], 'annotations': [], 'categories': []}
    coco_anno['categories'] = [{'supercategory': j, 'id': i + 1, 'name': j} for i, j in enumerate(class_names)]
    img_id = 0
    anno_id = 0
    for fxml in tqdm(xmls):
        try:
            tree = ET.parse(fxml)
            objects = tree.findall('object')
        except:
            print('err xml file: ', fxml)
            continue
        if len(objects) < 1:
            print('no object in ', fxml)
            continue
        img_id += 1
        size = tree.find('size')
        ih = float(size.find('height').text)
        iw = float(size.find('width').text)
        img_name = fxml.strip().split('/')[-1].replace('xml', 'jpg')
        img_name = img_name.split('\\')
        img_name = img_name[-1]
        img_info = {}
        img_info['id'] = img_id
        img_info['file_name'] = img_name
        img_info['height'] = ih
        img_info['width'] = iw
        coco_anno['images'].append(img_info)
 
        for obj in objects:
            cls_name = obj.find('name').text
            if cls_name == "water":
                continue
            bbox = obj.find('bndbox')
            x1 = float(bbox.find('xmin').text)
            y1 = float(bbox.find('ymin').text)
            x2 = float(bbox.find('xmax').text)
            y2 = float(bbox.find('ymax').text)
            if x2 < x1 or y2 < y1:
                print('bbox not valid: ', fxml)
                continue
            anno_id += 1
            bb = [x1, y1, x2 - x1, y2 - y1]
            categery_id = class_names.index(cls_name) + 1
            area = (x2 - x1) * (y2 - y1)
            anno_info = {}
            anno_info['segmentation'] = []
            anno_info['area'] = area
            anno_info['image_id'] = img_id
            anno_info['bbox'] = bb
            anno_info['iscrowd'] = 0
            anno_info['category_id'] = categery_id
            anno_info['id'] = anno_id
            coco_anno['annotations'].append(anno_info)
 
    return coco_anno

if __name__ == '__main__':
    save_dir = './datasets/annotations' # 保存json文件的路径
    train_dir = './datasets/annotations/train/' # 训练集xml文件的存放路径
    val_dir = './datasets/annotations/val/' # 验证集xml文件的存放路径
    voc2coco(save_dir, train_dir, val_dir)

最后数据集的路径如下：

-datasets
|--images
|	|--train
|	|	|--00001.jpg
|	|	|--00004.jpg
|	|	|--...
|	|--val
|	|	|--00002.jpg
|	|	|--00003.jpg
|	|	|--...
|--annatotions
|	|--coco_train.json
|	|--coco_val.json

3. 配置文件

以nanodet-m-416.yml为例，对照自己的数据集主要修改以下部分

model:
	head:
		num_classes: 3 # 数据集类别数
		
data:
  train:
    img_path: F:/datasets/images/train # 训练集图片路径
    ann_path: F:/datasets/annotations/coco_train.json # 训练集json文件路径
  val:
    img_path: F:/datasets/images/val # 验证集图片路径
    ann_path: F:/datasets/annotations/coco_val.json # 验证集json文件路径
    
device:
  gpu_ids: [0] # GPU
  workers_per_gpu: 8 # 线程数
  batchsize_per_gpu: 60 # batch size

schedule:
  total_epochs: 280 # 总epoch数
  val_intervals: 10 # 每10个epoch进行输出一次对验证集的识别结果
  
class_names: ["cat", "bird", "dog"] # 数据集类别

4. 训练

python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml

如果训练中途断了，需要接着训练。首先修改nanodet-m-416.yml中resume和load_model这两行注释去掉，并将model_last.ckpt的路径补上（注意去掉注释后检查下这两行缩进是否正确），然后再python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml。

schedule:
  resume:
  load_model: F:/nanodet/workspace/nanodet_m_416/model_last.ckpt
  optimizer:
    name: SGD
    lr: 0.14
    momentum: 0.9
    weight_decay: 0.0001

报错：

OSError: [WinError 1455] 页面文件太小，无法完成操作。 Error loading "F:\Anaconda3\envs\
nanodet\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.

方案：减小配置文件中线程数workers_per_gpu，或者直接设为0不使用并行。

5. 训练可视化

TensorBoard日志保存在./nanodet/workspace/nanodet_m_416路径下，可视化命令如下：

tensorboard --logdir=./nanodet/workspace/nanodet_m_416

在这里插入图片描述

6. 测试

方法一：

python demo/demo.py image --config config/legacy_v0.x_configs/nanodet-m-416.yml --model nanodet_m_416.ckpt --path test.jpg

方法二：

运行demo\demo-inference-with-pytorch.ipynb脚本（修改代码中from demo.demo import Predictor为from demo import Predictor）

在这里插入图片描述

android_230">三、部署到android

1. 使用官方权重文件部署

1.1 下载权重文件

1）在F:\nanodet\demo_android_ncnn\app\src\main路径下新建一个文件夹assets；

2）将F:\nanodet\demo_android_ncnn\app\src\main\cpp\ncnn-20211208-android-vulkan路径下的nanodet-plus-m_416.bin和nanodet-plus-m_416.param复制到F:\nanodet\demo_android_ncnn\app\src\main\assets下，并重命名为nanodet.bin和nanodet.param；

3）（可选）下载Yolov4和v5的ncnn模型到F:\nanodet\demo_android_ncnn\app\src\main\assets路径下；

在这里插入图片描述

1.2 使用Android Studio部署apk

使用Android Studio打开F:\nanodet\demo_android_ncnn文件夹，按照自己的安卓版本选择相应的Platforms，值得注意的是，NDK需要安装21.0.6113669版本的，否则会报错类似“No version of NDK matched the requested version 21.0.6113669. Versions available locally: 21.3.6528147”。【详细操作可以查看我之前的文章中的1.2节：【终端目标检测01】基于NCNN将YOLOX部署到Android】

在这里插入图片描述

部署结果：
在这里插入图片描述

2. 部署自己的模型【暂时存在问题】

2.1 生成ncnn模型
  • 先转换为onnx文件：
python tools/export_onnx.py --cfg_path config\legacy_v0.x_configs\nanodet-m-416.yml --model_path nanodet_m_416.ckpt
  • 再转换为ncnn模型：

使用在线转换https://convertmodel.com/

在这里插入图片描述

将转换后的bin和param文件放置到assets文件夹下，可以重命名为nanodet.bin和nanodet.param，也可以修改jni_interface.cpp文件中NanoDet::detector = new NanoDet(mgr, "nanodet_self-sim-opt.param", "nanodet_self-sim-opt.bin", useGPU);

android_276">2.2 部署到android

我使用的是nanodet-m-416.yml训练了自己的模型，按照官方的文档修改nanodet.h中超参数，make project和run app都没有报错，但是手机运行程序时识别有问题（类别并不是我自己数据集的类别），暂时还没发现问题所在。

在这里插入图片描述


http://www.niftyadmin.cn/n/5158251.html

相关文章

Python学习笔记--类的访问控制

Python学习笔记--类的访问控制

九、类的访问控制 1、类属性的访问控制 在 Java 中&#xff0c;有 public &#xff08;公共&#xff09;属性 和 private &#xff08;私有&#xff09;属性&#xff0c;这可以对属性进行访问控制。 那么在 Python 中有没有属性的访问控制呢&#xff1f; 一般情况下&#x…
阅读更多...
Tomcat中的Server组件

Tomcat中的Server组件

https://tomcat.apache.org/tomcat-10.1-doc/config/server.html 一个Server 元素代表整个Catalina servlet容器&#xff0c;因此&#xff0c;在conf/server.xml配置文件中&#xff0c;唯一一个Server 元素在最外层。它的属性代表了servlet容器作为一个整体的特性。 部分属性…
阅读更多...
打印由*组成的菱形

打印由*组成的菱形

如图所示&#xff0c;这是我们要用代码所实现的图形。 那么我们该如何实现这个呢&#xff0c;对于这种题&#xff0c;我们只有静下心来找其中的规律了。 我们先来看看它的上面部分&#xff1a; 它是由空格和星号组成的&#xff0c;那么我们是不是可以先打印空格然后再打印星号…
阅读更多...
产品公告 | MemFire Cloud V1内测版即将停止服务

产品公告 | MemFire Cloud V1内测版即将停止服务

尊敬的用户&#xff1a; 感谢各位一直以来反馈的宝贵意见与建议&#xff0c;帮助我们不断的改进产品服务&#xff01;&#xff01;在过去的时光里&#xff0c;我们共同见证了这款MemFire Cloud V1版应用开发的成长与变化。今天&#xff0c;我们怀着无比感慨的心情宣布&#xf…
阅读更多...
在web页面音视频录制并下载到本地——MediaRecorder

在web页面音视频录制并下载到本地——MediaRecorder

音视频录制前需要获取到流&#xff0c;使用 navigator.mediaDevices 来完成。 navigator.mediaDevices MediaDevices 接口提供访问连接媒体输入的设备&#xff0c;如照相机和麦克风&#xff0c;以及屏幕共享等。它可以使你取得任何硬件资源的媒体数据。 简单介绍一下MediaDe…
阅读更多...
go程序获取工作目录及可执行程序存放目录的方法-linux

go程序获取工作目录及可执行程序存放目录的方法-linux

简介 工作目录 通常就是指用户启动应用程序时&#xff0c;用户当时所在的文件夹的绝对路径。 如&#xff1a;root用户登录到linux系统后&#xff0c;一顿cd&#xff08;change directory&#xff09;后, 到了/tmp文件夹下。此时&#xff0c;用户要启动某个应用程序&#xff0…
阅读更多...
Java当中的队列

Java当中的队列

队列是一种特殊的线性表&#xff0c;它只允许在表的前端进行删除操作&#xff0c;而在表的后端进行插入操作。LinkedList类实现了Queue接口&#xff0c;因此我们可以把LinkedList当成Queue来用。LinkedList链表 以下实例演示了队列&#xff08;Queue&#xff09;的用法&#x…
阅读更多...
同步代码块和同步方法相同点和区别；同一对象中的两个synchronized方法，可以被同时访问吗？

同步代码块和同步方法相同点和区别；同一对象中的两个synchronized方法，可以被同时访问吗？

同一对象的syn进入不同的同步代码块 同步代码块和同步方法有什么区别 相同点: 同步方法就是在方法前加关键字 synchronized&#xff0c;然后被同步的方法一次只 能有一个线程进入&#xff0c;其他线程等待。而同步代码块则是在方法内部使用大括 号使得一个代码块得到同步。同步…
阅读更多...
最新文章

Copyright @ 2022~2023