darkNet YOLOv4 + labelme 目標(biāo)檢測(cè)任務(wù)半自動(dòng)標(biāo)注

閑話：標(biāo)注數(shù)據(jù)一直都是深度學(xué)習(xí)中代價(jià)非常大的工作，而重復(fù)勞動(dòng)對(duì)人來說又是極痛苦的。做了幾個(gè)目標(biāo)檢測(cè)的項(xiàng)目后一直想要做一個(gè)半自動(dòng)標(biāo)注的工具卓囚，但是對(duì)GUI類界面從設(shè)計(jì)到功能感覺工作量還是挺大的幸海，之前也沒有多少經(jīng)驗(yàn)。突然想到菩貌，為什么一定得自己做一個(gè)呢，把檢測(cè)到的結(jié)果轉(zhuǎn)換成labelme格式的json文件重荠，用labelme來對(duì)結(jié)果進(jìn)行修改不是很好嗎箭阶？本著這樣的想法于是就有了下面的內(nèi)容，這也省掉了非常非常多的精力戈鲁，事情也變得簡(jiǎn)單了仇参。

摘要：

本篇文章針對(duì)的是darkNet YOLOv4目標(biāo)檢測(cè)類的任務(wù)的數(shù)據(jù)半自動(dòng)標(biāo)注問題，具體的流程就是：
1.先手動(dòng)標(biāo)注小批量數(shù)據(jù)訓(xùn)練模型婆殿；
2.用模型對(duì)另一小批數(shù)據(jù)進(jìn)行預(yù)測(cè)诈乒；
3.把檢測(cè)的結(jié)果轉(zhuǎn)換成labelme格式的json文件，用labelme打開進(jìn)行調(diào)整修改婆芦；
4.修改后的數(shù)據(jù)加入訓(xùn)練集怕磨，訓(xùn)練模型喂饥；
5.數(shù)據(jù)量足夠則結(jié)束，否則回到第2步肠鲫。

@[toc]

1. darkNet 讀取圖片預(yù)測(cè)

1.1 打包darknet

darknet配置可參考link
這里采用把項(xiàng)目darkNet框架導(dǎo)出為dll文件調(diào)用的方式员帮，這樣可以是程序變得精簡(jiǎn)有條理。用vs編譯下面的yolo_cpp_dll即可导饲。

在這里插入圖片描述

1.2 配置新項(xiàng)目

opencv配置包含目錄捞高，庫(kù)目錄

在這里插入圖片描述
連接器--->附加依賴項(xiàng)

在這里插入圖片描述
項(xiàng)目源文件處添加三個(gè)文件
darknet.h,yolo_v2_class.hpp是darknet項(xiàng)目中的文件
yolo_cpp_dll.lib由yolo_cpp_dll.sln項(xiàng)目編譯生成

在這里插入圖片描述
項(xiàng)目exe路徑處添加兩個(gè)dll文件
yolo_cpp_dll.dll由yolo_cpp_dll.sln項(xiàng)目編譯生成；
pthreadVC2.dll是darkNet的依賴項(xiàng)帜消，在darkNet項(xiàng)目中的darknet\build\darknet\x64路徑下

在這里插入圖片描述

2. 預(yù)測(cè)結(jié)果轉(zhuǎn)換為labelme格式

2.1 說明

darknet yolo檢測(cè)出來的結(jié)果是用std::vector<bboxt> 格式存儲(chǔ)的棠枉，bbox_t是結(jié)構(gòu)體，在yolo_v2_class.hpp中定義如下:

struct bbox_t {
    unsigned int x, y, w, h;       // (x,y) - top-left corner, (w, h) - width & height of bounded box
    float prob;                    // confidence - probability that the object was found correctly
    unsigned int obj_id;           // class of object - from range [0, classes-1]
    unsigned int track_id;         // tracking id for video (0 - untracked, 1 - inf - tracked object)
    unsigned int frames_counter;   // counter of frames on which the object was detected
    float x_3d, y_3d, z_3d;        // center of object (in Meters) if ZED 3D Camera is used
};

labelme中標(biāo)注類型為rectangle類型時(shí)的標(biāo)簽文件內(nèi)容如下泡挺，
[圖片上傳失敗...(image-6ca85c-1625645408509)]

2.2 轉(zhuǎn)換函數(shù)

int resultWriteToJson(const std::string jsonPath, const std::string imagePath, const int imgH, const int imgW, const std::vector<bbox_t> &result)
{   
    //input
    //jsonPath:      json file  abspath,
    //imagePath:     labelme contain the image path,(write to json)

    std::ofstream out(jsonPath, std::ios::out);//std::ios::app add to  bottom of the file
    if (!out.is_open())
    {
        std::cout << "cant open the " << jsonPath << "!\n";
        return -1;
    }

    // write the json table head 
    out << "{\n" << "\"version\":\"4.5.7\",\n";
    out << "\"flags\" : {},\n";
    out << "\"shapes\" : [\n";

    //
    for (int i = 0; i < result.size(); i++)
    {
        bbox_t box = result[i];
        out << "{\n";
        out << "\"label\":" << "\"" << box.obj_id << "\",\n";
        out << "\"points\":[\n";
        out << "[\n" << box.x << ",\n" << box.y << "\n],\n";
        out << "[\n" << box.x + box.w << ",\n" << box.y + box.h << "\n]\n";
        out << "],\n";
        out << "\"group_id\":null,\n";
        out << "\"shape_type\":\"rectangle\",\n";
        out << "\"flags\":{}\n";
        out << "}";
        if (i != result.size() - 1) out << ",\n";//最后一個(gè)}后面沒有逗號(hào)","

    }
    out << "],\n";
    out << "\"imagePath\" :" << "\"" << imagePath << "\",\n";
    out << "\"imageData\" :" << "null,\n";
    out << "\"imageHeight\":" << imgH << ",\n";
    out << "\"imageWidth\":" << imgW << "\n";
    out << "}\n";

    out.close();
    return 0;
}

2.3 轉(zhuǎn)換示例

用模型讀取一張圖片預(yù)測(cè)辈讶，把結(jié)果轉(zhuǎn)為labelme格式如下圖，與2.1中的手動(dòng)標(biāo)注的文件比較可以發(fā)現(xiàn)娄猫，除了格式?jīng)]有縮進(jìn)外贱除，其他內(nèi)容都是一樣的了(預(yù)測(cè)的位置和手動(dòng)標(biāo)注的位置有差別是正常的)，用labelme是可以讀取的媳溺。