YOLO v3訓(xùn)練自己的數(shù)據(jù)集(GPU)

環(huán)境:Ubuntu 16.04 + CUDA8.0 + cudnn5.1

下載模型:
git clone https://github.com/pjreddie/darknet  
cd darknet
修改Makefile文件配置:

在darknet目錄下

gedit Makefile
GPU=1 #如果使用GPU設(shè)置為1闺魏,CPU設(shè)置為0
CUDNN=1  #如果使用CUDNN設(shè)置為1资厉,否則為0
OPENCV=1 #如果調(diào)用攝像頭或顯示圖片碳柱,還需要設(shè)置OPENCV為1氮昧,否則為0
OPENMP=0  #如果使用OPENMP設(shè)置為1考润,否則為0
DEBUG=0  #如果使用DEBUG設(shè)置為1,否則為0

ARCH= -gencode arch=compute_30,code=sm_30 \
      -gencode arch=compute_35,code=sm_35 \
      -gencode arch=compute_50,code=[sm_50,compute_50] \
      -gencode arch=compute_52,code=[sm_52,compute_52]
#      -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?
# This is what I use, uncomment if you know your arch and want to specify
ARCH= -gencode arch=compute_61,code=compute_61 #取消此行注釋并將52改為61,因為我的GPU是1050Ti和1080Ti肮疗,具體GPU算力是多少可以百度

... ...
NVCC=/home/user/cuda-8.0/bin/nvcc   #NVCC=nvcc 修改為自己的路徑
... ...
COMMON+= -DGPU -I/home/hebao/cuda-8.0/include/  #修改為自己的路徑,我的這部分改為cuda也能運行
CFLAGS+= -DGPU
LDFLAGS+= -L/home/hebao/cuda-8.0/lib64 -lcuda -lcudart -lcublas -lcurand  #修改為自己的路徑
編譯:

在darknet目錄下

make

若前面的路徑錯誤或GPU算力不匹配都會報錯柬讨,在服務(wù)器上跑的話將Makefile中的opencv置0崩瓤,否則報錯。

下載權(quán)重踩官,運行demo:

在darknet目錄下

wget https://pjreddie.com/media/files/yolov3.weights
./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

若demo運行成功却桶,則說明沒問題。

制作自己的VOC數(shù)據(jù)集:

詳見另一篇文章蔗牡。
這里說一下颖系,我用的VOC2007數(shù)據(jù)集,一般只需要將Annotations替換為自己的xml文件辩越,JPEGImages替換為自己的.jpg圖片即可嘁扼。
需要注意的是VOCdevkit文件目錄在darknet下。

下載voc_label.py文件:

在darknet目錄下:

wget https://pjreddie.com/media/files/voc_label.py
gedit voc_label.py

修改文件:

sets=[('2007', 'train'), ('2007', 'test'), ('2007', 'val')]  #刪除2012的部分
 
classes = ["man", "woman"]    #設(shè)置為自己的類別

運行修改的voc_label.py文件:

python voc_label.py

將會發(fā)現(xiàn)darknet目錄下會出現(xiàn)幾個.txt文件黔攒,然后將其合在一起:

cat 2007_train.txt 2007_val.txt > train.txt

此時會發(fā)現(xiàn)darknet目錄下出現(xiàn)了一個train.txt文件

修改voc.data文件:
gedit cfg/voc.data
classes= 2   #你的數(shù)據(jù)及類別
train  = /home/pxt/darknet/train.txt   #上步產(chǎn)生的train.txt文件路徑
valid  = /home/pxt/darknet/test.txt    #上步生成的test.txt文件路徑
names = data/voc.names
backup = backup
修改voc.names文件:
gedit data/voc.names
man   #自己的數(shù)據(jù)集標(biāo)簽
woman
修改yolov3-voc.cfg文件:
gedit cfg/yolov3-voc.cfg
# Testing
#batch=1    #注釋測試
#subdivisions=1
# Training
batch=32    #取消測試趁啸,現(xiàn)存小的話將batch改小,subdivisions變大
subdivisions=16
還有3處位置都需要修改,可以在gedit下ctrl+f查找yolo找到這三處:
[convolutional]
size=1
stride=1
pad=1
filters=21    # 3*(類別數(shù)+5) 我的類別是2類督惰,所以是21
activation=linear
 
[yolo]
mask = 6,7,8
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2    #修改類別數(shù)
num=9
jitter=.3
ignore_thresh = .5
truth_thresh = 1
random=1   #若現(xiàn)存較小不傅,可將此項設(shè)為0,不改不影響
下載預(yù)訓(xùn)練權(quán)重:
wget https://pjreddie.com/media/files/darknet53.conv.74
開始訓(xùn)練:
訓(xùn)練前可以修改迭代次數(shù):
vim yolov3-voc.cfg

打開文件內(nèi)容如下:

[net]
# Testing
#batch=1
#subdivisions=1
# Training
batch=64
subdivisions=16
width=416
height=416
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1

learning_rate=0.001
burn_in=1000
max_batches = 50200   #在此處修改最大迭代數(shù)赏胚,我的設(shè)置為20000
policy=steps
steps=40000,45000
scales=.1,.1
然后進(jìn)行訓(xùn)練:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

訓(xùn)練的模型將保存在darknet/backup路徑下

若模型訓(xùn)練一半后中斷访娶,想要接著上次的結(jié)果繼續(xù)訓(xùn)練,則可執(zhí)行如下命令:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights -gpus 1

即選用最新保存的模型進(jìn)行訓(xùn)練觉阅,但超過10000次后每10000次才保存一次模型崖疤,所以如果上次運行到19999次迭代時中斷,則只能從第10000次迭代保存的模型處開始訓(xùn)練留拾,修改保存模型的間隔的方法暫時未找戳晌。

選擇圖片測試模型:

測試前先打開yolov3-voc.cfg文件修改測試數(shù)據(jù):

vim yolov3-voc.cfg

然后修改如下:

[net]
# Testing
batch=1      #取消注釋這兩行
subdivisions=1
# Training     #注釋這兩行
#batch=64
#subdivisions=16

測試任意圖片:

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights VOCdevkit/VOC2007/JPEGImages/000123.jpg
注:test是指測試,backup/yolov3-voc_20000.weights是指選取的模型路徑痴柔,這里我選用了迭代20000次時保存的權(quán)重模型沦偎,VOCdevkit/VOC2007/JPEGImages/000123.jpg是我選用的測試圖片路徑,隨意選擇了一張VOC數(shù)據(jù)集中的訓(xùn)練圖片,如果要像demo一樣運行的話可以將要測試的圖片保存在data文件夾下豪嚎。

到此為止搔驼,已經(jīng)可以用訓(xùn)練了自己的數(shù)據(jù)集的YOLO權(quán)重模型來測試任意一張圖片,但這里還有一個問題侈询,就是顯示出檢測后的圖片時無法保存圖像舌涨,且這個方法每次都只能測試一張圖片,如何批量化測試多張圖片并保存結(jié)果呢扔字?下面將進(jìn)行介紹囊嘉。

批量化測試圖片并保存:

這里需要修改darknet/examples目錄下的detector.c文件

step1:

在文件開頭添加*GetFilename(char *p)函數(shù)如下:

#include "darknet.h"

static int coco_ids[] = {1,2,3,4,5,6,7,8,9,10,11,13,14,15,16,17,18,19,20,21,22,23,24,25,27,28,31,32,33,34,35,36,37,38,39,40,41,42,43,44,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,67,70,72,73,74,75,76,77,78,79,80,81,82,84,85,86,87,88,89,90};

char *GetFilename(char *p)     //此函數(shù)為在原文件中新加的
{ 
    static char name[20]={""};
    char *q = strrchr(p,'/') + 1;
    strncpy(name,q,6);//注意后面的6,如果你的測試集的圖片的名字字符(不包括后綴)是其他長度革为,請改為你需要的長度(官方的默認(rèn)的長度是6)
    return name;
}

step2:

將detector.c繼續(xù)往下翻扭粱,找到test_detector函數(shù)修改如下:
由于修改的地方比較多,不便一一標(biāo)注震檩,故建議直接復(fù)制粘貼替換之琢蛤,但注意修改里面的三個路徑,該路徑為你要保存批處理操作后的圖片檢測結(jié)果的文件路徑抛虏。

void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, char *outfile, int fullscreen)
{
    list *options = read_data_cfg(datacfg);
    char *name_list = option_find_str(options, "names", "data/names.list");
    char **names = get_labels(name_list);
 
    image **alphabet = load_alphabet();
    network *net = load_network(cfgfile, weightfile, 0);
    set_batch_network(net, 1);
    srand(2222222);
    double time;
    char buff[256];
    char *input = buff;
    float nms=.45;
    int i=0;
    while(1){
        if(filename){
            strncpy(input, filename, 256);
            image im = load_image_color(input,0,0);
            image sized = letterbox_image(im, net->w, net->h);
        //image sized = resize_image(im, net->w, net->h);
        //image sized2 = resize_max(im, net->w);
        //image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
        //resize_network(net, sized.w, sized.h);
            layer l = net->layers[net->n-1];
 
 
            float *X = sized.data;
            time=what_time_is_it_now();
            network_predict(net, X);
            printf("%s: Predicted in %f seconds.\n", input, what_time_is_it_now()-time);
            int nboxes = 0;
            detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
            //printf("%d\n", nboxes);
            //if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
            if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
                draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
                free_detections(dets, nboxes);
            if(outfile)
             {
                save_image(im, outfile);
             }
            else{
                save_image(im, "predictions");
#ifdef OPENCV
                //cvNamedWindow("predictions", CV_WINDOW_NORMAL); 
                //if(fullscreen){
                //cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
               // }
               // show_image(im, "predictions");
               // cvWaitKey(0);
               // cvDestroyAllWindows();
#endif
            }
            free_image(im);
            free_image(sized);
            if (filename) break;
         } 
        else {
            printf("Enter Image Path: ");
            fflush(stdout);
            input = fgets(input, 256, stdin);
            if(!input) return;
            strtok(input, "\n");
   
            list *plist = get_paths(input);
            char **paths = (char **)list_to_array(plist);
             printf("Start Testing!\n");
            int m = plist->size;
            if(access("/home/pxt/darknet/data/out",0)==-1)//"/home/FENGsl/darknet/data"修改成自己的路徑
            {
              if (mkdir("/home/pxt/darknet/data/out",0777))//"/home/FENGsl/darknet/data"修改成自己的路徑
               {
                 printf("creat file bag failed!!!");
               }
            }
            for(i = 0; i < m; ++i){
             char *path = paths[i];
             image im = load_image_color(path,0,0);
             image sized = letterbox_image(im, net->w, net->h);
        //image sized = resize_image(im, net->w, net->h);
        //image sized2 = resize_max(im, net->w);
        //image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
        //resize_network(net, sized.w, sized.h);
        layer l = net->layers[net->n-1];
 
 
        float *X = sized.data;
        time=what_time_is_it_now();
        network_predict(net, X);
        printf("Try Very Hard:");
        printf("%s: Predicted in %f seconds.\n", path, what_time_is_it_now()-time);
        int nboxes = 0;
        detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
        //printf("%d\n", nboxes);
        //if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
        if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
        draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
        free_detections(dets, nboxes);
        if(outfile){
            save_image(im, outfile);
        }
        else{
             
             char b[2048];
            sprintf(b,"/home/pxt/darknet/data/out/%s",GetFilename(path));//"/home/FENGsl/darknet/data"修改成自己的路徑
            
            save_image(im, b);
            printf("save %s successfully!\n",GetFilename(path));
#ifdef OPENCV
            //cvNamedWindow("predictions", CV_WINDOW_NORMAL); 
            //if(fullscreen){
            //    cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
           // }
           // show_image(im, "predictions");
            //cvWaitKey(0);
            //cvDestroyAllWindows();
#endif
        }
 
        free_image(im);
        free_image(sized);
        if (filename) break;
        }
      }
    }
}
step3:

打開中端進(jìn)入/darknet目錄下博其,進(jìn)行重新編譯:

make

若編譯通過,則可進(jìn)行下一步迂猴,編譯中可能有warning慕淡,不用理會,不影響最終結(jié)果错忱。

step4:

將想要測試的圖片路徑儡率,放到一個.txt文檔中,比如新建一個.txt文檔:

vim test.txt

然后將測試圖片的路徑放到該文件中以清。

step5:

運行測試:
本操作是在darknet目錄下進(jìn)行

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg yolov3-voc_final.weights

運行加載模型成功后提示你在中斷輸入圖片路徑:

Loading weights from yolov3-voc_final.weights...Done!
Enter Image Path: 

將剛才新建的test.txt文件路徑輸入按回車即可儿普。
或者也可以將訓(xùn)練時生成的2007_test.txt文件路徑輸入
如我的2007_test.txt文件即放在darknet路徑下,輸入如下:

Enter Image Path: 2007_test.txt

按回車后即開始批量測試掷倔。
按照前面修改detector.c文件時設(shè)置的檢測后圖片保存路徑眉孩,我將圖片保存在data/out路徑下,測試結(jié)束后即可在該文件夾下看到保存的圖片勒葱。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末浪汪,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子凛虽,更是在濱河造成了極大的恐慌死遭,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,907評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件凯旋,死亡現(xiàn)場離奇詭異呀潭,居然都是意外死亡钉迷,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評論 3 395
  • 文/潘曉璐 我一進(jìn)店門钠署,熙熙樓的掌柜王于貴愁眉苦臉地迎上來糠聪,“玉大人,你說我怎么就攤上這事谐鼎〗Ⅲ。” “怎么了?”我有些...
    開封第一講書人閱讀 164,298評論 0 354
  • 文/不壞的土叔 我叫張陵狸棍,是天一觀的道長身害。 經(jīng)常有香客問我,道長草戈,這世上最難降的妖魔是什么题造? 我笑而不...
    開封第一講書人閱讀 58,586評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮猾瘸,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘丢习。我一直安慰自己牵触,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,633評論 6 392
  • 文/花漫 我一把揭開白布咐低。 她就那樣靜靜地躺著揽思,像睡著了一般。 火紅的嫁衣襯著肌膚如雪见擦。 梳的紋絲不亂的頭發(fā)上钉汗,一...
    開封第一講書人閱讀 51,488評論 1 302
  • 那天,我揣著相機(jī)與錄音鲤屡,去河邊找鬼损痰。 笑死,一個胖子當(dāng)著我的面吹牛酒来,可吹牛的內(nèi)容都是我干的卢未。 我是一名探鬼主播,決...
    沈念sama閱讀 40,275評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼堰汉,長吁一口氣:“原來是場噩夢啊……” “哼辽社!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起翘鸭,我...
    開封第一講書人閱讀 39,176評論 0 276
  • 序言:老撾萬榮一對情侶失蹤滴铅,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后就乓,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體汉匙,經(jīng)...
    沈念sama閱讀 45,619評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡拱烁,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,819評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了盹兢。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片邻梆。...
    茶點故事閱讀 39,932評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖绎秒,靈堂內(nèi)的尸體忽然破棺而出浦妄,到底是詐尸還是另有隱情,我是刑警寧澤见芹,帶...
    沈念sama閱讀 35,655評論 5 346
  • 正文 年R本政府宣布剂娄,位于F島的核電站,受9級特大地震影響玄呛,放射性物質(zhì)發(fā)生泄漏阅懦。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,265評論 3 329
  • 文/蒙蒙 一徘铝、第九天 我趴在偏房一處隱蔽的房頂上張望耳胎。 院中可真熱鬧,春花似錦惕它、人聲如沸怕午。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽郁惜。三九已至,卻和暖如春甲锡,著一層夾襖步出監(jiān)牢的瞬間兆蕉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1 269
  • 我被黑心中介騙來泰國打工缤沦, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留虎韵,地道東北人。 一個月前我還...
    沈念sama閱讀 48,095評論 3 370
  • 正文 我出身青樓缸废,卻偏偏與公主長得像劝术,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子呆奕,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,884評論 2 354

推薦閱讀更多精彩內(nèi)容