YOLOv3訓(xùn)練并檢測自己的數(shù)據(jù) 2020

1 配置環(huán)境

本機環(huán)境

系統(tǒng)：Windows10

Python：3
IDE：VS2017

nvcc -V

會出現(xiàn)版本信息

  • CUDNN：7.65
    需預(yù)先注冊賬號后下載：https://developer.nvidia.com/rdp/cudnn-download
    下載完后復(fù)制內(nèi)容到CUDA對應(yīng)文件夾內(nèi)

  • 神經(jīng)網(wǎng)絡(luò)：Darknet
    下載命令：git clone https://github.com/AlexeyAB/darknet
    需使用VS2017編譯[Release|64]，使用VS2017,且使用gpu踪旷，打開以下sln文件
    darknet-master\darknet-master\build\darknet\darknet.sln
    并使用文本文檔編輯darknet.vcxproj鸣奔，搜索得到兩處CUDA版本號，替換成自己的

編譯需添加OpenCV環(huán)境依賴

VC++ 目錄—>包含目錄—>編輯面褐，添加以下三項[選擇自己安裝位置的絕對路徑]

C:\opencv\build\include
C:\opencv\build\include\opencv
C:\opencv\build\include\opencv2

VC++ 目錄—>庫目錄中添加

C:\opencv\build\x64\vc15\lib

鏈接器->輸入->附加依賴項添加[根據(jù)自己安裝的版本]
opencv_world342d.lib
opencv_world342.lib

編譯完成后，darknet.exe會在x64文件夾中

2 數(shù)據(jù)集準備

2.1以VOC格式準備自己的數(shù)據(jù)集文件夾

├─VOCdevkit2007
│  └─VOC2007
│      ├─Annotations
│      ├─ImageSets
│      │  └─Main
│      ├─JPEGImages
│      └─labels
  • JPEGImages 用于放置待標注的圖像，格式為jpg

2.2使用腳本批量更改圖片名稱

import os
path = r'C:\Users\Dexter0ion\Desktop\TrainData\VOCdevkit2007\VOC2007\JPEGImages'
filelist = os.listdir(path) # 該文件夾下所有的文件（包括文件夾）
count=0 # 編號從0開始

for file in filelist:
    print(file)

for file in filelist:  
# 遍歷所有文件
    Olddir=os.path.join(path,file)   # 原來的文件路徑
    if os.path.isdir(Olddir):   # 如果是文件夾則跳過
        continue
    filename=os.path.splitext(file)[0]   # 文件名
    filetype=os.path.splitext(file)[1]   # 文件擴展名
    Newdir=os.path.join(path,str(count).zfill(6)+filetype)  # 用字符串函數(shù)zfill 以0補全所需位數(shù)
    os.rename(Olddir,Newdir) # 重命名
    count+=1

運行命令

python ./rename.py

2.3使用labelImg軟件對數(shù)據(jù)進行標注

labelImg下載地址：http://tzutalin.github.io/labelImg/

解壓后在data/predefined_classes.txt中修改預(yù)設(shè)的class名字

  • Open Dir[Ctrl+u] 選擇圖片目錄為JPEGImages
  • Change Save Dir[Ctrl+r] 選擇標注結(jié)果xml目錄為Annotations

即可開始標注寥茫，快捷鍵流程

[w]框選
[Ctrl+s]保存
[d]下一張

3.處理標注后的數(shù)據(jù)

3.1生成Main目錄下的txt文件

import os
import random

trainval_percent = 0.7   # trainval占總數(shù)的比例
train_percent = 0.5   # train占trainval的比例
xmlfilepath = r'C:\Users\Dexter0ion\Desktop\TrainData\VOCdevkit2007\VOC2007\Annotations'
txtsavepath = r'C:\Users\Dexter0ion\Desktop\TrainData\VOCdevkit2007\VOC2007\ImageSets\Main'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open(txtsavepath + r'\trainval.txt', 'w')
ftest = open(txtsavepath + r'\test.txt', 'w')
ftrain = open(txtsavepath + r'\train.txt', 'w')
fval = open(txtsavepath + r'\val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

運行命令
python ./generatetxt.py

3.2生成darknet可用的yolo類型數(shù)據(jù)

將VOCdevkit2007文件夾整個復(fù)制到

darknet-master\darknet-master\build\darknet

文件夾下

進入
darknet-master\darknetmaster\build\darknet\VOCdevkit2007
文件夾
創(chuàng)建voc_label.py腳本

voc_label.py[此次只訓(xùn)練一個目標，在classes中改為你要訓(xùn)練的目標名字顽耳，多個則用逗號分隔]

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]

classes = ["redbox"]


def convert(size, box):
    dw = 1./(size[0])
    dh = 1./(size[1])
    x = (box[0] + box[1])/2.0 - 1
    y = (box[2] + box[3])/2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_id):
    in_file = open('VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOC%s/labels/%s.txt'%(year, image_id), 'w')

    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('VOC%s/labels/'%(year)):
        os.makedirs('VOC%s/labels/'%(year))
    image_ids = open('VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()

    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()

os.system("cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt > train.txt")
os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")

之后會在VOC2007同目錄下得到

│  2007_test.txt
│  2007_train.txt
│  2007_val.txt

4 訓(xùn)練準備

需要配置

  • 下載 darknet53.conv.74 預(yù)訓(xùn)練權(quán)重
下載地址：http://pjreddie.com/media/files/darknet53.conv.74
下載后移動到：darknet-master\build\darknet\x64
文件夾下
  • 創(chuàng)建 data/obj.data 訓(xùn)練文本路徑配置
classes= 1
#自己先前生成文件的絕對路徑
train  = C:\Users\Dexter0ion\Desktop\TrainData\darknet-master\darknet-master\build\darknet\VOCdevkit2007\2007_train.txt  
valid  = C:\Users\Dexter0ion\Desktop\TrainData\darknet-master\darknet-master\build\darknet\VOCdevkit2007\2007_test.txt  
names = data/obj.names
backup = backup/
  • 創(chuàng)建 data/obj.name 分類名稱
redbox
  • 修改darknet-master\build\darknet\x64文件夾下yolov3.cfg訓(xùn)練配置坠敷，并重命名為yolo-obj.cfg

修改batch和subdivisions

修改max_batches（作者聲明最好是2000*訓(xùn)練目標個數(shù)妙同，但不要小于4000）和steps（80%，90%膝迎，降低學(xué)習(xí)率閾值）

修改三處[convolutional] [yolo]

filters = 3*(5+classes數(shù)目) classes = 本次訓(xùn)練目標數(shù)粥帚，即1個



5 開始訓(xùn)練

在darknet-master\build\darknet\x64目錄下運行指令

./darknet.exe detector train data/obj.data yolo-obj.cfg darknet53.conv.74 mjpeg_port 8090 -ext_output  | Out-File ./alpha_train_log.txt

注意：前100次loss會很高，之后會逐步下降

訓(xùn)練完成的權(quán)重文件默認保存在backup文件夾中

6 測試訓(xùn)練結(jié)果

復(fù)制yolo-obj.cfg且重命名為yolo-obj-test.cfg

在darknet-master\build\darknet\x64目錄下運行指令

./darknet detector test data/obj.data yolo-obj-test.cfg backup/yolo-obj_last.weights -thresh 0.1
thresh 為0限次，過低的結(jié)果
正常的結(jié)果
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末芒涡，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子卖漫，更是在濱河造成了極大的恐慌费尽，老刑警劉巖，帶你破解...
    沈念sama閱讀 211,817評論 6贊 492
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件羊始，死亡現(xiàn)場離奇詭異旱幼，居然都是意外死亡，警方通過查閱死者的電腦和手機突委，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3贊 385
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門柏卤，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人匀油，你說我怎么就攤上這事缘缚。” “怎么了敌蚜？”我有些...
    開封第一講書人閱讀 157,354評論 0贊 348
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵桥滨，是天一觀的道長。 經(jīng)常有香客問我弛车，道長齐媒，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 56,498評論 1贊 284
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任纷跛，我火速辦了婚禮里初，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘忽舟。我一直安慰自己双妨，他們只是感情好，可當我...
    茶點故事閱讀 65,600評論 6贊 386
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布叮阅。 她就那樣靜靜地躺著刁品，像睡著了一般。 火紅的嫁衣襯著肌膚如雪浩姥。 梳的紋絲不亂的頭發(fā)上挑随，一...
    開封第一講書人閱讀 49,829評論 1贊 290
  • 城市分裂傳說
    那天，我揣著相機與錄音勒叠，去河邊找鬼兜挨。 笑死膏孟，一個胖子當著我的面吹牛，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播，決...
    沈念sama閱讀 38,979評論 3贊 408
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼榨惰，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了魁淳？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 37,722評論 0贊 266
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤与倡，失蹤者是張志新（化名）和其女友劉穎界逛，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體纺座，經(jīng)...
    沈念sama閱讀 44,189評論 1贊 303
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡息拜，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,519評論 2贊 327
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了净响。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片该溯。...
    茶點故事閱讀 38,654評論 1贊 340
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖别惦，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情夫椭，我是刑警寧澤掸掸，帶...
    沈念sama閱讀 34,329評論 4贊 330
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站蹭秋，受9級特大地震影響扰付，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜仁讨，卻給世界環(huán)境...
    茶點故事閱讀 39,940評論 3贊 313
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一羽莺、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧洞豁，春花似錦盐固、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0贊 21
  • 一樁弒父案刁卜，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至曙咽，卻和暖如春蛔趴，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背例朱。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1贊 266
  • 情欲美人皮
    我被黑心中介騙來泰國打工孝情， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留鱼蝉，地道東北人。 一個月前我還...
    沈念sama閱讀 46,382評論 2贊 360
  • 代替公主和親
    正文 我出身青樓箫荡，卻偏偏與公主長得像魁亦，于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子菲茬，可洞房花燭夜當晚...
    茶點故事閱讀 43,543評論 2贊 349

推薦閱讀更多精彩內(nèi)容