為faster-RCNN-TF制作PASCAL VOC2007格式的數(shù)據(jù)集

一害驹、數(shù)據(jù)集準(zhǔn)備

我們做目標(biāo)檢測(cè)的深度學(xué)習(xí)時(shí)透绩,大家都知道要有訓(xùn)練(train)集芥挣,驗(yàn)證(valid)集和測(cè)試(test)集兆龙,數(shù)據(jù)集的格式也有很多種位迂,我們這里使用的是pascal_voc數(shù)據(jù)格式。如下圖是voc2007數(shù)據(jù)集文件夾格式
  1. Annotations文件夾
    該文件下存放的是xml格式的標(biāo)簽文件详瑞,每個(gè)xml文件都對(duì)應(yīng)于JPEGImages文件夾的一張圖片。
  2. JPEGImages文件夾
    該文件夾下存放的是數(shù)據(jù)集圖片臣缀,包括訓(xùn)練和測(cè)試圖片坝橡,一般都是jpg格式的照片,如果有必要的話(huà)可以將其他格式的照片轉(zhuǎn)換成jpg或者用PNG格式精置,這個(gè)在后續(xù)會(huì)有提到
  3. ImageSets文件夾
    該文件夾下存放了三個(gè)文件夾计寇,分別是Layout、Main脂倦、Segmentation番宁。在這里我們只用存放圖像數(shù)據(jù)的Main文件夾,其他兩個(gè)暫且不管赖阻。
  4. SegmentationClass文件和SegmentationObject文件蝶押。
    這兩個(gè)文件都是與圖像分割相關(guān),跟咱們這個(gè)沒(méi)有太大關(guān)系火欧,先不管棋电。

1. Annotations文件夾

Annotations文件夾中存放的是xml格式的標(biāo)簽文件,每一個(gè)xml文件都對(duì)應(yīng)于JPEGImages文件夾中的一張圖片苇侵。xml文件的解析如下所示(這是我自己做的數(shù)據(jù)集的注釋文件赶盔,想看原始的可以去下載PASCAL VOC2007原始數(shù)據(jù)集(http://host.robots.ox.ac.uk/pascal/VOC/voc2007/)):

<annotation>
        <folder>faster-RCNN-test1</folder>
        <filename>000001.jpg</filename>                                        #文件名
        <path>G:\UAV\faster-RCNN-test1\000001.jpg</path>                       #命名這個(gè)文件的文件夾名,不重要
        <source>                                                               #圖像來(lái)源榆浓,不重要 
                <database>Unknown</database>
        </source>
        <size>                                                                 #圖像尺寸于未,包括長(zhǎng)、寬和通道數(shù)
                <width>4608</width>
                <height>3456</height>
                <depth>3</depth>
        </size>
        <segmented>0</segmented>                                               #是否用于分割陡鹃,在目標(biāo)識(shí)別中01無(wú)所謂
        <object>                                                               #檢測(cè)到的物體
                <name>succulent_root</name>                                    #物體類(lèi)別
                <pose>Unspecified</pose>                                       #拍攝角度
                <truncated>0</truncated>                                       #是否被截?cái)啵?表示完整
                <difficult>0</difficult>                                       #目標(biāo)是否難以識(shí)別烘浦,0表示容易識(shí)別
                <bndbox>                                                       #bounding-box,包含左下角和右上角xy坐標(biāo)
                        <xmin>2136</xmin>
                        <ymin>2031</ymin>
                        <xmax>2302</xmax>
                        <ymax>2207</ymax>
                </bndbox>
        </object>
        <object>                                                              #檢測(cè)到幾個(gè)物體萍鲸,其他與第一個(gè)物體同樣
                <name>pots</name>
                <pose>Unspecified</pose>
                <truncated>0</truncated>
                <difficult>0</difficult>
                <bndbox>
                        <xmin>1844</xmin>
                        <ymin>1748</ymin>
                        <xmax>2547</xmax>
                        <ymax>2400</ymax>
                </bndbox>
        </object>
        <object>
                <name>tag</name>
                <pose>Unspecified</pose>
                <truncated>0</truncated>
                <difficult>0</difficult>
                <bndbox>
                        <xmin>2719</xmin>
                        <ymin>1152</ymin>
                        <xmax>3743</xmax>
                        <ymax>1724</ymax>
                </bndbox>
        </object>
</annotation>

2. JPEGImages文件夾

  1. JPEGImages 內(nèi)部存放了PASCAL VOC所提供的所有的圖片谎倔,包括了訓(xùn)練圖片、驗(yàn)證圖片和測(cè)試圖片
  2. 這些圖像的像素尺寸大小不一猿推,但是橫向圖的尺寸大約在500375左右片习,縱向圖的尺寸大約在375500左右捌肴,基本不會(huì)偏差超過(guò)100。(在之后的訓(xùn)練中藕咏,第一步就是將這些圖片都resize到300300或是500500状知,所有原始圖片不能離這個(gè)標(biāo)準(zhǔn)過(guò)遠(yuǎn)。

3. ImageSets文件夾

ImageSets存放的是每一種類(lèi)型的challenge對(duì)應(yīng)的圖像數(shù)據(jù)孽查。

我們只需要準(zhǔn)備三個(gè)文件夾即可饥悴,即剛才重點(diǎn)介紹的3個(gè)文件夾,Annotation盲再,JPEGImages和ImageSets文件夾西设。

  1. 準(zhǔn)備訓(xùn)練所需的圖片,圖片命名成VOC2007格式答朋,這樣可以免去許多麻煩贷揽,下面是一個(gè)批量重命名文件的代碼:
import os

path = r'G:\\UAV\\faster-RCNN-test\\'
savedpath = r'G:\\UAV\\faster-RCNN-test1\\'

filelist = os.listdir(path)
for i in range(0 , len(filelist)):
    input_img = path + filelist[i]
    output_img = savedpath + '%06d' % (i + 1) + '.jpg'
    print(input_img)
    print(output_img)
    os.rename(input_img , output_img)
  1. 對(duì)圖片進(jìn)行注釋?zhuān)疫@里使用的是Windows10 + Anaconda + LabelImg來(lái)做的,具體做法參見(jiàn)我的另一篇簡(jiǎn)書(shū)(http://www.reibang.com/p/bda8ea406498
  2. 將數(shù)據(jù)集分隔成三部分分別用于faster-RCNN的訓(xùn)練梦碗,驗(yàn)證和測(cè)試禽绪,可以通過(guò)以下代碼來(lái)實(shí)現(xiàn):
import cv2
import os
import random
 
root = '/public/chenhx/Deep_learning_architecture/Faster-RCNN_TF/data/VOCdevkit/VOC2007/faster-RCNN-test1'
fp = open(root + '/'+'name_list.txt' , 'r')
fp_trainval = open(root + '/'+'trainval.txt', 'w')
fp_test = open(root + '/'+'test.txt', 'w')
fp_train = open(root + '/'+'train.txt', 'w')
fp_val = open(root + '/'+'val.txt', 'w')
 
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    x = random.uniform(0, 1)
    pic_info = pic_name.split('.')[0]
    #  this 0.5 represents 50% of the data as trainval data
    if x >= 0.5:
        fp_trainval.writelines(pic_info + '\n')
 
    else:
        fp_test.writelines(pic_info + '\n')
 
fp_trainval.close()
fp_test.close()
 
 
 
fp = open(root + '/' +'trainval.txt')
filenames = fp.readlines()
for i in range(len(filenames)):
    pic_name = filenames[i]
    pic_name = pic_name.strip()
    pic_info = pic_name.split('.')[0]
    x = random.uniform(0, 1)
    #  This 0.5 represents 50% of the trainval data as train data
    if x >= 0.5:
        fp_train.writelines(pic_info + '\n')
    else:
        fp_val.writelines(pic_info + '\n')
fp_train.close()

預(yù)訓(xùn)練模型、數(shù)據(jù)集的具體路徑放在:

- Faster-RCNN_TF
    - data
        - VOCdevkit2007
            - VOC2007
                - JPEGImages
                - Annotations
                - ImageSets
        - pretrain_model
            - VGG_imagenet.npy

至此洪规,準(zhǔn)備完畢S∑ā!斩例!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末雄人,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子念赶,更是在濱河造成了極大的恐慌柠衍,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,539評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件晶乔,死亡現(xiàn)場(chǎng)離奇詭異珍坊,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)正罢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評(píng)論 3 396
  • 文/潘曉璐 我一進(jìn)店門(mén)阵漏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人翻具,你說(shuō)我怎么就攤上這事履怯。” “怎么了裆泳?”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,871評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵叹洲,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我工禾,道長(zhǎng)运提,這世上最難降的妖魔是什么蝗柔? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,963評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮民泵,結(jié)果婚禮上癣丧,老公的妹妹穿的比我還像新娘。我一直安慰自己栈妆,他們只是感情好胁编,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評(píng)論 6 393
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著鳞尔,像睡著了一般嬉橙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上寥假,一...
    開(kāi)封第一講書(shū)人閱讀 51,763評(píng)論 1 307
  • 那天市框,我揣著相機(jī)與錄音,去河邊找鬼昧旨。 笑死,一個(gè)胖子當(dāng)著我的面吹牛祥得,可吹牛的內(nèi)容都是我干的兔沃。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼级及,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼乒疏!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起饮焦,我...
    開(kāi)封第一講書(shū)人閱讀 39,357評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤怕吴,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后县踢,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體转绷,經(jīng)...
    沈念sama閱讀 45,850評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評(píng)論 3 338
  • 正文 我和宋清朗相戀三年硼啤,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了议经。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,144評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡谴返,死狀恐怖煞肾,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嗓袱,我是刑警寧澤,帶...
    沈念sama閱讀 35,823評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站涮雷,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏闪萄。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評(píng)論 3 331
  • 文/蒙蒙 一耸黑、第九天 我趴在偏房一處隱蔽的房頂上張望桃煎。 院中可真熱鬧,春花似錦大刊、人聲如沸为迈。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,026評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)葫辐。三九已至,卻和暖如春伴郁,著一層夾襖步出監(jiān)牢的瞬間耿战,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,150評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工焊傅, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留剂陡,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,415評(píng)論 3 373
  • 正文 我出身青樓狐胎,卻偏偏與公主長(zhǎng)得像鸭栖,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子握巢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評(píng)論 2 355