keras 訓(xùn)練網(wǎng)絡(luò)初步

整理寫程序時對keras疑問。

keras代碼流程:

1.讀取dataset

tips:文件夾里有許多文件州泊,可能有隱藏文件什么的丧蘸,要設(shè)置ignore the hidden

 dirlist = []
        files = os.listdir(Dir+'/Detection')
        print('crop pic for detection...')
        # ignore the hidden documents
        for f in files:
            if (os.path.isdir(Dir + '/')):
                if (f[0] == '.'):
                    pass
                else:
                    dirlist.append(f)

作為需要切patch的dataset,讀了以后就順手切圖好了遥皂。 注意四周切到外圍用mirror的細(xì)節(jié)力喷,現(xiàn)在寫的代碼這一塊太low了刽漂,以后要改,提高切圖效率弟孟。切完了以后改code要加保存一下下一步贝咙。

做好了data和label后,記得shuffle拂募。 (自己load的數(shù)據(jù)集庭猩,不是用它給的load函數(shù)的話。keras官方里說shuffle有坑陈症,注意蔼水。)



shuffle和validation_split的順序
模型的fit函數(shù)有兩個參數(shù),shuffle用于將數(shù)據(jù)打亂录肯,validation_split用于在沒有提供驗證集的時候徙缴,按一定比例從訓(xùn)練集中取出一部分作為驗證集
這里有個陷阱是,程序是先執(zhí)行validation_split嘁信,再執(zhí)行shuffle的,所以會出現(xiàn)這種情況:
假如你的訓(xùn)練集是有序的疏叨,比方說正樣本在前負(fù)樣本在后潘靖,又設(shè)置了validation_split,那么你的驗證集中很可能將全部是負(fù)樣本
同樣的蚤蔓,這個東西不會有任何錯誤報出來卦溢,因為Keras不可能知道你的數(shù)據(jù)有沒有經(jīng)過shuffle,保險起見如果你的數(shù)據(jù)是沒shuffle過的秀又,最好手動shuffle一下

np.random.seed(1024)
random.shuffle(index)
data = data[index]
label = label[index]
splitpoint = int(round(num * 0.8))
(X_train, X_val) = (data[0:splitpoint], data[splitpoint:])
(Y_train, Y_val) = (label[0:splitpoint], label[splitpoint:])
X_train=X_train/255
X_val=X_val/255
  1. 寫個model
    我寫在 model.py里了单寂,感覺這樣train程序簡潔一些。
    注意用tf 和th 的維度順序不同吐辙。 tensorflow是 num x H x W x Channel
  2. 編譯 需要設(shè)置 loss 等
    如果自己寫的label形如[0宣决,0,1昏苏,2尊沸,3,4贤惯,洼专、、孵构、屁商、]
from keras.utils.np_utils import to_categorical
categorical_labels = to_categorical(int_labels, nb_classes=None)
  1. 將模型存入json
model_json = model.to_json()
with open("model.json", 'w') as json_file:
    json_file.write(model_json)
  1. model.summary 運(yùn)行時查看model
  2. 用data_augmentation進(jìn)行實時數(shù)據(jù)擴(kuò)充:
    搜索時找到了應(yīng)用sklearn網(wǎng)格調(diào)參的文章 http://geek.csdn.net/news/detail/95494
    設(shè)置callback可用來做一些動作: 存儲最佳weight,調(diào)整學(xué)習(xí)率颈墅,tensorboard可視化蜡镶。
best_weights_filepath = './best_we
earlyStopping=kcallbacks.EarlyStopping(monitor='val_loss', 
patience=20, verbose=1, mode='auto')
saveBestModel = kcallbacks.ModelCheckpoint(best_weights_filepath, 
monitor='val_loss', verbose=1, save_best_only=True, mode='auto')
reduce_lr = kcallbacks.ReduceLROnPlateau(monitor='val_loss', 
factor=1/math.e,verbose=1, patience=10, min_lr=0.0001)
tensorboard = kcallbacks.TensorBoard(log_dir='/home/amanda/anaconda2/
envs/tensorflow/lib/python2.7/site-packages/keras/examples/log/softmax/epoch')

callback放到這用:

    # Fit the model on the batches generated by datagen.flow().
    model.fit_generator(datagen.flow(X_train, Ytrain_cate,
                                     batch_size=batch_size),
                        steps_per_epoch=X_train.shape[0] // batch_size,
                        epochs=epochs,
                        validation_data=(X_val, Yval_cate),
                        verbose=2,
                        callbacks=[earlyStopping,saveBestModel,reduce_lr,tensorboard])
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末雾袱,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子帽哑,更是在濱河造成了極大的恐慌谜酒,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,590評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件妻枕,死亡現(xiàn)場離奇詭異僻族,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)屡谐,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評論 3 399
  • 文/潘曉璐 我一進(jìn)店門述么,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人愕掏,你說我怎么就攤上這事度秘。” “怎么了饵撑?”我有些...
    開封第一講書人閱讀 169,301評論 0 362
  • 文/不壞的土叔 我叫張陵剑梳,是天一觀的道長。 經(jīng)常有香客問我滑潘,道長垢乙,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,078評論 1 300
  • 正文 為了忘掉前任语卤,我火速辦了婚禮寻定,結(jié)果婚禮上比藻,老公的妹妹穿的比我還像新娘卜高。我一直安慰自己戈泼,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,082評論 6 398
  • 文/花漫 我一把揭開白布眼滤。 她就那樣靜靜地躺著巴席,像睡著了一般。 火紅的嫁衣襯著肌膚如雪柠偶。 梳的紋絲不亂的頭發(fā)上情妖,一...
    開封第一講書人閱讀 52,682評論 1 312
  • 那天,我揣著相機(jī)與錄音诱担,去河邊找鬼毡证。 笑死,一個胖子當(dāng)著我的面吹牛蔫仙,可吹牛的內(nèi)容都是我干的料睛。 我是一名探鬼主播,決...
    沈念sama閱讀 41,155評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼恤煞!你這毒婦竟也來了屎勘?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,098評論 0 277
  • 序言:老撾萬榮一對情侶失蹤居扒,失蹤者是張志新(化名)和其女友劉穎概漱,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體喜喂,經(jīng)...
    沈念sama閱讀 46,638評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡瓤摧,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,701評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了玉吁。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片照弥。...
    茶點故事閱讀 40,852評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖进副,靈堂內(nèi)的尸體忽然破棺而出这揣,到底是詐尸還是另有隱情,我是刑警寧澤影斑,帶...
    沈念sama閱讀 36,520評論 5 351
  • 正文 年R本政府宣布给赞,位于F島的核電站,受9級特大地震影響矫户,放射性物質(zhì)發(fā)生泄漏塞俱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,181評論 3 335
  • 文/蒙蒙 一吏垮、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧罐旗,春花似錦膳汪、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至鼓蜒,卻和暖如春痹换,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背都弹。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評論 1 274
  • 我被黑心中介騙來泰國打工娇豫, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人畅厢。 一個月前我還...
    沈念sama閱讀 49,279評論 3 379
  • 正文 我出身青樓冯痢,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子浦楣,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,851評論 2 361

推薦閱讀更多精彩內(nèi)容