第44周學習總結——im2txt代碼實踐

這周計劃本來是將im2txt的模型用代碼實現一遍,然后開始跑模型了锚国。但是蒙袍,現在卻還沒完成俊卤。主要花費的時間部分為:做數據集7+個小時,整合im2txt與NMT代碼3+個小時害幅。

做數據集

以往做圖片的數據集,應該使用TFRecord格式來進行讀取岂昭。但是以现,我在使用的過程中發(fā)現,1萬張圖片寫入到TFRecord文件中约啊,占用的空間達到了2.7個G邑遏,按照這種比例來計算,整個比賽項目的數據有21萬恰矩,驗證數據集有3萬记盒,那么整個寫入到磁盤中,不得超過60個G外傅?我電腦中空間可沒有這么大纪吮,而且比賽的時候,到時還得將這60個G上傳到服務器萎胰,這也是個不小的時間開銷碾盟。

剛好,上周看了Importing Data技竟,而且冰肴,在seq2seq的項目中,我也用代碼實踐了榔组。所以打算熙尉,自己使用DataSet實現一個自己的數據集。這一改動搓扯,就各種報錯检痰,星期六的上午本來是打算直接開始模型代碼,確實整個上午一直處于報錯之中擅编。

后來攀细,在星期天的上午箫踩,終于仔細排查下,發(fā)現了是pad(它是用來填充位置谭贪,保持數據長度一致)設置的問題境钟。因為我在使用圖片名讀取圖片后,pad_batch函數不知道怎么自己設置這個圖片數據的pad數據了俭识。后來慨削,我直接將pad_types的維度修改下,然后將pad_values去掉就好了套媚。但是缚态,我覺得這還不是很好的解決方案,因為文字序列堤瘤,我需要設置pad玫芦,暫時還沒找到方法,而且我的pad_id其實和默認值0是一樣的本辐,就暫時先放放這個了桥帆。

下圖是終于能看到數據了


整合im2txt與NMT代碼

看了im2txt的源代碼,發(fā)現相比于NMT慎皱,它簡單很多老虫,相比于seq2seq的代碼,那就更簡單了(由于seq2seq里面可以實現機器翻譯茫多、文本摘要祈匙、圖片字幕,所以它的封裝程度很高天揖,看起來非常復雜)夺欲。然后,我就打算在im2txt中一些代碼宝剖,改成NMT里面的實現方式洁闰,看看效果怎么樣。

然后万细,我就整合完了扑眉,不過,運行之后赖钞,又是報錯腰素。看時間也不早了雪营,然后明天開始調錯誤吧弓千!

總結與計劃

總結:在使用的過程中,又一次發(fā)現自己對tensorflow很不熟悉献起,當想要實現某些功能時洋访,都不知道該怎么用函數去實現镣陕。不過,現在比以前好多了姻政,里面一般的方法呆抑,自己知道怎么去查了。特別是發(fā)現其實tensorflow里面封裝了很多基本的方法汁展,例如字符串的操作鹊碍,分割、連接食绿、求長度等等侈咕,它里面其實也封裝了一系列方法去進行操作。上周看到tensorflow里面的這些操作時器紧,感覺耀销,有點進入一個新的世界。

計劃:

  • 將模型代碼跑通品洛,并盡快放到服務器開始跑树姨,這一周要看到效果。
  • 看看seq2seq中對im2txt的實現桥状,看看有沒有更好的trick
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市硝清,隨后出現的幾起案子辅斟,更是在濱河造成了極大的恐慌,老刑警劉巖芦拿,帶你破解...
    沈念sama閱讀 206,723評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件士飒,死亡現場離奇詭異,居然都是意外死亡蔗崎,警方通過查閱死者的電腦和手機酵幕,發(fā)現死者居然都...
    沈念sama閱讀 88,485評論 2 382
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來缓苛,“玉大人芳撒,你說我怎么就攤上這事∥辞牛” “怎么了笔刹?”我有些...
    開封第一講書人閱讀 152,998評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長冬耿。 經常有香客問我舌菜,道長,這世上最難降的妖魔是什么亦镶? 我笑而不...
    開封第一講書人閱讀 55,323評論 1 279
  • 正文 為了忘掉前任日月,我火速辦了婚禮袱瓮,結果婚禮上,老公的妹妹穿的比我還像新娘爱咬。我一直安慰自己尺借,他們只是感情好,可當我...
    茶點故事閱讀 64,355評論 5 374
  • 文/花漫 我一把揭開白布台颠。 她就那樣靜靜地躺著褐望,像睡著了一般。 火紅的嫁衣襯著肌膚如雪串前。 梳的紋絲不亂的頭發(fā)上瘫里,一...
    開封第一講書人閱讀 49,079評論 1 285
  • 那天,我揣著相機與錄音荡碾,去河邊找鬼谨读。 笑死,一個胖子當著我的面吹牛坛吁,可吹牛的內容都是我干的劳殖。 我是一名探鬼主播,決...
    沈念sama閱讀 38,389評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼拨脉,長吁一口氣:“原來是場噩夢啊……” “哼哆姻!你這毒婦竟也來了?” 一聲冷哼從身側響起玫膀,我...
    開封第一講書人閱讀 37,019評論 0 259
  • 序言:老撾萬榮一對情侶失蹤矛缨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后帖旨,有當地人在樹林里發(fā)現了一具尸體箕昭,經...
    沈念sama閱讀 43,519評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 35,971評論 2 325
  • 正文 我和宋清朗相戀三年解阅,在試婚紗的時候發(fā)現自己被綠了落竹。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,100評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡货抄,死狀恐怖述召,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情碉熄,我是刑警寧澤桨武,帶...
    沈念sama閱讀 33,738評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站锈津,受9級特大地震影響呀酸,放射性物質發(fā)生泄漏。R本人自食惡果不足惜琼梆,卻給世界環(huán)境...
    茶點故事閱讀 39,293評論 3 307
  • 文/蒙蒙 一性誉、第九天 我趴在偏房一處隱蔽的房頂上張望窿吩。 院中可真熱鬧,春花似錦错览、人聲如沸纫雁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽轧邪。三九已至,卻和暖如春羞海,著一層夾襖步出監(jiān)牢的瞬間忌愚,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評論 1 262
  • 我被黑心中介騙來泰國打工却邓, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留硕糊,地道東北人。 一個月前我還...
    沈念sama閱讀 45,547評論 2 354
  • 正文 我出身青樓腊徙,卻偏偏與公主長得像简十,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子撬腾,可洞房花燭夜當晚...
    茶點故事閱讀 42,834評論 2 345

推薦閱讀更多精彩內容