TensorFlow Hub--用一行代碼完成遷移學(xué)習(xí)

TensorFlow Hub簡(jiǎn)介

TensorFlow Hub是一個(gè)用于促進(jìn)機(jī)器學(xué)習(xí)模型中可復(fù)用部分再次進(jìn)行探索與發(fā)布的庫(kù)囊卜,主要將預(yù)訓(xùn)練過(guò)的TensorFlow模型片段再次利用到新的任務(wù)上车要。(可以理解為做遷移學(xué)習(xí))

要使用TensorFlow Hub需要你本地安裝的TensorFlow的版本在1.7以上(TensorFlow的安裝配置過(guò)程本文不做介紹责语,若有需要葵孤,可以參考此文

通過(guò)以下命令即可安裝TensorFlow Hub
pip install tensorflow-hub

下載好的TensorFlow Hub版本信息如下圖所示


版本信息.png

TensorFlow Hub使用

方便起見,我們使用TensorFlow Hub官方提供的花卉圖片集來(lái)作為我們的數(shù)據(jù)集吝岭,網(wǎng)絡(luò)條件允許的讀者宛裕,可以使用如下命令下載圖片集
cd ~
curl -LO http://download.tensorflow.org/example_images/flower_photos.tgz
tar xzf flower_photos.tgz

下載不下來(lái)也沒(méi)事肤无,本人貼心的準(zhǔn)備了百度云鏈接
鏈接: https://pan.baidu.com/s/1NVl8uUU7iVktxE0g7Oa5jw 密碼: ivt8
下載下來(lái)之后解壓即可槽惫。

解壓之后我們可以看到周叮,flower_photos文件夾下包含了如下幾個(gè)子文件夾辩撑,每一個(gè)子文件夾的名字都代表了其中圖片的標(biāo)簽,如dandelion(蒲公英)文件夾下的所有圖片皆為蒲公英的圖片则吟。

數(shù)據(jù)集目錄.png

有了圖片集了槐臀,我們還需要用于遷移學(xué)習(xí)的訓(xùn)練代碼。
同樣氓仲,也可以通過(guò)如下命令下載用于遷移學(xué)習(xí)的訓(xùn)練代碼
mkdir ~/example_code
cd ~/example_code
curl -LO https://github.com/tensorflow/hub/raw/master/examples/image_retraining/retrain.py

讀者也可自行前往TensorFlow Hub的官方GitHub倉(cāng)庫(kù)下載。
我們需要使用的是hub-master\examples\image_retraining路徑下的retrain.py文件得糜,這個(gè)py文件是官方為我們準(zhǔn)備好的用作圖片分類遷移學(xué)習(xí)的樣板代碼敬扛。

關(guān)鍵的地方到了

如何用一行代碼實(shí)現(xiàn)復(fù)雜的遷移學(xué)習(xí)

因?yàn)楸救说膖ensorflow-gpu庫(kù)裝在單獨(dú)的環(huán)境下,所以我需要啟用Anaconda Prompt,然后激活我所要用的指定環(huán)境
activate my_special_env
(若用系統(tǒng)Path路徑下的python環(huán)境朝抖,則忽略上一步)

再將路徑cd到你本地retrain.py文件的路徑下(具體的路徑根據(jù)自己的實(shí)際情況更改啥箭,下圖為本人的路徑地址)


路徑地址.png

最后,最關(guān)鍵的一行代碼來(lái)了:
python retrain.py --image_dir ~/flower_photos
(~/flower_photos為下載下來(lái)解壓好的圖片集的路徑治宣,請(qǐng)根據(jù)實(shí)際情況修改)

然后急侥,遷移學(xué)習(xí)的訓(xùn)練就跑起來(lái)了~!


TensorFlow Hub小貼士

1.為什么訓(xùn)練一直卡在downloading位置侮邀?
因?yàn)門ensorFlow Hub是通過(guò)url的形式獲取的網(wǎng)上發(fā)布的模型坏怪,如果你有幸成功跑完整個(gè)訓(xùn)練,你可以在C:\Users\你的用戶名\AppData\Local\Temp\tfhub_modules中看到一個(gè)文件夾和一個(gè)txt文本
其中绊茧,txt文本的內(nèi)容如下:
Module: https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1
Download Time: 2018-07-02 18:21:36.051380
Downloader Hostname: WSJ-LAPTOP (PID:18172)
從中不難看出铝宵,TensorFlow Hub是將從網(wǎng)上下載的inception_v3模型用作我們剛才遷移學(xué)習(xí)的預(yù)訓(xùn)練模型(通過(guò)閱讀retrain.py的源碼你也能發(fā)現(xiàn)這一點(diǎn)),所以如果網(wǎng)絡(luò)狀態(tài)不好或者翻墻不順的話华畏,那就自然是下載不下來(lái)的......

2.訓(xùn)練完后的的模型文件保存在哪兒鹏秋?
默認(rèn)是保存在tmp/文件夾下的,因?yàn)楸救藃etrain.py文件所在盤符為E盤亡笑,所以所有訓(xùn)練生成的瓶頸文件侣夷,ckpt文件,pb文件仑乌,label文件都在E:\tmp路徑下百拓。

3.訓(xùn)練完的模型中,輸入和輸出的tensor分別是什么绝骚?
根據(jù)官方文檔耐版,輸入的tensor是"Placeholder",輸出的tensor是"final_result"压汪。讀者可以使用官方的圖像分類預(yù)測(cè)代碼來(lái)測(cè)試已訓(xùn)練好的模型粪牲。此文不展開描述測(cè)試的具體步驟,讀者可自行查閱

4.除了默認(rèn)的模型止剖,我們還可以用哪些預(yù)訓(xùn)練模型腺阳?
retrain.py中--tfhub_moduled的默認(rèn)值即為inception_v3模型的url落君,如需替換模型,可以參考官方文檔亭引,其中列舉了所有可用到的已發(fā)布的官方預(yù)訓(xùn)練模型绎速。

tfhub_module.png


若想了解更多的資料,如超參數(shù)的設(shè)置等詳細(xì)配置信息焙蚓,請(qǐng)大家自行查閱官方GitHub倉(cāng)庫(kù)
TensorFlow Hub最新中文網(wǎng)站:https://tensorflow.google.cn/hub/



若您覺得本文章對(duì)您有用纹冤,請(qǐng)您為我點(diǎn)上一顆小心心以表支持。感謝购公!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末萌京,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子宏浩,更是在濱河造成了極大的恐慌知残,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,348評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件比庄,死亡現(xiàn)場(chǎng)離奇詭異求妹,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)佳窑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門制恍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人华嘹,你說(shuō)我怎么就攤上這事吧趣。” “怎么了耙厚?”我有些...
    開封第一講書人閱讀 156,936評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵强挫,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我薛躬,道長(zhǎng)俯渤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,427評(píng)論 1 283
  • 正文 為了忘掉前任型宝,我火速辦了婚禮八匠,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘趴酣。我一直安慰自己梨树,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,467評(píng)論 6 385
  • 文/花漫 我一把揭開白布岖寞。 她就那樣靜靜地躺著抡四,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上指巡,一...
    開封第一講書人閱讀 49,785評(píng)論 1 290
  • 那天淑履,我揣著相機(jī)與錄音,去河邊找鬼藻雪。 笑死秘噪,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的勉耀。 我是一名探鬼主播指煎,決...
    沈念sama閱讀 38,931評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼便斥!你這毒婦竟也來(lái)了贯要?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,696評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤椭住,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后字逗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體京郑,經(jīng)...
    沈念sama閱讀 44,141評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,483評(píng)論 2 327
  • 正文 我和宋清朗相戀三年葫掉,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了些举。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,625評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡俭厚,死狀恐怖户魏,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情挪挤,我是刑警寧澤叼丑,帶...
    沈念sama閱讀 34,291評(píng)論 4 329
  • 正文 年R本政府宣布,位于F島的核電站扛门,受9級(jí)特大地震影響鸠信,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜论寨,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,892評(píng)論 3 312
  • 文/蒙蒙 一星立、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧葬凳,春花似錦绰垂、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至荐健,卻和暖如春酱畅,著一層夾襖步出監(jiān)牢的瞬間琳袄,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工纺酸, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留窖逗,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,324評(píng)論 2 360
  • 正文 我出身青樓餐蔬,卻偏偏與公主長(zhǎng)得像碎紊,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子樊诺,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,492評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容