六、圖片的下載

一缩麸、實現(xiàn)scrapy 自動下載圖片到本地的功能铸磅,通過項目管道設置。

首先要在setting中搭建pipeline的管道名稱

ITEM_PIPELINES= {

'mm.pipelines.MmPipeline':300,

'scrapy.pipelines.images.ImagesPipeline':1,

}

管道隊伍添加了新成員杭朱!后面的數(shù)字代表處理順序阅仔,數(shù)字越小處理越早。

setting中還要做如下配置:

#用于保存圖片

IMAGES_URLS_FIELD ="front_image_url"#對應上面標號1弧械,這個配置好了八酒,image就是去item找front_這個字段

project_dir=os.path.abspath(os.path.dirname(__file__))

IMAGES_STORE = os.path.join(project_dir,'images')#設置圖片保存的路徑,配置相對路徑刃唐,換電腦也沒事羞迷,在articlespider下面新建一個image的文件夾

解釋下:

1、在setting 文件中ITEM_PIPELINE添加: 'scrapy.pipelines.images.ImagesPipeline':1

1為處理順序画饥,順序越小衔瓮,越先處理;

2抖甘、繼續(xù)在setting中添加圖片URL地址獲取热鞍,

IMAGES_URLS_FIELD = "front_image_url"??? #front_image_url為Item 中存儲圖片URL的字段,應該為list類型;所以我們應將前面存入Item時設置為list

3薇宠、設置圖片下載到本地的路徑

絕對路徑:IMAGES_STORE = ""

相對路徑: 多用相對路徑偷办,工程遷移后絕對路徑不能使用了

創(chuàng)建一個images的文件夾。

跟setting放在同一個目錄之下澄港。

別忘了setting中添加os模塊

二椒涯、運行main.py可見 在項目文件下新生成了images文件,并下載了圖片回梧,自動生成了圖片名字





三废岂、擴展功能: 對圖片進行過濾:

在setting 文件中設置:

IMAGES_MIN_HEIGHT = 100

IMAGES_MIN_WIDTH = 100

過濾掉寬度高度小于100的圖片

四、pipeline中配置image

思路:自定義pipline漂辐,多加個管道,該管道繼承下載圖片的類棕硫,并重寫與Item 交互的方法髓涯,從眾提取到本地路徑,并返回這個Item交給下一個pipline管道哈扮。獲取文件存放的路徑纬纪,設置下載圖片的大小。

原來的scrapy.pipelines.images.ImagesPipeline':1,

這一步已經(jīng)可以解決圖片下載問題了滑肉,但是如果你想要圖片下載的高度的定制化包各,就需要做如下的配置。這就解釋了我已經(jīng)有了圖片下載的通道為什么還要再一遍pipeline


打斷點進行測試靶庙,可以看到问畅,圖片的路徑已經(jīng)填充進來了。

下一步我們就要跟數(shù)據(jù)庫打交道了六荒。mysql發(fā)揮用處

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末护姆,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子掏击,更是在濱河造成了極大的恐慌卵皂,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,270評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件砚亭,死亡現(xiàn)場離奇詭異灯变,居然都是意外死亡,警方通過查閱死者的電腦和手機捅膘,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評論 3 395
  • 文/潘曉璐 我一進店門添祸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人寻仗,你說我怎么就攤上這事膝捞。” “怎么了?”我有些...
    開封第一講書人閱讀 165,630評論 0 356
  • 文/不壞的土叔 我叫張陵蔬咬,是天一觀的道長鲤遥。 經(jīng)常有香客問我,道長林艘,這世上最難降的妖魔是什么盖奈? 我笑而不...
    開封第一講書人閱讀 58,906評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮狐援,結果婚禮上钢坦,老公的妹妹穿的比我還像新娘。我一直安慰自己啥酱,他們只是感情好爹凹,可當我...
    茶點故事閱讀 67,928評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著镶殷,像睡著了一般禾酱。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上绘趋,一...
    開封第一講書人閱讀 51,718評論 1 305
  • 那天颤陶,我揣著相機與錄音,去河邊找鬼陷遮。 笑死滓走,一個胖子當著我的面吹牛,可吹牛的內容都是我干的帽馋。 我是一名探鬼主播搅方,決...
    沈念sama閱讀 40,442評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼绽族!你這毒婦竟也來了腰懂?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,345評論 0 276
  • 序言:老撾萬榮一對情侶失蹤项秉,失蹤者是張志新(化名)和其女友劉穎绣溜,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體娄蔼,經(jīng)...
    沈念sama閱讀 45,802評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡怖喻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,984評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了岁诉。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片锚沸。...
    茶點故事閱讀 40,117評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖涕癣,靈堂內的尸體忽然破棺而出哗蜈,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,810評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響媒佣,放射性物質發(fā)生泄漏厌漂。R本人自食惡果不足惜膊夹,卻給世界環(huán)境...
    茶點故事閱讀 41,462評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦稽犁、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至来屠,卻和暖如春虑椎,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背的妖。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評論 1 272
  • 我被黑心中介騙來泰國打工绣檬, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留足陨,地道東北人嫂粟。 一個月前我還...
    沈念sama閱讀 48,377評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像墨缘,于是被迫代替她去往敵國和親星虹。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,060評論 2 355

推薦閱讀更多精彩內容