Scrapy使用(一)

簡介

Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)液肌,提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應用框架残揉,可以應用在數(shù)據(jù)挖掘,信息處理或存儲歷史數(shù)據(jù)等一系列的程序中昏苏,Scrapy用途廣泛可以用于數(shù)據(jù)挖掘檢測和自動化測試弦叶,Scrapy使用Twisted異步網(wǎng)絡庫來處理網(wǎng)絡通信俊犯。

流程圖

調(diào)度器把request對象交給引擎,引擎負責把request對象交給(中間有個下載中間件)下載器伤哺,下載器發(fā)生請求燕侠,獲取response者祖,下載把response交給引擎,下載器在把response交給(中間有一個爬蟲中間)爬蟲,爬蟲提取數(shù)據(jù)绢彤,然后在將提取到的response七问,交給引擎,引擎將response交給pipeline茫舶。

流程圖介紹.png
Scrapy主要組件
Scrapy主要組件.png
Scrapy基本命令
scrapy startproject  項目名稱                #在當前目錄中創(chuàng)建一個項目文件
cd 項目名稱                                  #進入到項目文件
scrapy genspider 爬蟲名稱 爬蟲鏈接            #創(chuàng)建爬蟲應用
scrapy 
scrapy list                                  #展示爬蟲列表
scrapy crawl 爬蟲名                           #運行爬蟲
scrapy --nolog                               #不顯示日志信息可以跟運行爬蟲的時候配合使用
scrapy genspider -t crawl 爬蟲名稱  爬蟲鏈接   #創(chuàng)建c'rawl爬蟲
scrapy --help                                #可以獲得爬蟲幫助文檔
Debug信息
10.png
文件介紹
架構(gòu)圖.png
文件說明

Spider:
自定義spdider類械巡,繼承scrapy.spider,這個主要是用來接收引擎發(fā)過來的response我進行數(shù)據(jù)提取奇适。parse()里面可以寫一些信息提取規(guī)則坟比,詳細見圖。


spider介紹.png

Iter:
iter用來做數(shù)據(jù)格式化的嚷往,類型為字典葛账,詳情請看圖。


7.png

setting:
setting設置爬蟲的請求頭皮仁,cookie籍琳,數(shù)據(jù)庫信息等內(nèi)容。


16.png

Pipeline:
pipeline主要進行的是數(shù)據(jù)的持久化贷祈,比如:一些數(shù)據(jù)要保存到數(shù)據(jù)庫趋急,文件或者別的地方都可以在pipeline下面來進行設置保存。
PS:
1.其中它的process_item()方法名是不能更改為別的名稱势誊。
2.如果要使用pipeline需要到setting配置文件中設置呜达,代碼如下:
3.pipeline中權(quán)重越小優(yōu)先級越高
4.pipeline可以設置多個class來進行數(shù)據(jù)的保存

### pipeline  setting設置
ITEM_PIPELINE={'myspider.MyspiderPipeline':100}    #{pipeline的位置:權(quán)重}
12.png
yiled object 與 yiled Request

yiled object:

yiled對象必須返回 Request,Baseitem,dict,None

yiled Request:

能構(gòu)建一個request,同時指定提取數(shù)據(jù)的callback函數(shù),meta

ps:

參數(shù):meta:傳遞信息給下一個函數(shù)

日志的設置
2.日志設置ng

Crawl spider

源碼.png

創(chuàng)建.png

補充.png

Crawl spider 總結(jié)

總結(jié)1.png
總結(jié)2.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市粟耻,隨后出現(xiàn)的幾起案子查近,更是在濱河造成了極大的恐慌,老刑警劉巖挤忙,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件霜威,死亡現(xiàn)場離奇詭異,居然都是意外死亡册烈,警方通過查閱死者的電腦和手機戈泼,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來赏僧,“玉大人大猛,你說我怎么就攤上這事〉砹悖” “怎么了胎署?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵,是天一觀的道長窑滞。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么哀卫? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任巨坊,我火速辦了婚禮,結(jié)果婚禮上此改,老公的妹妹穿的比我還像新娘趾撵。我一直安慰自己,他們只是感情好共啃,可當我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布占调。 她就那樣靜靜地躺著,像睡著了一般移剪。 火紅的嫁衣襯著肌膚如雪究珊。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天纵苛,我揣著相機與錄音剿涮,去河邊找鬼。 笑死攻人,一個胖子當著我的面吹牛取试,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播怀吻,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼瞬浓,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了蓬坡?” 一聲冷哼從身側(cè)響起猿棉,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎渣窜,沒想到半個月后铺根,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡乔宿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年位迂,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片详瑞。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡掂林,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出坝橡,到底是詐尸還是另有隱情泻帮,我是刑警寧澤,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布计寇,位于F島的核電站锣杂,受9級特大地震影響脂倦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜元莫,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一赖阻、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧踱蠢,春花似錦火欧、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至企锌,卻和暖如春榆浓,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背霎俩。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工哀军, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人打却。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓杉适,卻偏偏與公主長得像,于是被迫代替她去往敵國和親柳击。 傳聞我的和親對象是個殘疾皇子猿推,可洞房花燭夜當晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 說起寫爬蟲,大多數(shù)第一時間想到的就是python了捌肴。python語法簡潔明了蹬叭,加上及其豐富好用的庫,用它來寫爬蟲有...
    瘋狂的哈丘閱讀 8,190評論 1 15
  • 引言 在上篇使用Scrapy爬取知乎用戶信息我們編寫了一個單機的爬蟲状知,這篇記錄了使用Scrapy-Redis將其重...
    朱曉飛閱讀 6,709評論 1 24
  • scrapy是python最有名的爬蟲框架之一秽五,可以很方便的進行web抓取,并且提供了很強的定制型饥悴,這里記錄簡單學...
    bomo閱讀 2,128評論 1 11
  • 01 簌簌紛飛的毛毛細雨已經(jīng)連續(xù)下了幾天坦喘,把整個山頭都浸潤得碧綠如滴,遠處的霧水像輕紗一般西设,半遮住天空這個美人的臉...
    樂小婉閱讀 417評論 1 1
  • 母親節(jié)是中國最重要的節(jié)日之一:愛是媽為孩兒的梳妝瓣铣;愛是門口深情的張望;愛是粗大的手掌贷揽;愛是入睡時媽的吟唱棠笑;愛是孩兒...
    ahh_314b閱讀 392評論 0 0