Scrapy框架學(xué)習(xí)2

yield關(guān)鍵字

? yield<——>生成器

?? 生成器是一個(gè)不斷產(chǎn)生值的函數(shù)

?? 包含yield語句 的函數(shù)是一個(gè)生成器


生成器每次產(chǎn)生一個(gè)值(yield語句)贮匕,函數(shù)被凍結(jié)晒衩,被喚醒后再產(chǎn)生一個(gè)值巡社。


生成器 vs.列表——>


更節(jié)省存儲(chǔ)空間 /響應(yīng)更迅速 /使用更靈活

Scrapy爬蟲的使用步驟

1.創(chuàng)建一個(gè)工程和Spider模板

2.編寫Spider

3.編寫Item Pipeline

4.優(yōu)化配置策略

Scrapy爬蟲的使用步驟?

? ? 1.? Request類

??????????? Request對(duì)象表示一個(gè)HTTP請(qǐng)求

??????????? 由Spider生成,downloader執(zhí)行


???? 2.Response類

??????? Response對(duì)象表示一個(gè)HTTP響應(yīng)

??????? 由Downloader生成漓拾,Spider執(zhí)行

? ? ?? 3.Item類?

???? ? ?? Item對(duì)象表示從html頁面中提取的信息內(nèi)容
????????? 由Spider生成,由Item Pipeline處理

?????????? Item類似字典類型戒祠,可以按照字典類型操作

spider提取信息的方法

????????? Beautiful Soup

????????? lxml

????????? re

???????? XPath Selector

???????? CSS Selector


????????????????



???

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末骇两,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子姜盈,更是在濱河造成了極大的恐慌低千,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,919評(píng)論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件馏颂,死亡現(xiàn)場(chǎng)離奇詭異示血,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)救拉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,567評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門难审,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人亿絮,你說我怎么就攤上這事告喊◆镏簦” “怎么了?”我有些...
    開封第一講書人閱讀 163,316評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵黔姜,是天一觀的道長(zhǎng)拢切。 經(jīng)常有香客問我,道長(zhǎng)地淀,這世上最難降的妖魔是什么失球? 我笑而不...
    開封第一講書人閱讀 58,294評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮帮毁,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘豺撑。我一直安慰自己烈疚,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,318評(píng)論 6 390
  • 文/花漫 我一把揭開白布聪轿。 她就那樣靜靜地躺著爷肝,像睡著了一般。 火紅的嫁衣襯著肌膚如雪陆错。 梳的紋絲不亂的頭發(fā)上灯抛,一...
    開封第一講書人閱讀 51,245評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音音瓷,去河邊找鬼对嚼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛绳慎,可吹牛的內(nèi)容都是我干的纵竖。 我是一名探鬼主播,決...
    沈念sama閱讀 40,120評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼杏愤,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼靡砌!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起珊楼,我...
    開封第一講書人閱讀 38,964評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤通殃,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后厕宗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體画舌,經(jīng)...
    沈念sama閱讀 45,376評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,592評(píng)論 2 333
  • 正文 我和宋清朗相戀三年媳瞪,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了骗炉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,764評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蛇受,死狀恐怖句葵,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤乍丈,帶...
    沈念sama閱讀 35,460評(píng)論 5 344
  • 正文 年R本政府宣布剂碴,位于F島的核電站,受9級(jí)特大地震影響轻专,放射性物質(zhì)發(fā)生泄漏忆矛。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,070評(píng)論 3 327
  • 文/蒙蒙 一请垛、第九天 我趴在偏房一處隱蔽的房頂上張望催训。 院中可真熱鬧,春花似錦宗收、人聲如沸漫拭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,697評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽采驻。三九已至,卻和暖如春匈勋,著一層夾襖步出監(jiān)牢的瞬間礼旅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,846評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工洽洁, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留痘系,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,819評(píng)論 2 370
  • 正文 我出身青樓诡挂,卻偏偏與公主長(zhǎng)得像碎浇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子璃俗,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,665評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容