yield關(guān)鍵字
? yield<——>生成器
?? 生成器是一個(gè)不斷產(chǎn)生值的函數(shù)
?? 包含yield語句 的函數(shù)是一個(gè)生成器
生成器每次產(chǎn)生一個(gè)值(yield語句)贮匕,函數(shù)被凍結(jié)晒衩,被喚醒后再產(chǎn)生一個(gè)值巡社。
生成器 vs.列表——>
更節(jié)省存儲(chǔ)空間 /響應(yīng)更迅速 /使用更靈活
Scrapy爬蟲的使用步驟
1.創(chuàng)建一個(gè)工程和Spider模板
2.編寫Spider
3.編寫Item Pipeline
4.優(yōu)化配置策略
Scrapy爬蟲的使用步驟?
? ? 1.? Request類
??????????? Request對(duì)象表示一個(gè)HTTP請(qǐng)求
??????????? 由Spider生成,downloader執(zhí)行
???? 2.Response類
??????? Response對(duì)象表示一個(gè)HTTP響應(yīng)
??????? 由Downloader生成漓拾,Spider執(zhí)行
? ? ?? 3.Item類?
???? ? ?? Item對(duì)象表示從html頁面中提取的信息內(nèi)容
????????? 由Spider生成,由Item Pipeline處理
?????????? Item類似字典類型戒祠,可以按照字典類型操作
spider提取信息的方法
????????? Beautiful Soup
????????? lxml
????????? re
???????? XPath Selector
???????? CSS Selector
????????????????
???