1.Scrapy爬蟲之靜態(tài)網(wǎng)頁爬取之一 了解response.xpath()

我們直接看例子:
網(wǎng)址:http://quotes.toscrape.com/

1

1. xpath提取方法:
用谷歌瀏覽器打開網(wǎng)頁谭溉,右鍵檢查扮念,選中標(biāo)簽-copy-copyxpath

2

copyxpath得到:/html/body/div/div[2]/div[1]/div[1]/span[1]

2.如何得到網(wǎng)頁信息:
在jupyter中的terminal中(jupyter中的termimal不能運(yùn)行在windows系統(tǒng)中) 輸入 scrapy shell http://quotes.toscrape.com/
會(huì)有請求信息返回柜与,返回response對象,里面包含網(wǎng)頁所有信息踢关。
樓主安裝了3.6的anaconda粘茄,但是里面沒集成scrapy框架柒瓣。但是也安裝了python2.7,里面成功安裝了scrapy(添加環(huán)境變量了搂鲫,命令行任意位置識(shí)別scrapy命令磺平,不添加環(huán)境變量的話,只在它的文件夾下識(shí)別這個(gè)命令)擦酌。打開windows命令行赊舶,同樣鍵入:scrapy shell http://quotes.toscrape.com/ 會(huì)有請求信息返回。[s]開頭
如下:

3

4
5

response是請求后所返回的對象,200說明返回正確
要驗(yàn)證表達(dá)式對不對锌唾,會(huì)返回一個(gè)對象叫response鸠珠,這個(gè)response包含了這個(gè)網(wǎng)頁的所有內(nèi)容:

>>>response.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()')
>>> response.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()').extract()```
比較:一個(gè)返回對象秋麸,一個(gè)返回列表灸蟆,一個(gè)返回字符串

response.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()')
response.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()').extract()
[u'\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\u201d']
response.xpath('/html/body/div/div[2]/div[1]/div[1]/span[1]/text()').extract_first()
u'\u201cThe world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.\u201d'```
response中自帶的xpath函數(shù)來驗(yàn)證路徑表達(dá)式是不是對的炒考,這是利用chrome自帶的工具定位元素,以上驗(yàn)證出來了網(wǎng)頁內(nèi)標(biāo)簽的內(nèi)容可缚,說明是正確的。

3.如何自己寫xpath獲取同一標(biāo)簽下的所有信息:

6

方法:所有的框都是在span class="text"中

7
>>> response.xpath('//span[@class="text"]/text()').extract()```
分析:response是之前scrapy shell+網(wǎng)頁請求后返回來一個(gè)所有的對象斋枢。它的xpath函數(shù)里面是路徑表達(dá)式帘靡,//表示取出所有對象,@表示屬性瓤帚,寫完后返回的是對象描姚,所以返回文本加上.extract()返回了一個(gè)列表:抽出的是名言
如下:
![8](http://upload-images.jianshu.io/upload_images/5076126-c4a786c56eefb44e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
抽出作者:
![9](http://upload-images.jianshu.io/upload_images/5076126-6bb485b4996cc0b3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
退出:
![10](http://upload-images.jianshu.io/upload_images/5076126-1f3186bdcbfedfa1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

**總結(jié):**scrapy shell 算是一個(gè)工具,來驗(yàn)證抽取的對不對戈次,對的話就可以大膽的去寫代碼了轩勘。

補(bǔ)充:scrapy的命令

![Paste_Image.png](http://upload-images.jianshu.io/upload_images/5076126-724447a95bb6690c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市怯邪,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖澄步,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件冰蘑,死亡現(xiàn)場離奇詭異,居然都是意外死亡驮俗,警方通過查閱死者的電腦和手機(jī)懂缕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來王凑,“玉大人,你說我怎么就攤上這事聋丝∷髋耄” “怎么了?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵弱睦,是天一觀的道長百姓。 經(jīng)常有香客問我,道長况木,這世上最難降的妖魔是什么垒拢? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮火惊,結(jié)果婚禮上求类,老公的妹妹穿的比我還像新娘。我一直安慰自己屹耐,他們只是感情好尸疆,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著惶岭,像睡著了一般寿弱。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上按灶,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天症革,我揣著相機(jī)與錄音,去河邊找鬼鸯旁。 笑死噪矛,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的羡亩。 我是一名探鬼主播摩疑,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼畏铆!你這毒婦竟也來了雷袋?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎楷怒,沒想到半個(gè)月后蛋勺,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年滞时,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了附较。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,785評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡巧娱,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出烘贴,到底是詐尸還是另有隱情禁添,我是刑警寧澤,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布桨踪,位于F島的核電站老翘,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏锻离。R本人自食惡果不足惜铺峭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望汽纠。 院中可真熱鬧卫键,春花似錦、人聲如沸疏虫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽卧秘。三九已至呢袱,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間翅敌,已是汗流浹背羞福。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蚯涮,地道東北人治专。 一個(gè)月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像遭顶,于是被迫代替她去往敵國和親张峰。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容