scrapy抓取成都房價信息

最近在學習scrapy爬蟲,正好最近成都房價漲的厲害识腿,于是想著去網(wǎng)上抓抓成都最近的房價情況,順便了解一下造壮,畢竟咱是成都人渡讼,得看看這成都的房子我以后買的起不~


話不多說,進入正題:

任務

抓取鏈家網(wǎng)(成都)的所有新房以及二手房價格耳璧、位置相關信息成箫。

實驗流程

1.確定抓取目標.
2.制定抓取規(guī)則.
3.'編寫/調試'抓取規(guī)則.
4.獲得抓取數(shù)據(jù)

1.確定抓取目標

1.1新房抓取目標

Paste_Image.png

我們看到在成都樓盤列表頁面,有樓盤名字旨枯、均價(每平方)和所屬行政區(qū)蹬昌,非常好,這正是我們想要抓取的內容攀隔!
于是確定目標:
抓取成都新房的所有樓盤名稱皂贩、均價信息、所屬行政區(qū)和URL信息昆汹。

1.2二手房抓取規(guī)則

我們來到二手房的列表頁面先紫,并且點擊進入二手房詳情頁面,發(fā)現(xiàn)網(wǎng)站所展示的內容就比新房的內容的多得多了筹煮,這樣我們也能抓取更多的數(shù)據(jù)了!在這里居夹,我決定在二手房頁面抓取二手房地址败潦、總價本冲、每平米價、面積劫扒、所屬行政區(qū)域和URL信息檬洞。

2.制定抓取規(guī)則

2.1新房抓取規(guī)則

由于新房的信息直接在新房列表網(wǎng)頁上就能直接抓取,所以只需要在新房列表網(wǎng)頁分析html結構找到我們想要的數(shù)據(jù)即可沟饥。

Paste_Image.png

對于均價來說添怔,我們所需要的信息在 **//div[@class='average']/span/text() **

Paste_Image.png

對于樓盤名稱來說,我們所需要的信息在 //div[@class='col-1']/h2/a/text()
當然了贤旷,我們所需要的URL也在 //div[@class='col-1']/h2/a/@href

Paste_Image.png

對于行政區(qū)來說广料,所需要的信息在 //div[@class='where']/span/text(),當然了幼驶,我們還得使用正則將所屬行政區(qū)匹配出來

如何抓取所有的新房信息呢艾杏?我們利用下一頁來循環(huán)

Paste_Image.png

2.2二手房抓取規(guī)則

抓取規(guī)則和新房抓取規(guī)則大同小異,不過這里有一點小小的區(qū)別是我們需要利用二手房列表頁面抓取到的URL盅藻,進入二手房詳情頁抓取信息购桑,不過這一點我們將在代碼實現(xiàn)中講到,在這兒先按住不表氏淑,還是繼續(xù)分析html結構勃蜘。


小區(qū)名稱在 div[@class='communityName']/a[@class='info']/text()

房總價在 div[@class='price ']/span[@class='total']/text()
每平方價在 div[@class='price ']/div[@class='text']/div/span/text() ,當然這里我們還是得用正則把兩個引號給弄掉~


所屬行政區(qū)在 div[@class='areaName']/span[@class='info']/a/text()的第一個text


面積在 div[@class='houseInfo']/div[@class='area']/div[@class='mainInfo']/text()

當然了,對于循環(huán)獲得所有信息來說假残,我們還是用網(wǎng)站的“下一頁”來做缭贡。

3.'編寫/調試'抓取規(guī)則

為了讓調試爬蟲的粒度盡量的小,我將編寫和調試模塊糅合在一起進行.


3.1'編寫/調試'新房抓取規(guī)則

首先我們得定義一個item:

class NewHoseItem(scrapy.Item):
    name = scrapy.Field()
    average = scrapy.Field()
    district = scrapy.Field()
    URL = scrapy.Field()

然后我們嘗試抓取一個新房列表頁面下的所需數(shù)據(jù)吧~

import scrapy
from fangjia.items import NewHouseItem

class NewsHouseSpider(scrapy.Spider):
    name = "new"
    start_urls = [
        "http://cd.fang.lianjia.com/loupan/pg1/",
    ]

    def parse(self, response):
        for href in response.xpath("http://div[@class='info-panel']"):
            item = NewHouseItem()
            item['name'] = href.xpath("div[@class='col-1']/h2/a/text()").extract_first()
            item['average'] = href.xpath("div[@class='col-2']/div[@class='price']/div[@class='average']/span/text()").extract_first()
            item['district'] = href.xpath("div[@class='col-1']/div[@class='where']/span/text()").extract_first().split('-')[0]
            item['URL'] = response.urljoin(href.xpath("div[@class='col-1']/h2/a/@href").extract_first())
            yield item

測試通過!
現(xiàn)在我們再編寫一下循環(huán)的規(guī)則就ok了守问!

由于我們需要獲取到totalpage的值和curpage的值匀归,所以我們得對獲取到的字符串稍微的處理一下,這里我們用到的是split()

    next_page = response.xpath("http://div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[1].split(':')[1]
    next_page = int(next_page[0])+1
    total_page = int(response.xpath("http://div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[0].split(':')[1])
    if next_page <= total_page:
        next_urls = 'pg%s/' % next_page
        next_urls = response.urljoin(next_urls)
        yield scrapy.Request(next_urls,callback = self.parse)

組裝到我們的原函數(shù)里面

    import scrapy
    from fangjia.items import NewHouseItem

    class NewsHouseSpider(scrapy.Spider):
        name = "new"
        start_urls = [
            "http://cd.fang.lianjia.com/loupan/",
        ]

        def parse(self, response):
            for href in response.xpath("http://div[@class='info-panel']"):
                item = NewHouseItem()
                item['name'] = href.xpath("div[@class='col-1']/h2/a/text()").extract_first()
                item['average'] = href.xpath("div[@class='col-2']/div[@class='price']/div[@class='average']/span/text()").extract_first()
                item['district'] = href.xpath("div[@class='col-1']/div[@class='where']/span/text()").extract_first().split('-')[0]
                item['URL'] = href.xpath("div[@class='col-1']/h2/a/@href").extract_first()
                yield item

            next_page = response.xpath("http://div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[1].split(':')[1]
            next_page = int(next_page[0])+1
            total_page = int(response.xpath("http://div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[0].split(':')[1])
            if next_page <= total_page:
                next_urls = 'pg%s/' % next_page
                next_urls = response.urljoin(next_urls)
                yield scrapy.Request(next_urls,callback = self.parse)

測試耗帕,成功穆端!

3.2'編寫/調試'二手房抓取規(guī)則

二手房抓取規(guī)則和新房差不多,所以寫簡單一點仿便,其中主要說明一點是利用二手房列表頁面抓取到的URL体啰,進入二手房詳情頁抓取信息
先定義item:

class OldHouseItem(scrapy.Item):
    name = scrapy.Field()
    total = scrapy.Field()
    average = scrapy.Field()
    size = scrapy.Field()
    district = scrapy.Field()
    URL = scrapy.Field()

當然了嗽仪,我們還是先寫出一個二手房列表頁面的抓取規(guī)則荒勇,其中,得利用抓取到的URL再進入二手房詳情頁進行抓取闻坚。

編寫爬蟲:

import scrapy
from fangjia.items import OldHouseItem

class OldsHouseSpider(scrapy.Spider):
    name = "old"
    start_urls = [
        "http://cd.lianjia.com/ershoufang/",
    ]

    def parse(self, response):
        for href in response.xpath("http://ul[@class='sellListContent']/li"):
        URL = href.xpath("div[@class='info clear']/div[@class='title']/a/@href").extract()
        yield scrapy.Request(URL, callback=self.parse_dir_contents)

    def parse_dir_contents(self, response):
        item = OldHouseItem() 
        item['name'] = response.xpath("div[@class='communityName']/a[@class='info']/text()").extract_first()
        item['total'] = response.xpath("div[@class='price ']/span[@class='total']/text()").extract_first()
        item['average'] = response.xpath("div[@class='price ']/div[@class='text']/div/span/text()").extract_first()
        item['size'] = response.xpath("div[@class='houseInfo']/div[@class='area']/div[@class='mainInfo']/text()").extract_first()
        item['district'] = response.xpath("div[@class='areaName']/span[@class='info']/a/text()").extract_first()
        item['URL'] = response
        yield item

發(fā)現(xiàn)有重定向:


一看沽翔,是robot的原因,于是我們進入 http://cd.lianjia.com/robots.txt 一探究竟
在robots.txt最下面看到

User-agent:*
Disallow:/

原來我們的scrapy被屏蔽了!
當然仅偎,我們還有辦法跨蟹,不過筆者得去吃午飯了!晚上再回來研究研究~


相關推薦
scrapy通過scrapyinghub實現(xiàn)24小時爬蟲托管爬取
scrapy抓取學院新聞報告

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末橘沥,一起剝皮案震驚了整個濱河市窗轩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌座咆,老刑警劉巖痢艺,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異介陶,居然都是意外死亡堤舒,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門斤蔓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來植酥,“玉大人,你說我怎么就攤上這事弦牡∮淹裕” “怎么了?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵驾锰,是天一觀的道長卸留。 經(jīng)常有香客問我,道長椭豫,這世上最難降的妖魔是什么耻瑟? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮赏酥,結果婚禮上喳整,老公的妹妹穿的比我還像新娘。我一直安慰自己裸扶,他們只是感情好框都,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著呵晨,像睡著了一般魏保。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上摸屠,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天谓罗,我揣著相機與錄音,去河邊找鬼季二。 笑死檩咱,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播税手,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼蜂筹,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了芦倒?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤不翩,失蹤者是張志新(化名)和其女友劉穎兵扬,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體口蝠,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡器钟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了妙蔗。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片傲霸。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖眉反,靈堂內的尸體忽然破棺而出昙啄,到底是詐尸還是另有隱情,我是刑警寧澤寸五,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布梳凛,位于F島的核電站,受9級特大地震影響梳杏,放射性物質發(fā)生泄漏韧拒。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一十性、第九天 我趴在偏房一處隱蔽的房頂上張望叛溢。 院中可真熱鬧,春花似錦劲适、人聲如沸楷掉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽靖诗。三九已至,卻和暖如春支示,著一層夾襖步出監(jiān)牢的瞬間刊橘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工颂鸿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留促绵,地道東北人。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像败晴,于是被迫代替她去往敵國和親浓冒。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理尖坤,服務發(fā)現(xiàn)稳懒,斷路器,智...
    卡卡羅2017閱讀 134,716評論 18 139
  • 1.協(xié)議是不允許定義屬性和實例變量的. 2.分類在技術上可以定義屬性的,通過associatedObjects來實...
    iOSDevVicky閱讀 429評論 0 2
  • 7月的天津是個多雨的季節(jié)或油,每隔幾天都要下上一場說大不大,說小不小的雨驰唬。喜歡下雨天顶岸,可能是因為童年的記憶里,下午天可...
    雨夜星空閱讀 487評論 3 10
  • 我原本以為我永遠都習慣不了福州的生活叫编,但等我回到深圳的那一刻辖佣,我才發(fā)現(xiàn),福州的生活宵溅,或者說是在大學的生活凌简,已經(jīng)成為...
    MacarenaM閱讀 312評論 0 0