python多進(jìn)程爬取上海房?jī)r(jià)并畫(huà)出熱力圖分析

一、分析目的

1.探索上海市的房?jī)r(jià)區(qū)域分布

2.看看購(gòu)房者都喜歡購(gòu)買(mǎi)哪里的房子

二、數(shù)據(jù)采集

采集我愛(ài)我家上海區(qū)域的一萬(wàn)兩千個(gè)小區(qū)的數(shù)據(jù),采集的字段有小區(qū)建钥、位置、最近30條成交套數(shù)虐沥、在售熊经、在租、成交均價(jià)欲险、成交總價(jià)镐依、小區(qū)詳細(xì)介紹等數(shù)據(jù)。直接上代碼:

import requests,codecs

import pymongo,time

from lxml import html

from multiprocessing import Pool

def get_content(j):

    print('正在爬取第{}頁(yè),還剩{}頁(yè)'.format(j,561-j))

    url='https://sh.5i5j.com/xiaoqu/n{}/_?zn='.format(j)

    r=requests.get(url)

    r=html.fromstring(r.text)

    lenth=len(r.xpath('//ul[@class="pList"]/li'))

    try:

        for i in range(1,lenth):

            urls=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/h3/a/@href'.format(i))[0]

            community=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/h3/a/text()'.format(i))[0]

            deal=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[1]/a/text()'.format(i))[0]

            onsale=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[2]/a/text()'.format(i))[0].replace('\r','').replace('\n','').strip()

            rent=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[3]/a/text()'.format(i))[0].replace('\r','').replace('\n','').strip()

            #addr=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/div[1]/p[3]/text()'.format(i))[0].replace('\r','').replace('\n','').strip()

            avgprice=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/div/p[1]/strong/text()'.format(i))[0]

            totalprice=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/div/p[2]/text()'.format(i))[0]

            output="{}\t{}\t{}\t{}\t{}\t{}\t{}\n".format(community,deal,onsale,rent,avgprice,totalprice,urls)

            savetoexcel(output)

    except Exception as e:

        print(e)

        print('爬取失敗')

def savetoexcel(output):

    try:

        f=codecs.open('house.xls','a+','utf-8')

        f.write(output)

        f.close()

    except Exception as e:

        print('寫(xiě)入失敗')

if __name__ == '__main__':

    pool=Pool(processes=2)

    pool.map(get_content,list(range(1,561)))

    pool.close()

    pool.join()


采集下來(lái)是這個(gè)樣子的:

image

接著利用高德API把小區(qū)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)天试,這個(gè)代碼就不貼了槐壳。轉(zhuǎn)換之后變成這樣:

image

三、數(shù)據(jù)可視化

利用百度地圖API生成熱力圖喜每。


* * *

<!DOCTYPE html>

<html>

<head>

    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

    <meta name="viewport" content="initial-scale=1.0, user-scalable=no" />

    <script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=ie1pboEhSttv7biL1iYj6kUI"></script>

    <script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>

    <title>熱力圖功能示例</title>

    <style type="text/css">

ul,li{list-style: none;margin:0;padding:0;float:left;}

html{height:100%}

body{height:100%;margin:0px;padding:0px;font-family:"微軟雅黑";}

#container{height:500px;width:100%;}

#r-result{width:100%;}

    </style>

</head>

<body>

<div id="container"></div>

<div id="r-result">

<input type="button"  onclick="openHeatmap();" value="顯示熱力圖"/><input type="button"  onclick="closeHeatmap();" value="關(guān)閉熱力圖"/>

</div>

</body>

</html>

<script type="text/javascript">

    var map = new BMap.Map("container");          // 創(chuàng)建地圖實(shí)例

    var point = new BMap.Point(121.409868, 31.208977);

    map.centerAndZoom(point, 15);            // 初始化地圖务唐,設(shè)置中心點(diǎn)坐標(biāo)和地圖級(jí)別

    map.enableScrollWheelZoom(); // 允許滾輪縮放

    var points =[

{"lng":121.524245,"lat":31.234472,"count":5},

{"lng":121.525868,"lat":31.225027,"count":10},

{"lng":121.439535,"lat":31.133423,"count":5},

{"lng":121.511138,"lat":31.231639,"count":1}

];

    if(!isSupportCanvas()){

    alert('熱力圖目前只支持有canvas支持的瀏覽器,您所使用的瀏覽器不能使用熱力圖功能~')

    }

//詳細(xì)的參數(shù),可以查看heatmap.js的文檔 https://github.com/pa7/heatmap.js/blob/master/README.md

//參數(shù)說(shuō)明如下:

/* visible 熱力圖是否顯示,默認(rèn)為true

    * opacity 熱力的透明度,1-100

    * radius 勢(shì)力圖的每個(gè)點(diǎn)的半徑大小 

    * gradient  {JSON} 熱力圖的漸變區(qū)間 . gradient如下所示

    * {

.2:'rgb(0, 255, 255)',

.5:'rgb(0, 110, 255)',

.8:'rgb(100, 0, 255)'

}

其中 key 表示插值的位置, 0~1.

    value 為顏色值.

    */

heatmapOverlay = new BMapLib.HeatmapOverlay({"radius":50});

map.addOverlay(heatmapOverlay);

heatmapOverlay.setDataSet({data:points,max:11});

//是否顯示熱力圖

    function openHeatmap(){

        heatmapOverlay.show();

    }

function closeHeatmap(){

        heatmapOverlay.hide();

    }

closeHeatmap();

    function setGradient(){

    /*格式如下所示:

{

  0:'rgb(102, 255, 0)',

.5:'rgb(255, 170, 0)',

  1:'rgb(255, 0, 0)'

}*/

    var gradient = {};

    var colors = document.querySelectorAll("input[type='color']");

    colors = [].slice.call(colors,0);

    colors.forEach(function(ele){

gradient[ele.getAttribute("data-key")] = ele.value;

    });

        heatmapOverlay.setOptions({"gradient":gradient});

    }

//判斷瀏覽區(qū)是否支持canvas

    function isSupportCanvas(){

        var elem = document.createElement('canvas');

        return !!(elem.getContext && elem.getContext('2d'));

    }

</script>

* * *

把point里面的數(shù)據(jù)替換成自己的坐標(biāo),修改一下半徑和最大值带兜,保存到本地枫笛,修改成index.html,放到容易找到的位置刚照,然后利用python搭載簡(jiǎn)易的服務(wù)器刑巧,在cmd命令窗口,cd到index.html對(duì)應(yīng)文件夾无畔,然后輸入

python -m http.server 80

接著用瀏覽器打開(kāi)http://localhost:80

就可以看到熱力圖了啊楚。來(lái)看看最近30天成交的房子都是哪里的:

image

可以看出最近成交的房子主要集中在黃浦江旁邊,看來(lái)大家都比較喜歡靠近江邊的房子浑彰,房子成交最多的是閔行莘莊一帶(估計(jì)是房?jī)r(jià)稍微便宜點(diǎn))和浦東的外灘附近(估計(jì)是金融從業(yè)人士購(gòu)買(mǎi)力比較強(qiáng))恭理。

接下來(lái)看看房?jī)r(jià)分布。本來(lái)想直接6000多個(gè)小區(qū)的經(jīng)緯度導(dǎo)入郭变,結(jié)果百度地圖API無(wú)法生存熱力圖蚯斯,汗薄风,,試試999個(gè)拍嵌,還是不行,我暈循诉。横辆。。那就每個(gè)區(qū)域選擇40個(gè)小區(qū)作為代表了茄猫,下面是sql語(yǔ)句



select a1.* from sheet1 a1

inner join

(select a.區(qū)域,a.均價(jià) from sheet1 a left join sheet1 b

on a.區(qū)域=b.區(qū)域 and a.均價(jià)<=b.均價(jià)

group by a.區(qū)域,a.均價(jià)

having count(b.均價(jià))<=60

)b1

on a1.區(qū)域=b1.區(qū)域 and a1.均價(jià)=b1.均價(jià)

order by a1.區(qū)域,a1.均價(jià) desc;

替換坐標(biāo)狈蚤,改一下半徑和最大值,來(lái)看看結(jié)果:

image

圖中顏色深的房?jī)r(jià)表示10萬(wàn)以上每平划纽,脆侮,看來(lái)還是長(zhǎng)寧?kù)o安黃埔徐匯最貴了。畢竟是市中心啊勇劣。也就看看就好靖避,買(mǎi)不起啊。比默。幻捏。。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末命咐,一起剝皮案震驚了整個(gè)濱河市篡九,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌醋奠,老刑警劉巖榛臼,帶你破解...
    沈念sama閱讀 216,324評(píng)論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異窜司,居然都是意外死亡沛善,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,356評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)例证,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)路呜,“玉大人,你說(shuō)我怎么就攤上這事织咧≌痛校” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,328評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵笙蒙,是天一觀的道長(zhǎng)抵屿。 經(jīng)常有香客問(wèn)我,道長(zhǎng)捅位,這世上最難降的妖魔是什么轧葛? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,147評(píng)論 1 292
  • 正文 為了忘掉前任搂抒,我火速辦了婚禮,結(jié)果婚禮上尿扯,老公的妹妹穿的比我還像新娘求晶。我一直安慰自己,他們只是感情好衷笋,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,160評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布芳杏。 她就那樣靜靜地躺著,像睡著了一般辟宗。 火紅的嫁衣襯著肌膚如雪爵赵。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 51,115評(píng)論 1 296
  • 那天泊脐,我揣著相機(jī)與錄音空幻,去河邊找鬼。 笑死容客,一個(gè)胖子當(dāng)著我的面吹牛秕铛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播耘柱,決...
    沈念sama閱讀 40,025評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼如捅,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了调煎?” 一聲冷哼從身側(cè)響起镜遣,我...
    開(kāi)封第一講書(shū)人閱讀 38,867評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎士袄,沒(méi)想到半個(gè)月后悲关,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,307評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡娄柳,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,528評(píng)論 2 332
  • 正文 我和宋清朗相戀三年寓辱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片赤拒。...
    茶點(diǎn)故事閱讀 39,688評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡秫筏,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出挎挖,到底是詐尸還是另有隱情这敬,我是刑警寧澤,帶...
    沈念sama閱讀 35,409評(píng)論 5 343
  • 正文 年R本政府宣布蕉朵,位于F島的核電站崔涂,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏始衅。R本人自食惡果不足惜冷蚂,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,001評(píng)論 3 325
  • 文/蒙蒙 一缭保、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蝙茶,春花似錦艺骂、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,657評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至吮廉,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間畸肆,已是汗流浹背宦芦。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,811評(píng)論 1 268
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留轴脐,地道東北人调卑。 一個(gè)月前我還...
    沈念sama閱讀 47,685評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像大咱,于是被迫代替她去往敵國(guó)和親恬涧。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,573評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容