一、分析目的
1.探索上海市的房?jī)r(jià)區(qū)域分布
2.看看購(gòu)房者都喜歡購(gòu)買(mǎi)哪里的房子
二、數(shù)據(jù)采集
采集我愛(ài)我家上海區(qū)域的一萬(wàn)兩千個(gè)小區(qū)的數(shù)據(jù),采集的字段有小區(qū)建钥、位置、最近30條成交套數(shù)虐沥、在售熊经、在租、成交均價(jià)欲险、成交總價(jià)镐依、小區(qū)詳細(xì)介紹等數(shù)據(jù)。直接上代碼:
import requests,codecs
import pymongo,time
from lxml import html
from multiprocessing import Pool
def get_content(j):
print('正在爬取第{}頁(yè),還剩{}頁(yè)'.format(j,561-j))
url='https://sh.5i5j.com/xiaoqu/n{}/_?zn='.format(j)
r=requests.get(url)
r=html.fromstring(r.text)
lenth=len(r.xpath('//ul[@class="pList"]/li'))
try:
for i in range(1,lenth):
urls=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/h3/a/@href'.format(i))[0]
community=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/h3/a/text()'.format(i))[0]
deal=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[1]/a/text()'.format(i))[0]
onsale=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[2]/a/text()'.format(i))[0].replace('\r','').replace('\n','').strip()
rent=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/p[1]/span[3]/a/text()'.format(i))[0].replace('\r','').replace('\n','').strip()
#addr=r.xpath('//ul[@class="pList"]/li[{0}]/div[2]/div[1]/p[3]/text()'.format(i))[0].replace('\r','').replace('\n','').strip()
avgprice=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/div/p[1]/strong/text()'.format(i))[0]
totalprice=r.xpath('//ul[@class="pList"]/li[{0}]//div[2]/div[1]/div/p[2]/text()'.format(i))[0]
output="{}\t{}\t{}\t{}\t{}\t{}\t{}\n".format(community,deal,onsale,rent,avgprice,totalprice,urls)
savetoexcel(output)
except Exception as e:
print(e)
print('爬取失敗')
def savetoexcel(output):
try:
f=codecs.open('house.xls','a+','utf-8')
f.write(output)
f.close()
except Exception as e:
print('寫(xiě)入失敗')
if __name__ == '__main__':
pool=Pool(processes=2)
pool.map(get_content,list(range(1,561)))
pool.close()
pool.join()
采集下來(lái)是這個(gè)樣子的:
接著利用高德API把小區(qū)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)天试,這個(gè)代碼就不貼了槐壳。轉(zhuǎn)換之后變成這樣:
三、數(shù)據(jù)可視化
利用百度地圖API生成熱力圖喜每。
* * *
<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="initial-scale=1.0, user-scalable=no" />
<script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=ie1pboEhSttv7biL1iYj6kUI"></script>
<script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>
<title>熱力圖功能示例</title>
<style type="text/css">
ul,li{list-style: none;margin:0;padding:0;float:left;}
html{height:100%}
body{height:100%;margin:0px;padding:0px;font-family:"微軟雅黑";}
#container{height:500px;width:100%;}
#r-result{width:100%;}
</style>
</head>
<body>
<div id="container"></div>
<div id="r-result">
<input type="button" onclick="openHeatmap();" value="顯示熱力圖"/><input type="button" onclick="closeHeatmap();" value="關(guān)閉熱力圖"/>
</div>
</body>
</html>
<script type="text/javascript">
var map = new BMap.Map("container"); // 創(chuàng)建地圖實(shí)例
var point = new BMap.Point(121.409868, 31.208977);
map.centerAndZoom(point, 15); // 初始化地圖务唐,設(shè)置中心點(diǎn)坐標(biāo)和地圖級(jí)別
map.enableScrollWheelZoom(); // 允許滾輪縮放
var points =[
{"lng":121.524245,"lat":31.234472,"count":5},
{"lng":121.525868,"lat":31.225027,"count":10},
{"lng":121.439535,"lat":31.133423,"count":5},
{"lng":121.511138,"lat":31.231639,"count":1}
];
if(!isSupportCanvas()){
alert('熱力圖目前只支持有canvas支持的瀏覽器,您所使用的瀏覽器不能使用熱力圖功能~')
}
//詳細(xì)的參數(shù),可以查看heatmap.js的文檔 https://github.com/pa7/heatmap.js/blob/master/README.md
//參數(shù)說(shuō)明如下:
/* visible 熱力圖是否顯示,默認(rèn)為true
* opacity 熱力的透明度,1-100
* radius 勢(shì)力圖的每個(gè)點(diǎn)的半徑大小
* gradient {JSON} 熱力圖的漸變區(qū)間 . gradient如下所示
* {
.2:'rgb(0, 255, 255)',
.5:'rgb(0, 110, 255)',
.8:'rgb(100, 0, 255)'
}
其中 key 表示插值的位置, 0~1.
value 為顏色值.
*/
heatmapOverlay = new BMapLib.HeatmapOverlay({"radius":50});
map.addOverlay(heatmapOverlay);
heatmapOverlay.setDataSet({data:points,max:11});
//是否顯示熱力圖
function openHeatmap(){
heatmapOverlay.show();
}
function closeHeatmap(){
heatmapOverlay.hide();
}
closeHeatmap();
function setGradient(){
/*格式如下所示:
{
0:'rgb(102, 255, 0)',
.5:'rgb(255, 170, 0)',
1:'rgb(255, 0, 0)'
}*/
var gradient = {};
var colors = document.querySelectorAll("input[type='color']");
colors = [].slice.call(colors,0);
colors.forEach(function(ele){
gradient[ele.getAttribute("data-key")] = ele.value;
});
heatmapOverlay.setOptions({"gradient":gradient});
}
//判斷瀏覽區(qū)是否支持canvas
function isSupportCanvas(){
var elem = document.createElement('canvas');
return !!(elem.getContext && elem.getContext('2d'));
}
</script>
* * *
把point里面的數(shù)據(jù)替換成自己的坐標(biāo),修改一下半徑和最大值带兜,保存到本地枫笛,修改成index.html,放到容易找到的位置刚照,然后利用python搭載簡(jiǎn)易的服務(wù)器刑巧,在cmd命令窗口,cd到index.html對(duì)應(yīng)文件夾无畔,然后輸入
python -m http.server 80
接著用瀏覽器打開(kāi)http://localhost:80
就可以看到熱力圖了啊楚。來(lái)看看最近30天成交的房子都是哪里的:
可以看出最近成交的房子主要集中在黃浦江旁邊,看來(lái)大家都比較喜歡靠近江邊的房子浑彰,房子成交最多的是閔行莘莊一帶(估計(jì)是房?jī)r(jià)稍微便宜點(diǎn))和浦東的外灘附近(估計(jì)是金融從業(yè)人士購(gòu)買(mǎi)力比較強(qiáng))恭理。
接下來(lái)看看房?jī)r(jià)分布。本來(lái)想直接6000多個(gè)小區(qū)的經(jīng)緯度導(dǎo)入郭变,結(jié)果百度地圖API無(wú)法生存熱力圖蚯斯,汗薄风,,試試999個(gè)拍嵌,還是不行,我暈循诉。横辆。。那就每個(gè)區(qū)域選擇40個(gè)小區(qū)作為代表了茄猫,下面是sql語(yǔ)句
select a1.* from sheet1 a1
inner join
(select a.區(qū)域,a.均價(jià) from sheet1 a left join sheet1 b
on a.區(qū)域=b.區(qū)域 and a.均價(jià)<=b.均價(jià)
group by a.區(qū)域,a.均價(jià)
having count(b.均價(jià))<=60
)b1
on a1.區(qū)域=b1.區(qū)域 and a1.均價(jià)=b1.均價(jià)
order by a1.區(qū)域,a1.均價(jià) desc;
替換坐標(biāo)狈蚤,改一下半徑和最大值,來(lái)看看結(jié)果:
圖中顏色深的房?jī)r(jià)表示10萬(wàn)以上每平划纽,脆侮,看來(lái)還是長(zhǎng)寧?kù)o安黃埔徐匯最貴了。畢竟是市中心啊勇劣。也就看看就好靖避,買(mǎi)不起啊。比默。幻捏。。