引言
百度慧眼遷徙3.0上線捅僵，在選擇某一城市的“遷出目的地”或“遷入來源地”后，即可查看該城市遷出眨层、遷入人口的遷徙來源與遷徙時間趨勢庙楚。對城市大數據研究有所幫助。本文采取Python爬蟲抓取百度慧眼數據趴樱。
準備工作
工具：Chrome
1.百度打開http://qianxi.baidu.com/
2.查找數據源馒闷。
使用開發(fā)者工具(F12),打開Network,搜索關鍵字json。
右側preview預覽叁征，打開data內的list纳账，即可看到json格式的數據。
3.數據解析
查找json信息后航揉，發(fā)現cityrank.jsonp塞祈、provincerank.jsonp和historycurve.jsonp都是可以利用的數據。cityrank是精確到市級的數據來源帅涂，provincerank是精確到省級的數據來源议薪，historcurve是表示該地歷史數據。本文對cityrank.jsonp媳友、provincerank.jsonp進行了爬取斯议。
4.Url解析
右鍵，open in tab查看地址欄地址醇锚。 example：http://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=330000&type=move_in&callback=jsonp_1581412681419_9173670
這里可以看到參數有dt哼御，id坯临，type，callback等恋昼。經過測試看靠，dt為選取的地點的行政級別。id為選取的地點的行政編碼液肌，是百度內部自己的編碼挟炬。type有move_in和move_out兩種參數，對應遷入和遷出嗦哆。callback對應的是時間戳谤祖，時間精度非常大，后文默認分鐘級別老速。
5.百度城市編碼
在上一步內粥喜，最難填寫的是城市代碼，一開始猜測與郵政編碼有關橘券，后對其進行驗證额湘，發(fā)現并不完全相同。在瀏覽了百度地圖開放平臺之后约郁，查找到了這么一份行政區(qū)劃鄉(xiāng)鎮(zhèn)清單201910.xlsx缩挑，與省份、城市id完全吻合鬓梅。并通過在線的excel轉json工具供置，轉換為json格式，保存為文件绽快，方便讀取芥丧。
爬取工作
因為涉及了Excel格式的寫入，所以使用前pip install xlwr坊罢。
源代碼
import requests
import json
import time
import xlwt
def CityName2Code(dt,cityName):
"""城市名/省名轉換為編碼
Arguments:
dt {str} -- [description]
cityName {str} -- [description]
"""
cityCode=''
searchKey=''
codeKey=''
#城市編碼的相對路徑
cityCodePath ='migration/CityCode.json'
#打開文件续担，文件編碼格式為UTF-8
data = open((cityCodePath), encoding='utf-8')
result = json.load(data)
if dt=='province':
searchKey='省名稱'
codeKey='省代碼'
elif dt =='city':
searchKey='地級市名稱'
codeKey='地級市代碼'
for rowNum in range(len(result)):
if result[rowNum][searchKey]==cityName:
cityCode = result[rowNum][codeKey]
return cityCode
def UrlFormat(rankMethod,dt,name,migrationType,date):
"""字符串定義,默認時間為00:00:00,精確到分鐘級別
Arguments:
rankMethod {str} -- city||province 獲得數據的行政級別
dt {str} -- city||province 中心地行政級別
name {str} -- example:'溫州市||浙江省' 作為中心地的地名
migrationType {str} -- in||out
date {str} -- example:20200202
"""
list_date = list(date)
list_date.insert(4,'-')
list_date.insert(7,'-')
formatDate = ''.join(list_date)
formatDate= formatDate+" 00:00:00"
#轉換成時間數組
timeArray = time.strptime(formatDate, "%Y-%m-%d %H:%M:%S")
#轉換成時間戳
timeUnix = time.mktime(timeArray)
ID = CityName2Code(dt,name)
url='http://huiyan.baidu.com/migration/{0}rank.jsonp?dt={1}&id={2}&type=move_{3}&date={4}&callback' \
'=jsonp_{5}000_0000000'.format(rankMethod,dt,ID,migrationType,date,int(timeUnix))
return url
#返回數據處理
def JsonTextConvert(text):
"""Text2Json
Arguments:
text {str} -- webContent
Returns:
str -- jsonText
"""
text = text.encode('utf-8').decode('unicode_escape')
head, sep, tail = text.partition('(')
tail=tail.replace(")","")
return tail
def GetData(rankMethod,dt,name,migrationType,date,isExcel):
"""
Arguments:
rankMethod {str} -- city||province 獲得數據的行政級別
dt {str} -- city||province 中心地行政級別
name {str} -- example:'溫州市||浙江省' 作為中心地的地名
migrationType {str} -- in||out
date {str} -- example:20200202
isExcel {bool} -- true轉出為excel格式
"""
r = requests.get(url=UrlFormat(rankMethod,dt,name,migrationType,date))
text = r.text
rawData=json.loads(JsonTextConvert(text))
data= rawData['data']
list = data['list']
nameKey = ''
if rankMethod=='province':
nameKey = 'province_name'
else:
nameKey = 'city_name'
if isExcel == True:
#輸出excel格式數據
workbook = xlwt.Workbook(encoding='utf-8') #創(chuàng)建workbook 對象
worksheet = workbook.add_sheet('sheet1',cell_overwrite_ok=True) #創(chuàng)建工作表sheet
table_head = [nameKey,'value']#表頭
index = 1
for i in range(len(table_head)):
worksheet.write(0,i,table_head[i])
for l in list:
worksheet.write(index,0,l[nameKey])
worksheet.write(index,1,l['value'])
index=index+1
filename = name+date+'.xls'
workbook.save('migration/'+filename) #保存表
else:
#打印數據
for l in list:
print(l[nameKey],':',l['value'])
def main():
#第一個參數填‘city‘或’province’，為獲取數據的行政級別活孩，分別為市級或省級
#第二個參數填‘city‘或’province’物遇，為中心地的行政級別
#第三個參數填‘中心地名’，例如‘浙江省’或‘杭州市’
#第四個參數填時間憾儒，例如‘20200210’询兴，默認每天的零點
#第四個參數填True或False,True則輸出Excel(文件路徑注意)，否則打印出來
GetData('city','province','浙江省','in','20200210',True)
if __name__ == '__main__':
main()
