爬取中國天氣網(wǎng) 你所在城市過去一年的歷史數(shù)據(jù)
http://www.weather.com.cn/forecast/
首先打開這個(gè)網(wǎng)站怕磨，搜索杭州
發(fā)現(xiàn)40天這里可以前滾
往前翻了幾個(gè)月，發(fā)現(xiàn)多了幾個(gè)js约计，看小伙伴的文章學(xué)到了這里是異步加載js
通過對比分析以及參考小伙伴的文章克婶，對url進(jìn)行分析
http://d1.weather.com.cn/calendar_new/2017/101210101_201703.html?_=1495879439388
101210101是和城市有關(guān)赖舟，1495879439388是時(shí)間戳闸昨，略去不影響
代碼實(shí)現(xiàn)：
url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"
繼續(xù)分析
喜聞樂見氓涣，直接就返回json了汪拥。
每一次都要讓自己提高一點(diǎn)达传，于是我這次選擇存為csv文件。下次再試試MongoDB迫筑。
不對廢話了宪赶，直接貼代碼了。
# -*- coding:utf-8 -*-
import json
import requests
import csv
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def request(year, month):
url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"
headers = {
"User-Agent": "Mozilla / 5.0(Windows NT 6.1;Win64;x64)"
"AppleWebKit / 537.36(KHTML, likeGecko)"
"Chrome / 58.0.3029.110"
"Safari / 537.36",
"Referer": "http://www.weather.com.cn/weather40d/101210101.shtml"
}
return requests.get(url=url, headers=headers)
def save(req):
json_str = req.content.decode(encoding='utf-8')[11:]
weathers = json.loads(json_str)
for weather in weathers:
with open('weather_hangzhou.csv', 'a') as f:
f_csv = csv.writer(f)
f_csv.writerow([weather.get('date'), weather.get('wk'), weather.get('hmax'),
weather.get('hmin'), weather.get('hgl')])
if __name__ == '__main__':
year = input('請輸入年份')
year = str(year)
with open('weather_hangzhou.csv', 'w') as f:
f_csv = csv.writer(f)
f_csv.writerow(['日期', '星期', '最高溫', '最低溫', '降水概率'])
for month in range(1, 13):
month = str(month) if month > 9 else "0" + str(month)
save(request(year, month))
注意點(diǎn)：
1.請求頭要加上referer參數(shù)脯燃，否則返回403搂妻。
"這是因?yàn)檫@是瀏覽器發(fā)出請求時(shí)，會通過Referer告訴服務(wù)器我是從哪個(gè)頁面鏈接過來的辕棚，有些網(wǎng)站會對這個(gè)做驗(yàn)證欲主，主要時(shí)為了防止別人盜鏈的問題。
這個(gè)中國天氣網(wǎng)逝嚎，就是驗(yàn)證了Referer里的域名是不是自己的扁瓢，不是的話就會403禁止訪問服務(wù)器。"引用小伙伴的原話补君。
2.Pyhton2.7編碼問題
# -*- coding:utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
這幾行很重要引几，基本的編碼問題都能解決。
3.多食用官方文檔挽铁，其實(shí)我對Requests包不是很熟伟桅，就去查了一下官方文檔。
多么可愛的開發(fā)者啊叽掘。
這次的爬蟲作業(yè)雖然花的時(shí)間有點(diǎn)多楣铁，但是學(xué)到了很多東西，除了以上所說的更扁，還用上了上次直播學(xué)到的PyCharm的dubug模式盖腕，斷點(diǎn)調(diào)試讓我找bug快了很多赫冬。
最后，再次感謝兩位小伙伴的干貨赊堪，站在巨人的肩膀上就是這么嗨皮面殖。
http://www.reibang.com/p/93815a8beb8f
http://www.reibang.com/p/ff7bb9fc9533
