今天主要是介紹一下mongodb的使用吭产，通過(guò)爬取中國(guó)天氣網(wǎng)的你所在城市一年的天氣歷史數(shù)據(jù)，可以簡(jiǎn)單掌握mongodb的使用慧妄；

windows下MongoDB的安裝及配置這個(gè)介紹的挺詳細(xì)的轿钠，基本一看就懂芭概；
mongodb啟動(dòng)后，下面來(lái)分析一下要爬的網(wǎng)址
主要是這個(gè)3個(gè)點(diǎn)吧：
1臣镣、首先分析一下這個(gè)天氣的網(wǎng)頁(yè)數(shù)據(jù)辅愿，

Paste_Image.png

從這里可以看出主要是json數(shù)據(jù)，這個(gè)就方便多了忆某；
2点待、下面分析一下如何每個(gè)月的數(shù)據(jù)，

這里可以得到每個(gè)月天氣的url
3弃舒、還有這個(gè)請(qǐng)求的時(shí)候癞埠，記得要用postman請(qǐng)求一下状原，確認(rèn)下請(qǐng)求的headers需要帶哪些頭部數(shù)據(jù)；
下面是存到本地csv的代碼：

import requests
import json
import csv


class Weather():

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',
        'Referer': 'http://www.weather.com.cn/weather40d/101010100.shtml'
    }
    #新建列表苗踪，用來(lái)存儲(chǔ)獲取的數(shù)據(jù)
    a = []

    #獲取一年的天氣數(shù)據(jù)
    def get_data(self):
        global year
        year = input('請(qǐng)輸入年份:')
        month = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
        for i in month:
            url = 'http://d1.weather.com.cn/calendar_new/' + str(year) + '/101280601_' + str(year) + str(
                i) + '.html?_=1496558858156'
            html = requests.get(url, headers=self.headers).content
            global datas
            #天氣信息的json數(shù)據(jù)
            datas = json.loads(html[11:])
            self.get_info()

    #獲取天氣的具體數(shù)據(jù)
    def get_info(self):
        for data in datas:
            date = data['date']
            date2 = data['nlyf'] + data['nl']
            hgl = data['hgl']
            hmax = data['hmax']
            hmin = data['hmin']
            alins = data['alins']
            als = data['als']
            info = {
                '日期': date,
                '農(nóng)歷日期': date2,
                '降水概率': hgl,
                '最高溫度': hmax,
                '最低溫度': hmin,
                '宜': alins,
                '不宜': als,
                }
            #去重颠区，獲取一年的數(shù)據(jù)
            if info not in self.a:
                if info['日期'][:4] == year:
                    self.a.append(info)


if __name__ == '__main__':
    sz = Weather()
    sz.get_data()
    #存儲(chǔ)到本地的csv文件
    csv_name = ['日期', '降水概率', '最高溫度', '最低溫度', '農(nóng)歷日期', '宜', '不宜']
    with open('weather_sz.csv', 'w',  newline = '',encoding='utf-8')as csvfile:
        write = csv.DictWriter(csvfile, fieldnames=csv_name)
        writer = csv.writer(csvfile)
        write.writeheader()
        write.writerows(sz.a)
        csvfile.close()

運(yùn)行結(jié)果：

2017深圳一年的天氣數(shù)據(jù).png

下面在這個(gè)基礎(chǔ)上存儲(chǔ)到mongodb，

import requests
from lxml import etree
import json
import pymongo


# 連接到Mongo
conn = pymongo.MongoClient(host = 'localhost', port = 27017)
# 選擇或創(chuàng)建數(shù)據(jù)庫(kù)
weather = conn['weather']
# 選擇或創(chuàng)建數(shù)據(jù)集合
newsdata = weather['weather_infos']

class Weather():

    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
                    'Referer': 'http://www.weather.com.cn/weather40d/101280601.shtml'
        }
    # 新建列表通铲，用來(lái)存儲(chǔ)獲取的數(shù)據(jù)
    all_info = []

    def __init__(self):
        pass

    # 獲取一年的天氣數(shù)據(jù)
    def get_data(self):
        global year
        month = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
        for i in month:
            url = 'http://d1.weather.com.cn/calendar_new/' + str(year) + '/101280601_' + str(year) + str(
                i) + '.html?_=1496558858156'
            html = requests.get(url, headers=self.headers).content
            global datas
            datas = json.loads(html[11:])
            self.get_info()

    # 獲取天氣的具體數(shù)據(jù)
    def get_info(self):
        for data in datas:
            date = data['date']
            date2 = data['nlyf'] + data['nl']
            history_rain = data['hgl']
            history_max = data['hmax']
            history_min = data['hmin']
            tmax = data['max']
            tmin = data['min']
            time = data['time']
            w1 = data['w1']
            wd1 = data['wd1']
            alins = data['alins']
            als = data['als']
            info = {
                    '日期': date,
                    '農(nóng)歷日期': date2,
                    '降雨概率': history_rain,
                    '歷史最高': history_max,
                    '歷史最低': history_min,
                    '最高溫度': tmax,
                    '最低溫度': tmin,
                    'time': time,
                    'w1': w1,
                    'wd1': wd1,
                    '宜': alins,
                    '忌': als,
                }
            #先把去重的數(shù)據(jù)存儲(chǔ)到列表all_info
            if info not in self.all_info:
                if info['日期'][:4] == year:
                    self.all_info.append(info)

    #再把列表的數(shù)據(jù)存到mongodb
    def store_mongodb(self):
        self.get_data()
        for one_info in self.all_info:
            newsdata.insert_one(one_info)


if __name__ == '__main__':
        year = '2017'
        tianqi = Weather()
        tianqi.store_mongodb()

運(yùn)行的結(jié)果：

2017深圳一年的天氣數(shù)據(jù).png

小結(jié)：
1毕莱、存到本地和mongodb對(duì)比后，發(fā)現(xiàn)差別不是很大颅夺，只是多了連接到mongodb和存儲(chǔ)到mongodb的語(yǔ)句朋截；主要這里沒(méi)有涉及數(shù)據(jù)庫(kù)的其他操作，所以看起來(lái)差別不大吧黄；
2部服、MongoDB 教程
3、pymongdb的使用——數(shù)據(jù)去重
4拗慨、MongoDB的學(xué)習(xí)
5廓八、mongodb的可視化工具:
MongoVUE 、Mongo Management Studio赵抢，工具有很多剧蹂，其他的可自己查找；