[TOC]
一瞧掺、為什么要寫這個(gè)小程序耕餐?
最近在玩爬蟲,在《活學(xué)活用Python02:實(shí)時(shí)爬取NBA比賽分?jǐn)?shù)辟狈,并顯示在電腦屏幕》中就使用了爬蟲肠缔,不過是實(shí)時(shí)獲取的,顯示出來∽椋可是我的學(xué)習(xí)過程中需要一些數(shù)據(jù)集做分析拓春,而這些數(shù)據(jù)需要保存下來释簿,那么我就想到了需要數(shù)據(jù)庫來幫我亚隅。Python跟數(shù)據(jù)庫結(jié)合很方便,這里選擇了當(dāng)下比較火爆的數(shù)據(jù)庫mongodb庶溶,說說把數(shù)據(jù)爬取下來并保存在數(shù)據(jù)庫中煮纵。
二、整體思路要做的事情簡(jiǎn)單說來有:
- 安裝配置mongodb2. 連接Python程序和mongodb偏螺,并用程序創(chuàng)建一個(gè)數(shù)據(jù)庫3. 爬取比賽分?jǐn)?shù)并保存到數(shù)據(jù)庫中
三行疏、梳理細(xì)節(jié),形成導(dǎo)圖
3.1安裝配置mongodb
3.1.1 下載mangodb安裝文件
mongodb官網(wǎng)套像,下載community版本即可酿联,地址是:https://www.mongodb.com/download-center#community
選擇跟自己操作系統(tǒng)對(duì)應(yīng)的版本,我的電腦是win10夺巩,選擇了2008以上版本贞让,這里我選擇默認(rèn)的64bit支持SSL版本,下載后的文件是:
mongodb-win32-x86_64-2008plus-ssl-3.4.5-signed.msi
3.1.2 安裝mangodb
安裝過程比較簡(jiǎn)單柳譬,一路accept即可喳张,默認(rèn)安裝在C盤C:\Program Files,我更改安裝位置選擇了D盤根目錄美澳,其他的默認(rèn)設(shè)置即可销部。
安裝完成后去安裝目錄瞅一眼,看看都有啥制跟,如圖舅桩。
3.1.3 配置 MongoDB
要運(yùn)行MongoDB,需要首先設(shè)置一下運(yùn)行環(huán)境雨膨,MongoDB配置起來有點(diǎn)麻煩擂涛,需要做的事情包括以下幾步:
- 需要一個(gè)配置文件記錄data和log目錄,以及一些配置信息
- 設(shè)置一個(gè)data目錄來保存數(shù)據(jù)
- 另外還需要一個(gè)log目錄保存日志
下面我們分別來看一下每一步如何操作哥放。
a. 新建一個(gè)配置文件記錄data和log目錄
在D:\MongoDB下創(chuàng)建一個(gè)配置文件mongod.cfg歼指,并指定systemLog.path和storage.dbPath。編輯mongod.cfg甥雕,輸入下面內(nèi)容并保存踩身,需要注意的是里面的空格不能用tab鍵和每個(gè)字母的大小寫,尤其是dbPath社露。
systemLog:
destination: file
path: D:\MongoDB\data\log\mongod.log
storage:
dbPath: D:\MongoDB\data\db
b.設(shè)置一個(gè)data目錄來保存數(shù)據(jù)
在D:\MongoDB中新建一個(gè)目錄\data\db
c. 設(shè)置一個(gè)log目錄保存日志
在D:\MongoDB\data下建立一個(gè)log文件夾挟阻,方法同上
至此MongoDB配置完畢,可以運(yùn)行了,在終端中運(yùn)行下面的命令
D:\MongoDB\Server\3.4\bin\mongod.exe --config D:\MongoDB\mongod.cfg
3.2 連接Python程序和mongodb附鸽,并用程序創(chuàng)建一個(gè)數(shù)據(jù)庫
這部分工作包含以下幾個(gè)步驟:
- 安裝Python操作mangodb的庫pymango
- 在新建Python脱拼,并在里面創(chuàng)建數(shù)據(jù)庫
a. 安裝Python操作mangodb的庫pymango
pip install pymango
安裝好以后就可以import它了
b. 新建Python,并在里面創(chuàng)建數(shù)據(jù)庫
import pymongo
client = pymongo.MongoClient('localhost',27017)
NBA = client['NBA']
sheet_tab = NBA['sheet_tab']