用理工科思維看待這個世界
系列爬蟲專欄
崇尚的學(xué)習(xí)思維是：輸入座慰，輸出平衡，且平衡點不斷攀升翠拣。
曾經(jīng)有大神告誡說：沒事別瞎寫文章版仔；所以，很認真的寫的是能力范圍內(nèi)的误墓，看客要是看不懂蛮粮，不是你的問題，問題在我谜慌，得持續(xù)輸入然想，再輸出。
今天的主題是：pymongo的簡單實用及其實戰(zhàn)
0：框架
| 序號 | 內(nèi)容 | 說明 |
|---|---|---|
| 01 | 概念及對比說明 | -- |
| 02 | 對比 | -- |
| 03 | 實戰(zhàn) | -- |
| 04 | 參考及總結(jié) | -- |
1：概念
數(shù)據(jù)庫
數(shù)據(jù)庫（Database）是按照數(shù)據(jù)結(jié)構(gòu)來組織欣范、存儲和管理數(shù)據(jù)的倉庫变泄，
每個數(shù)據(jù)庫都有一個或多個不同的API用于創(chuàng)建，訪問熙卡，管理杖刷，搜索和復(fù)制所保存的數(shù)據(jù)。mongodb
MongoDB是一種文檔導(dǎo)向數(shù)據(jù)庫管理系統(tǒng)驳癌，是一種分布式文件存儲的數(shù)據(jù)庫滑燃，由C++編寫.特點：
MongoDB 將數(shù)據(jù)存儲為一個文檔，數(shù)據(jù)結(jié)構(gòu)由鍵值(key=>value)對組成颓鲜。MySQL
MySQL（官方發(fā)音為英語發(fā)音：/ma? ??skju???l/“My S-Q-L”[1]表窘，但也經(jīng)常讀作英語發(fā)音：/ma? ?si?kw?l/“My Sequel”）是一個開放源代碼的關(guān)系數(shù)據(jù)庫管理系統(tǒng).特點：
數(shù)據(jù)以表格的形式出現(xiàn)
每行為各種記錄名稱
每列為記錄名稱所對應(yīng)的數(shù)據(jù)域
許多的行和列組成一張表單
若干的表單組成databaseSQL 和 Mongodb術(shù)語對比：
| SQL術(shù)語 | Mongodb術(shù)語 | 解釋說明 |
|---|---|---|
| database | database | 數(shù)據(jù)庫 |
| table | collection | 數(shù)據(jù)表，集合 |
| row | document | 數(shù)據(jù)記錄行甜滨，文檔 |
| column | field | 數(shù)據(jù)字段乐严，域 |
| index | index | 索引 |
| primary key | primary key | 主鍵，mongodb自動將_id字段設(shè)為主鍵 |
可視化工具顯示：
關(guān)系型數(shù)據(jù)庫：數(shù)據(jù)記錄的顯示
Mongodb數(shù)據(jù)庫：數(shù)據(jù)記錄的顯示
2：對比
搭建
下載：
Mongodb官網(wǎng)
MySQL官網(wǎng)運行本地服務(wù)器
1： MongoDB ：路徑
mongod --dbpath C:\Mongodb\Data
2：MySQL
mysql -u root -ppython 下模塊
1：MongoDB
pymongo
2：MySQLdb
MySQLdbpython 下創(chuàng)建連接對象
1：mongodb
from pymongo import MongoClient
client = MongoClient('localhost',27017) # 創(chuàng)建連接對象
db = client.exercise # 創(chuàng)建數(shù)據(jù)庫
collection = db.tablename # 創(chuàng)建collection
# collection 使用各種方法實現(xiàn)：增刪改查
2：MySQLdb
import MySQLdb
mysql = MySQLdb.connect(
user="root",
host="localhost",
passwd="123456",
port=3306,
db='exercise',
charset='utf8') # 創(chuàng)建連接對象
cursor = mysql.cursor() # 創(chuàng)建游標對象
# 游標對象下執(zhí)行sql語句實現(xiàn)對數(shù)據(jù)的增刪改查
- pymongo 簡易教程
假設(shè)collection名為tablename
# 插入數(shù)據(jù)
data = {"A":1,"B":2}
tablename.insert_one(data) # 向數(shù)據(jù)庫插入一條數(shù)據(jù)
# 查詢數(shù)據(jù)
tablename.find_one() # 獲取數(shù)據(jù)庫一條數(shù)據(jù)
# 按條件查找
tablename.find_one({"A":1}) # 按條件返回一條數(shù)據(jù)
# 插入多條數(shù)據(jù)
new_data = [{"C":3,"D":4},{"E":5}]
tablename.insert_many(new_data)
# 查詢多條
for one in tablename.find():
print(one) # 逐條打印
# 計數(shù)
tablename.count() # 返回該集合下有多少條數(shù)據(jù)
3：實戰(zhàn)
專欄：009：
完整版代碼示例
實現(xiàn)了將數(shù)據(jù)儲存至MySQL數(shù)據(jù)庫
核心代碼不變: 添加存儲至mongodb 數(shù)據(jù)庫中：
def save_to_mongodb(self, each_page_film_data, tablename):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.insert(each_page_film_data)
client.close()
# each_page_film_data 是JSON格式的數(shù)據(jù)
效果圖：可視化工具Robomongo
將全部數(shù)據(jù)取出查看：
def select_from_mongodb(self):
client = pymongo.MongoClient()
db = client.exercise
result = db.tablename.find()
return result
效果圖：每條數(shù)據(jù)自動添加_id字段
4：總結(jié)
淺顯的對比MySQL 和 mongodb數(shù)據(jù)庫衣摩。
數(shù)據(jù)庫存在很多shell 指令.
具體查看官方文檔昂验。
關(guān)于本人：
國內(nèi)小碩，半路出家的IT初學(xué)者。
興趣領(lǐng)域：爬蟲 既琴， 數(shù)據(jù)科學(xué)
本人正在構(gòu)建一個共同成長爬蟲小型社群占婉。持續(xù)精進。如果理念相似甫恩，歡迎加入逆济。
文檔及代碼托管在Github上。
