1 MongoDB
MongoDB是由C++語言編寫的非關系型數(shù)據(jù)庫梗顺,是一個基于分布式文件存儲的開源數(shù)據(jù)庫系統(tǒng),其內容存儲形式類似JSON對象,它的字段值可以包含其他文檔懂昂、數(shù)組及文檔數(shù)組,非常靈活没宾。在這一節(jié)中凌彬,我們就來看看Python 3下MongoDB的存儲操作。
1.1 準備工作
在開始之前循衰,請確保已經安裝好了MongoDB并啟動了其服務铲敛,并且安裝好了Python的PyMongo庫。
1.2 連接MongoDB
連接MongoDB時会钝,我們需要使用PyMongo庫里面的MongoClient伐蒋。一般來說,傳入MongoDB的IP及端口即可迁酸,其中第一個參數(shù)為地址host先鱼,第二個參數(shù)為端口port(如果不給它傳遞參數(shù),默認是27017):
import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)
這樣就可以創(chuàng)建MongoDB的連接對象了奸鬓。
另外型型,MongoClient的第一個參數(shù)host還可以直接傳入MongoDB的連接字符串,它以mongodb開頭全蝶,例如:
client = MongoClient('mongodb://localhost:27017/')
這也可以達到同樣的連接效果闹蒜。
1.3 指定數(shù)據(jù)庫
MongoDB中可以建立多個數(shù)據(jù)庫,接下來我們需要指定操作哪個數(shù)據(jù)庫抑淫。這里我們以test數(shù)據(jù)庫為例來說明绷落,下一步需要在程序中指定要使用的數(shù)據(jù)庫:
db = client.test
# db = client['test'] 這兩種方式是等價的。
1.4 指定集合
MongoDB的每個數(shù)據(jù)庫又包含許多集合(collection)始苇,它們類似于關系型數(shù)據(jù)庫中的表砌烁。
下一步需要指定要操作的集合,這里指定一個集合名稱為students催式。與指定數(shù)據(jù)庫類似函喉,指定集合也有兩種方式:
collection = db.students
# collection = db['students']
這樣我們便聲明了一個Collection對象。
1.5 插入數(shù)據(jù)
接下來荣月,便可以插入數(shù)據(jù)了管呵。對于students這個集合,新建一條學生數(shù)據(jù)哺窄,這條數(shù)據(jù)以字典形式表示:
student = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
這里指定了學生的學號捐下、姓名账锹、年齡和性別。接下來坷襟,直接調用collection的insert()方法即可插入數(shù)據(jù)奸柬,代碼如下:
result = collection.insert(student)
print(result)
5e9e6fe561295a3109a59ac9
在MongoDB中,每條數(shù)據(jù)其實都有一個_id屬性來唯一標識婴程。如果沒有顯式指明該屬性廓奕,MongoDB會自動產生一個ObjectId類型的_id屬性。insert()方法會在執(zhí)行后返回_id值档叔。
當然懂从,我們也可以同時插入多條數(shù)據(jù),只需要以列表形式傳遞即可蹲蒲,示例如下:
student1 = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
student2 = {
'id': '20170202',
'name': 'Mike',
'age': 21,
'gender': 'male'
}
result = collection.insert([student1, student2])
print(result)
[ObjectId('5e9e709261295a3109a59aca'), ObjectId('5e9e709261295a3109a59acb')]
實際上番甩,在PyMongo 3.x版本中,官方已經不推薦使用insert()方法了届搁。當然缘薛,繼續(xù)使用也沒有什么問題。官方推薦使用insert_one()和insert_many()方法來分別插入單條記錄和多條記錄卡睦,示例如下:
student = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
result = collection.insert_one(student)
print(result)
print(result.inserted_id)
<pymongo.results.InsertOneResult object at 0x00000000051C5F88>
5e9e70dc61295a3109a59acc
與insert()方法不同宴胧,這次返回的是InsertOneResult對象,我們可以調用其inserted_id屬性獲取_id表锻。
對于insert_many()方法恕齐,我們可以將數(shù)據(jù)以列表形式傳遞,示例如下:
student1 = {
'id': '20170101',
'name': 'Jordan',
'age': 20,
'gender': 'male'
}
student2 = {
'id': '20170202',
'name': 'Mike',
'age': 21,
'gender': 'male'
}
result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)
<pymongo.results.InsertManyResult object at 0x0000000004AD2AC8>
[ObjectId('5e9e714c61295a3109a59acd'), ObjectId('5e9e714c61295a3109a59ace')]
該方法返回的類型是InsertManyResult瞬逊,調用inserted_ids屬性可以獲取插入數(shù)據(jù)的_id列表显歧。
1.6 查詢
插入數(shù)據(jù)后,我們可以利用find_one()或find()方法進行查詢确镊,其中find_one()查詢得到的是單個結果士骤,find()則返回一個生成器對象。示例如下:
result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)
<class 'dict'>
{'_id': ObjectId('5e9e709261295a3109a59acb'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}
這里我們查詢name為Mike的數(shù)據(jù)蕾域,它的返回結果是字典類型拷肌。
可以發(fā)現(xiàn),它多了_id屬性旨巷,這就是MongoDB在插入過程中自動添加的巨缘。
此外,我們也可以根據(jù)ObjectId來查詢采呐,此時需要使用bson庫里面的objectid:
from bson.objectid import ObjectId
result = collection.find_one({'_id': ObjectId('5e9e709261295a3109a59acb')})
print(result)
{'_id': ObjectId('5e9e709261295a3109a59acb'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}
當然若锁,如果查詢結果不存在,則會返回None懈万。
對于多條數(shù)據(jù)的查詢拴清,我們可以使用find()方法。例如会通,這里查找年齡為20的數(shù)據(jù)口予,示例如下:
results = collection.find({'age': 20})
print(results)
for result in results:
print(result)
<pymongo.cursor.Cursor object at 0x00000000054014E0>
{'_id': ObjectId('5e9e6fe561295a3109a59ac9'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e9e709261295a3109a59aca'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e9e70dc61295a3109a59acc'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('5e9e714c61295a3109a59acd'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
返回結果是Cursor類型,它相當于一個生成器涕侈,我們需要遍歷取到所有的結果沪停,其中每個結果都是字典類型。
如果要查詢年齡大于20的數(shù)據(jù)裳涛,則寫法如下:
results = collection.find({'age': {'$gt': 20}})
print(results)
for result in results:
print(result)
<pymongo.cursor.Cursor object at 0x0000000005401898>
{'_id': ObjectId('5e9e709261295a3109a59acb'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}
{'_id': ObjectId('5e9e714c61295a3109a59ace'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}
這里查詢的條件鍵值已經不是單純的數(shù)字了木张,而是一個字典,其鍵名為比較符號$gt端三,意思是大于舷礼,鍵值為20。
這里將比較符號歸納為下表郊闯。
另外妻献,還可以進行正則匹配查詢。例如团赁,查詢名字以M開頭的學生數(shù)據(jù)育拨,示例如下:
results = collection.find({'name': {'$regex': '^M.*'}})
這里使用$regex來指定正則匹配,^M.*代表以M開頭的正則表達式欢摄。
這里將一些功能符號再歸類為下表熬丧。
關于這些操作的更詳細用法,可以在MongoDB官方文檔找到
1.7 計數(shù)
要統(tǒng)計查詢結果有多少條數(shù)據(jù)怀挠,可以調用count()方法析蝴。比如,統(tǒng)計所有數(shù)據(jù)條數(shù):
count = collection.find().count()
print(count)
或者統(tǒng)計符合某個條件的數(shù)據(jù):
count = collection.find({'age': 20}).count()
print(count)
運行結果是一個數(shù)值绿淋,即符合條件的數(shù)據(jù)條數(shù)嫌变。
1.8 排序
排序時,直接調用sort()方法躬它,并在其中傳入排序的字段及升降序標志即可腾啥。示例如下:
results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])
['Jordan', 'Jordan', 'Jordan', 'Jordan', 'Mike', 'Mike']
這里我們調用pymongo.ASCENDING指定升序。如果要降序排列冯吓,可以傳入pymongo.DESCENDING倘待。
1.9 偏移
在某些情況下,我們可能想只取某幾個元素组贺,這時可以利用skip()方法偏移幾個位置凸舵,比如偏移2,就忽略前兩個元素失尖,得到第三個及以后的元素:
results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])
['Jordan', 'Jordan', 'Mike', 'Mike']
另外啊奄,還可以用limit()方法指定要取的結果個數(shù)渐苏,示例如下:
results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])
['Jordan', 'Jordan']
如果不使用limit()方法,原本會返回四個結果菇夸,加了限制后琼富,會截取兩個結果返回。
值得注意的是庄新,在數(shù)據(jù)庫數(shù)量非常龐大的時候鞠眉,如千萬、億級別择诈,最好不要使用大的偏移量來查詢數(shù)據(jù)械蹋,因為這樣很可能導致內存溢出。此時可以使用類似如下操作來查詢:
from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})
這時需要記錄好上次查詢的_id羞芍。
1.10 更新
對于數(shù)據(jù)更新哗戈,我們可以使用update()方法,指定更新的條件和更新后的數(shù)據(jù)即可荷科。例如:
condition = {'name': 'Mike'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update(condition, student)
print(result)
{'n': 1, 'nModified': 1, 'ok': 1.0, 'updatedExisting': True}
這里我們要更新name為Mike的數(shù)據(jù)的年齡:首先指定查詢條件谱醇,然后將數(shù)據(jù)查詢出來,修改年齡后調用update()方法將原條件和修改后的數(shù)據(jù)傳入步做。
返回結果是字典形式副渴,ok代表執(zhí)行成功,nModified代表影響的數(shù)據(jù)條數(shù)全度。
另外煮剧,我們也可以使用$set操作符對數(shù)據(jù)進行更新,代碼如下:
result = collection.update(condition, {'$set': student})
這樣可以只更新student字典內存在的字段将鸵。如果原先還有其他字段勉盅,則不會更新,也不會刪除顶掉。而如果不用$set的話草娜,則會把之前的數(shù)據(jù)全部用student字典替換;如果原本存在其他字段痒筒,則會被刪除宰闰。
另外,update()方法其實也是官方不推薦使用的方法簿透。這里也分為update_one()方法和update_many()方法移袍,用法更加嚴格,它們的第二個參數(shù)需要使用$類型操作符作為字典的鍵名老充,示例如下:
condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)
<pymongo.results.UpdateResult object at 0x0000000005085A08>
1 0
我們再看一個例子:
condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)
<pymongo.results.UpdateResult object at 0x0000000004D7B108>
1 1
可以看到匹配條數(shù)為1條葡盗,影響條數(shù)也為1條。
如果調用update_many()方法啡浊,則會將所有符合條件的數(shù)據(jù)都更新觅够,示例如下:
condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)
<pymongo.results.UpdateResult object at 0x0000000005829908>
2 2
可以看到胶背,這時所有匹配到的數(shù)據(jù)都會被更新。
1.11 刪除
刪除操作比較簡單喘先,直接調用remove()方法指定刪除的條件即可钳吟,此時符合條件的所有數(shù)據(jù)均會被刪除。示例如下:
result = collection.remove({'name': 'Mike'})
print(result)
{'n': 1, 'ok': 1.0}
另外苹祟,這里依然存在兩個新的推薦方法——delete_one()和delete_many()砸抛。示例如下:
result = collection.delete_one({'name': 'Jordan'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)
<pymongo.results.DeleteResult object at 0x000000000582B408>
1
3
delete_one()即刪除第一條符合條件的數(shù)據(jù)评雌,delete_many()即刪除所有符合條件的數(shù)據(jù)树枫。它們的返回結果都是DeleteResult類型,可以調用deleted_count屬性獲取刪除的數(shù)據(jù)條數(shù)景东。
1.12 1. 其他操作
另外砂轻,PyMongo還提供了一些組合方法,如find_one_and_delete()斤吐、find_one_and_replace()和find_one_and_update()搔涝,它們是查找后刪除、替換和更新操作和措,其用法與上述方法基本一致庄呈。
另外,還可以對索引進行操作派阱,相關方法有create_index()诬留、create_indexes()和drop_index()等。