實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)
自己動(dòng)手搭建一套集群
采用docker搭建集群沐绒,對于學(xué)習(xí)MongoDB,這樣最省時(shí)省力州疾。前期請自行安裝Docker胧奔,這是自動(dòng)化安裝過程中必須用的工具。
安裝docker參考:https://get.docker.com/
為了方便安裝,我寫了如下安裝腳本,再Linux和macOS上實(shí)測通過,windows平臺(tái)請自行參考较沪。執(zhí)行創(chuàng)建mongo集群.sh 等待片刻就可以構(gòu)建一個(gè)MongoDB分片集群。完整腳本下載地址:https://www.jianguoyun.com/p/DcsnjyoQlIjtBhiHjZsD失仁。
分片集群構(gòu)成
MongoDB分片群集由以下組件組成:
shard(分片):每個(gè)分片包含分片數(shù)據(jù)的子集尸曼。每個(gè)分片都可以部署為副本集。
mongos(路由):mongos充當(dāng)查詢路由器萄焦,在客戶端應(yīng)用程序和分片群集之間提供接口控轿。
config servers(配置服務(wù)):存儲(chǔ)集群的元數(shù)據(jù)和配置。從MongoDB 3.4開始拂封,必須將配置服務(wù)器部署為副本集(CSRS)茬射。
下圖描述了分片群集中組件的交互:
分片策略
對于分片集群,MongoDB支持hash和range兩種分片策略
Hash分片
Hash分片是計(jì)算片健的hash值冒签,每個(gè)chunk存儲(chǔ)該hash值一定范圍的文檔在抛。這個(gè)過程完全由mongoDB服務(wù)端控制,客戶端無感知萧恕。
Range分片
范圍分片是按照片鍵值的范圍進(jìn)行拆分?jǐn)?shù)據(jù)集刚梭,每個(gè)chunk存儲(chǔ)片鍵值一定范圍的文檔。
片鍵以及策略的選擇
片鍵一旦選定票唆,就不能修改朴读,而且一個(gè)片鍵的好壞,直接影響集群的性能走趋。如果可以衅金,應(yīng)該選擇一個(gè)區(qū)分度比較的片健,以保證數(shù)據(jù)可以均勻的分布在集群中。
Hash分片:適用于等值查詢氮唯。
- 優(yōu)勢:數(shù)據(jù)分布更均勻鉴吹。
- 局限性:如果是范圍查詢,需要掃描所有分片才能獲取完整數(shù)據(jù)您觉。
- 不能使用unique拙寡,可以給該片鍵再建一個(gè)唯一索引解決。
Range分片:適用于范圍查詢琳水。
- 優(yōu)勢:相近的片鍵聚集在一個(gè)chunk中肆糕,范圍查詢效率好。
- 局限性:如果片鍵是單調(diào)遞增或者遞減的在孝,新的數(shù)據(jù)總是寫入到一個(gè)固定的分片上诚啃,該分片會(huì)不斷的增長和拆分,這不能更好利用集群的寫入性能私沮。
chunk(數(shù)據(jù)塊)
MongoDB把數(shù)據(jù)集拆分為chunk始赎,每一個(gè)chunk存儲(chǔ)左閉右開[start,end)區(qū)間的數(shù)據(jù)。每個(gè)chunk屬于且僅屬于一個(gè)分片仔燕,當(dāng)chunk超出配置的塊大性於狻(默認(rèn)為64兆字節(jié))時(shí),MongoDB將對其進(jìn)行拆分晰搀。 當(dāng)一個(gè)分片相對于其他分片包含過多的集合分片時(shí)五辽,MongoDB會(huì)遷移這些分塊。
觀察數(shù)據(jù)
這里創(chuàng)建兩個(gè)集合外恕,test_shard_hashed(hash分片)和 test_shard_range(range分片)杆逗,userId都是唯一的,具體過程如下
//方便測試 1M
db=db.getSisterDB("config")
db.settings.save( { _id:"chunksize", value: 1 } )
//啟用數(shù)據(jù)庫分片
db=db.getSisterDB("test")
sh.enableSharding("test")
//hash分片
db.test_shard_range.drop()
sh.shardCollection("test.test_shard_range",{"userId": 1},true)
for (i = 1; i <= 100000; i++) {
j=Math.round(Math.random()*100000)
db.test_shard_range.insert({userId:j, name:"name"+i, create_time:new Date()})
}
//range分片
db.test_shard_hashed.drop()
db.test_shard_hashed.createIndex({"userId":1},{"unique":true})
db.test_shard_hashed.createIndex({"userId":"hashed"})
sh.shardCollection("test.test_shard_hashed",{"userId": "hashed"})
for (i = 1; i <= 100000; i++) db.test_shard_hashed.insert({userId:i+"", name:"name"+i, create_time:new Date()})
執(zhí)行完成之后鳞疲,連接數(shù)據(jù)庫觀察結(jié)果
mongo 127.0.0.1:27100
sh.status(true)
test.test_shard_hashed 分片結(jié)果如下罪郊,可以看到數(shù)據(jù)按照hash范圍分布在兩個(gè)分片上。
test.test_shard_range 分片結(jié)果如下尚洽,可以看到數(shù)據(jù)按照userId的值分布在兩個(gè)分片上悔橄。
總結(jié)
MongoDB分片可以顯著提高數(shù)據(jù)庫的容量和性能,而且只需要在服務(wù)端增加副本集就可以橫向擴(kuò)展翎朱,再也不同擔(dān)心數(shù)據(jù)庫容量問題了橄维。