最近在研究NoSQL方面的知識患膛,在網(wǎng)上搜索了Redis摊阀、Memcache和MongoDB的優(yōu)缺點,發(fā)現(xiàn)一篇文章總結(jié)的挺詳細的踪蹬,遂轉(zhuǎn)載過來胞此。
請移步轉(zhuǎn)載地址,如有問題跃捣,勞煩通知刪除漱牵!
一、redis
優(yōu)點:
?1疚漆、支持多種數(shù)據(jù)結(jié)構(gòu)酣胀,如 string
(字符串)、 list
(雙向鏈表)娶聘、dict
(hash
表)闻镶、set
(集合)、zset
(排序set
)丸升、hyperloglog
(基數(shù)估算)
?2铆农、支持持久化操作,可以進行aof
及rdb
數(shù)據(jù)持久化到磁盤发钝,從而進行數(shù)據(jù)備份或數(shù)據(jù)恢復等操作顿涣,較好的防止數(shù)據(jù)丟失的手段。
?3酝豪、支持通過Replication
進行數(shù)據(jù)復制涛碑,通過master-slave
機制,可以實時進行數(shù)據(jù)的同步復制孵淘,支持多級復制和增量復制蒲障,master-slave
機制是Redis
進行HA的重要手段。
?4、單線程請求揉阎,所有命令串行執(zhí)行庄撮,并發(fā)情況下不需要考慮數(shù)據(jù)一致性問題。
?5毙籽、支持pub/sub
消息訂閱機制洞斯,可以用來進行消息訂閱與通知。
?6坑赡、支持簡單的事務(wù)需求烙如,但業(yè)界使用場景很少,并不成熟毅否。
局限性:
?1亚铁、Redis
只能使用單線程,性能受限于CPU
性能螟加,故單實例CPU
最高才可能達到5-6wQPS每秒(取決于數(shù)據(jù)結(jié)構(gòu)徘溢,數(shù)據(jù)大小以及服務(wù)器硬件性能,日常環(huán)境中QPS高峰大約在1-2w左右)捆探。
?2然爆、支持簡單的事務(wù)需求,但業(yè)界使用場景很少徐许,并不成熟施蜜,既是優(yōu)點也是缺點。
?3雌隅、Redis
在string
類型上會消耗較多內(nèi)存,可以使用dict
(hash表
)壓縮存儲以降低內(nèi)存耗用缸沃。
?4恰起、Memcache
和Redis
都是Key-Value
類型,不適合在不同數(shù)據(jù)集之間建立關(guān)系趾牧,也不適合進行查詢搜索检盼。比如redis
的keys pattern
這種匹配操作,對redis的性能是災(zāi)難翘单。
二吨枉、Memcached
優(yōu)點:
?1、Memcached
可以利用多核優(yōu)勢哄芜,單實例吞吐量極高貌亭,可以達到幾十萬QPS
(取決于key、value
的字節(jié)大小以及服務(wù)器硬件性能认臊,日常環(huán)境中QPS
高峰大約在4-6w左右)圃庭。適用于最大程度扛量。
?2、支持直接配置為session handle
剧腻。
局限性:
?1拘央、只支持簡單的key/value
數(shù)據(jù)結(jié)構(gòu),不像Redis
可以支持豐富的數(shù)據(jù)類型书在。
?2灰伟、無法進行持久化,數(shù)據(jù)不能備份儒旬,只能用于緩存使用袱箱,且重啟后數(shù)據(jù)全部丟失。
?3义矛、無法進行數(shù)據(jù)同步发笔,不能將MemCached
中的數(shù)據(jù)遷移到其他MemCached
實例中。
?4凉翻、Memcached
內(nèi)存分配采用Slab Allocation
機制管理內(nèi)存了讨,value
大小分布差異較大時會造成內(nèi)存利用率降低,并引發(fā)低利用率時依然出現(xiàn)踢出等問題制轰。需要用戶注重value
設(shè)計前计。
緩存過期策略
?1、Memcached
不會釋放已分配的內(nèi)存垃杖,其存儲空間可以重復使用
?2男杈、Memcached
內(nèi)部不會監(jiān)視數(shù)據(jù)是否過期,而是在get
時查看數(shù)據(jù)的時間戳调俘,查看數(shù)據(jù)是否過期伶棒。被稱為lazy expiration
(惰性過期)
?3、Memcached
內(nèi)存空間不足彩库,即無法從slab class
中獲取到新的空間時肤无,就從最近未被使用的數(shù)據(jù)中搜索,將其空間分配給新的數(shù)據(jù)骇钦。(如果要禁用LRU
宛渐,使用-M
參數(shù),超出會報錯)
三眯搭、mongoDB
mongoDB 是一種文檔性的數(shù)據(jù)庫窥翩。先解釋一下文檔的數(shù)據(jù)庫,即可以存放xml鳞仙、json寇蚊、bson類型系那個的數(shù)據(jù)。
這些數(shù)據(jù)具備自述性(self-describing)繁扎,呈現(xiàn)分層的樹狀數(shù)據(jù)結(jié)構(gòu)幔荒。redis可以用hash存放簡單關(guān)系型數(shù)據(jù)糊闽。
mongoDB 存放json格式數(shù)據(jù)。
適合場景:事件記錄爹梁、內(nèi)容管理或者博客平臺右犹,比如評論系統(tǒng)。
1姚垃、mongodb持久化原理
mongodb與mysql不同念链,mysql的每一次更新操作都會直接寫入硬盤,但是mongo不會积糯,做為內(nèi)存型數(shù)據(jù)庫掂墓,數(shù)據(jù)操作會先寫入內(nèi)存,然后再會持久化到硬盤中去看成。
??那么mongo是如何持久化的呢
??mongodb
在啟動時君编,專門初始化一個線程不斷循環(huán)(除非應(yīng)用crash
掉),用于在一定時間周期內(nèi)來從defer
隊列中獲取要持久化的數(shù)據(jù)并寫入到磁盤的journal
(日志)和mongofile
(數(shù)據(jù))處川慌,當然因為它不是在用戶添加記錄時就寫到磁盤上吃嘿,所以按mongodb
開發(fā)者說,它不會造成性能上的損耗梦重,因為看過代碼發(fā)現(xiàn)兑燥,當進行CUD
操作時,記錄(Record
類型)都被放入到defer
隊列中以供延時批量(groupcommit
)提交寫入琴拧,但相信其中時間周期參數(shù)是個要認真考量的參數(shù)降瞳,系統(tǒng)為90毫秒,如果該值更低的話蚓胸,可能會造成頻繁磁盤操作挣饥,過高又會造成系統(tǒng)宕機時數(shù)據(jù)丟失過。
2.什么是NoSQL數(shù)據(jù)庫赢织?NoSQL和RDBMS有什么區(qū)別亮靴?在哪些情況下使用和不使用NoSQL數(shù)據(jù)庫?
?NoSQL
是非關(guān)系型數(shù)據(jù)庫于置,NoSQL = Not Only SQL。
?關(guān)系型數(shù)據(jù)庫采用的結(jié)構(gòu)化的數(shù)據(jù)贞岭,NoSQL
采用的是鍵值對的方式存儲數(shù)據(jù)八毯。
?在處理非結(jié)構(gòu)化/半結(jié)構(gòu)化的大數(shù)據(jù)時;在水平方向上進行擴展時瞄桨;隨時應(yīng)對動態(tài)增加的數(shù)據(jù)項時可以優(yōu)先考慮使用NoSQL
數(shù)據(jù)庫话速。
?在考慮數(shù)據(jù)庫的成熟度;支持芯侥;分析和商業(yè)智能泊交;管理及專業(yè)性等問題時乳讥,應(yīng)優(yōu)先考慮關(guān)系型數(shù)據(jù)庫。
3.MySQL和MongoDB之間最基本的區(qū)別是什么廓俭?
?關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫的區(qū)別云石,即數(shù)據(jù)存儲結(jié)構(gòu)的不同。
4.MongoDB的特點是什么研乒?
?(1)面向文檔
?(2)高性能
?(3)高可用
?(4)易擴展
?(5)豐富的查詢語言
5.MongoDB支持存儲過程嗎汹忠?如果支持的話,怎么用雹熬?
?MongoDB
支持存儲過程宽菜,它是javascript
寫的,保存在db.system.js
表中竿报。
6.如何理解MongoDB中的GridFS機制铅乡,MongoDB為何使用GridFS來存儲文件?
?GridFS
是一種將大型文件存儲在MongoDB
中的文件規(guī)范烈菌。使用GridFS
可以將大文件分隔成多個小文檔存放阵幸,這樣我們能夠有效的保存大文檔,而且解決了BSON
對象有限制的問題僧界。
7.為什么MongoDB的數(shù)據(jù)文件很大侨嘀?
?MongoDB
采用的預分配空間的方式來防止文件碎片。
8.當更新一個正在被遷移的塊(Chunk)上的文檔時會發(fā)生什么捂襟?
?更新操作會立即發(fā)生在舊的塊(Chunk
)上咬腕,然后更改才會在所有權(quán)轉(zhuǎn)移前復制到新的分片上。
9.MongoDB在A:{B,C}上建立索引葬荷,查詢A:{B,C}和A:{C,B}都會使用索引嗎涨共?
?不會,只會在A:{B,C}上使用索引宠漩。
10.如果一個分片(Shard)停止或很慢的時候举反,發(fā)起一個查詢會怎樣?
?如果一個分片停止了扒吁,除非查詢設(shè)置了“Partial”選項火鼻,否則查詢會返回一個錯誤。如果一個分片響應(yīng)很慢雕崩,MongoDB
會等待它的響應(yīng)魁索。
四、Redis盼铁、Memcache和MongoDB的區(qū)別
從以下幾個維度粗蔚,對redis、memcache饶火、mongoDB 做了對比鹏控,
1致扯、性能
??都比較高,性能對我們來說應(yīng)該都不是瓶頸
??總體來講当辐,TPS
方面redis
和memcache
差不多抖僵,要大于mongodb
2、操作的便利性
??memcache
數(shù)據(jù)結(jié)構(gòu)單一
??redis
豐富一些瀑构,數(shù)據(jù)操作方面裆针,redis
更好一些,較少的網(wǎng)絡(luò)IO
次數(shù)
??mongodb
支持豐富的數(shù)據(jù)表達寺晌,索引世吨,最類似關(guān)系型數(shù)據(jù)庫,支持的查詢語言非常豐富
3呻征、內(nèi)存空間的大小和數(shù)據(jù)量的大小
??redis
在2.0版本后增加了自己的VM特性耘婚,突破物理內(nèi)存的限制;可以對key value設(shè)置過期時間(類似memcache
)
??memcache
可以修改最大可用內(nèi)存,采用LRU
算法
??mongoDB
適合大數(shù)據(jù)量的存儲陆赋,依賴操作系統(tǒng)VM
做內(nèi)存管理沐祷,吃內(nèi)存也比較厲害,服務(wù)不要和別的服務(wù)在一起
4攒岛、可用性(單點問題)
對于單點問題赖临,
??redis
,依賴客戶端來實現(xiàn)分布式讀寫灾锯;主從復制時兢榨,每次從節(jié)點重新連接主節(jié)點都要依賴整個快照,無增量復制,因性能和效率問題顺饮,
所以單點問題比較復雜吵聪;不支持自動sharding
,需要依賴程序設(shè)定一致hash
機制。
??一種替代方案是兼雄,不用redis
本身的復制機制吟逝,采用自己做主動復制(多份存儲),或者改成增量復制的方式(需要自己實現(xiàn))赦肋,一致性問題和性能的權(quán)衡
??Memcache
本身沒有數(shù)據(jù)冗余機制块攒,也沒必要;對于故障預防佃乘,采用依賴成熟的hash
或者環(huán)狀的算法局蚀,解決單點故障引起的抖動問題。
??mongoDB
支持master-slave,replicaset
(內(nèi)部采用paxos
選舉算法恕稠,自動故障恢復),auto sharding
機制,對客戶端屏蔽了故障轉(zhuǎn)移和切分機制扶欣。
5鹅巍、可靠性(持久化)
對于數(shù)據(jù)持久化和數(shù)據(jù)恢復千扶,
??redis支持(快照、AOF
):依賴快照進行持久化骆捧,aof
增強了可靠性的同時澎羞,對性能有所影響
??memcache
不支持,通常用在做緩存,提升性能敛苇;
??MongoDB從1.8
版本開始采用binlog
方式支持持久化的可靠性
6妆绞、數(shù)據(jù)一致性(事務(wù)支持)
??Memcache
在并發(fā)場景下,用cas保證一致性
??redis
事務(wù)支持比較弱枫攀,只能保證事務(wù)中的每個操作連續(xù)執(zhí)行
??mongoDB
不支持事務(wù)
7括饶、數(shù)據(jù)分析
??mongoDB
內(nèi)置了數(shù)據(jù)分析的功能(mapreduce
),其他不支持
8、應(yīng)用場景
??redis
:數(shù)據(jù)量較小的更性能操作和運算上
??memcache
:用于在動態(tài)系統(tǒng)中減少數(shù)據(jù)庫負載来涨,提升性能;做緩存图焰,提高性能(適合讀多寫少,對于數(shù)據(jù)量比較大蹦掐,可以采用sharding
)
??MongoDB
:主要解決海量數(shù)據(jù)的訪問效率問題