本篇文章主要介紹Nosql的一些東西,以及Nosql中比較火的三個(gè)數(shù)據(jù)庫(kù)Redis拯啦、Memchache澡匪、MongoDb和他們之間的區(qū)別。以下是本文章的閱讀目錄
Nosql介紹
Nosql的全稱是Not Only Sql褒链,這個(gè)概念早起就有人提出唁情,在09年的時(shí)候比較火。Nosql指的是非關(guān)系型數(shù)據(jù)庫(kù)甫匹,而我們常用的都是關(guān)系型數(shù)據(jù)庫(kù)甸鸟。就像我們常用的mysql惦费,sqlserver一樣,這些數(shù)據(jù)庫(kù)一般用來(lái)存儲(chǔ)重要信息抢韭,應(yīng)對(duì)普通的業(yè)務(wù)是沒(méi)有問(wèn)題的薪贫。但是,隨著互聯(lián)網(wǎng)的高速發(fā)展刻恭,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在應(yīng)付超大規(guī)模瞧省,超大流量以及高并發(fā)的時(shí)候力不從心。而就在這個(gè)時(shí)候鳍贾,Nosql得到了高速的發(fā)展鞍匾。
Nosql和關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別
1.存儲(chǔ)方式
關(guān)系型數(shù)據(jù)庫(kù)是表格式的,因此存儲(chǔ)在表的行和列中骑科。他們之間很容易關(guān)聯(lián)協(xié)作存儲(chǔ)橡淑,提取數(shù)據(jù)很方便。而Nosql數(shù)據(jù)庫(kù)則與其相反咆爽,他是大塊的組合在一起梳码。通常存儲(chǔ)在數(shù)據(jù)集中,就像文檔伍掀、鍵值對(duì)或者圖結(jié)構(gòu)掰茶。
2.存儲(chǔ)結(jié)構(gòu)
關(guān)系型數(shù)據(jù)庫(kù)對(duì)應(yīng)的是結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)表都預(yù)先定義了結(jié)構(gòu)(列的定義)蜜笤,結(jié)構(gòu)描述了數(shù)據(jù)的形式和內(nèi)容。這一點(diǎn)對(duì)數(shù)據(jù)建模至關(guān)重要把兔,雖然預(yù)定義結(jié)構(gòu)帶來(lái)了可靠性和穩(wěn)定性沪伙,但是修改這些數(shù)據(jù)比較困難。而Nosql數(shù)據(jù)庫(kù)基于動(dòng)態(tài)結(jié)構(gòu)县好,使用與非結(jié)構(gòu)化數(shù)據(jù)围橡。因?yàn)镹osql數(shù)據(jù)庫(kù)是動(dòng)態(tài)結(jié)構(gòu),可以很容易適應(yīng)數(shù)據(jù)類型和結(jié)構(gòu)的變化缕贡。
3.存儲(chǔ)規(guī)范
關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)為了更高的規(guī)范性翁授,把數(shù)據(jù)分割為最小的關(guān)系表以避免重復(fù),獲得精簡(jiǎn)的空間利用晾咪。雖然管理起來(lái)很清晰收擦,但是單個(gè)操作設(shè)計(jì)到多張表的時(shí)候,數(shù)據(jù)管理就顯得有點(diǎn)麻煩谍倦。而Nosql數(shù)據(jù)存儲(chǔ)在平面數(shù)據(jù)集中塞赂,數(shù)據(jù)經(jīng)常可能會(huì)重復(fù)昼蛀。單個(gè)數(shù)據(jù)庫(kù)很少被分隔開宴猾,而是存儲(chǔ)成了一個(gè)整體圆存,這樣整塊數(shù)據(jù)更加便于讀寫
4.存儲(chǔ)擴(kuò)展
這可能是兩者之間最大的區(qū)別,關(guān)系型數(shù)據(jù)庫(kù)是縱向擴(kuò)展仇哆,也就是說(shuō)想要提高處理能力辽剧,要使用速度更快的計(jì)算機(jī)。因?yàn)閿?shù)據(jù)存儲(chǔ)在關(guān)系表中税产,操作的性能瓶頸可能涉及到多個(gè)表怕轿,需要通過(guò)提升計(jì)算機(jī)性能來(lái)克服。雖然有很大的擴(kuò)展空間辟拷,但是最終會(huì)達(dá)到縱向擴(kuò)展的上限撞羽。而Nosql數(shù)據(jù)庫(kù)是橫向擴(kuò)展的,它的存儲(chǔ)天然就是分布式的衫冻,可以通過(guò)給資源池添加更多的普通數(shù)據(jù)庫(kù)服務(wù)器來(lái)分擔(dān)負(fù)載诀紊。
5.查詢方式
關(guān)系型數(shù)據(jù)庫(kù)通過(guò)結(jié)構(gòu)化查詢語(yǔ)言來(lái)操作數(shù)據(jù)庫(kù)(就是我們通常說(shuō)的SQL)。SQL支持?jǐn)?shù)據(jù)庫(kù)CURD操作的功能非常強(qiáng)大隅俘,是業(yè)界的標(biāo)準(zhǔn)用法邻奠。而Nosql查詢以塊為單元操作數(shù)據(jù),使用的是非結(jié)構(gòu)化查詢語(yǔ)言(UnQl)为居,它是沒(méi)有標(biāo)準(zhǔn)的碌宴。關(guān)系型數(shù)據(jù)庫(kù)表中主鍵的概念對(duì)應(yīng)Nosql中存儲(chǔ)文檔的ID。關(guān)系型數(shù)據(jù)庫(kù)使用預(yù)定義優(yōu)化方式(比如索引)來(lái)加快查詢操作蒙畴,而Nosql更簡(jiǎn)單更精確的數(shù)據(jù)訪問(wèn)模式贰镣。
6.事務(wù)
關(guān)系型數(shù)據(jù)庫(kù)遵循ACID規(guī)則(原子性(Atomicity)、一致性(Consistency)膳凝、隔離性(Isolation)碑隆、持久性(Durability)),而Nosql數(shù)據(jù)庫(kù)遵循BASE原則(基本可用(Basically Availble)蹬音、軟/柔性事務(wù)(Soft-state )上煤、最終一致性(Eventual Consistency))。由于關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)強(qiáng)一致性著淆,所以對(duì)事務(wù)的支持很好劫狠。關(guān)系型數(shù)據(jù)庫(kù)支持對(duì)事務(wù)原子性細(xì)粒度控制,并且易于回滾事務(wù)牧抽。而Nosql數(shù)據(jù)庫(kù)是在CAP(一致性嘉熊、可用性遥赚、分區(qū)容忍度)中任選兩項(xiàng)扬舒,因?yàn)榛诠?jié)點(diǎn)的分布式系統(tǒng)中,很難全部滿足凫佛,所以對(duì)事務(wù)的支持不是很好讲坎,雖然也可以使用事務(wù)孕惜,但是并不是Nosql的閃光點(diǎn)。
7.性能
關(guān)系型數(shù)據(jù)庫(kù)為了維護(hù)數(shù)據(jù)的一致性付出了巨大的代價(jià)晨炕,讀寫性能比較差衫画。在面對(duì)高并發(fā)讀寫性能非常差,面對(duì)海量數(shù)據(jù)的時(shí)候效率非常低瓮栗。而Nosql存儲(chǔ)的格式都是key-value類型的削罩,并且存儲(chǔ)在內(nèi)存中,非常容易存儲(chǔ)费奸,而且對(duì)于數(shù)據(jù)的 一致性是 弱要求弥激。Nosql無(wú)需sql的解析,提高了讀寫性能愿阐。
8.授權(quán)方式
關(guān)系型數(shù)據(jù)庫(kù)通常有SQL Server微服,Mysql,Oracle缨历。主流的Nosql數(shù)據(jù)庫(kù)有redis以蕴,memcache,MongoDb辛孵。大多數(shù)的關(guān)系型數(shù)據(jù)庫(kù)都是付費(fèi)的并且價(jià)格昂貴丛肮,成本較大,而Nosql數(shù)據(jù)庫(kù)通常都是開源的魄缚。
Redis腾供,Memcache,MongoDb的特點(diǎn)與區(qū)別
Redis
優(yōu)點(diǎn)
1.支持多種數(shù)據(jù)結(jié)構(gòu)鲜滩,如 string(字符串)伴鳖、 list(雙向鏈表)、dict(hash表)徙硅、set(集合)榜聂、zset(排序set)、hyperloglog(基數(shù)估算)
2.支持持久化操作嗓蘑,可以進(jìn)行aof及rdb數(shù)據(jù)持久化到磁盤须肆,從而進(jìn)行數(shù)據(jù)備份或數(shù)據(jù)恢復(fù)等操作,較好的防止數(shù)據(jù)丟失的手段桩皿。
3.支持通過(guò)Replication進(jìn)行數(shù)據(jù)復(fù)制豌汇,通過(guò)master-slave機(jī)制,可以實(shí)時(shí)進(jìn)行數(shù)據(jù)的同步復(fù)制泄隔,支持多級(jí)復(fù)制和增量復(fù)制拒贱,master-slave機(jī)制是Redis進(jìn)行HA的重要手段。
4.單線程請(qǐng)求,所有命令串行執(zhí)行逻澳,并發(fā)情況下不需要考慮數(shù)據(jù)一致性問(wèn)題闸天。
5.支持pub/sub消息訂閱機(jī)制,可以用來(lái)進(jìn)行消息訂閱與通知斜做。
6.支持簡(jiǎn)單的事務(wù)需求苞氮,但業(yè)界使用場(chǎng)景很少,并不成熟瓤逼。
缺點(diǎn)
1.Redis只能使用單線程笼吟,性能受限于CPU性能,故單實(shí)例CPU最高才可能達(dá)到5-6wQPS每秒(取決于數(shù)據(jù)結(jié)構(gòu)霸旗,數(shù)據(jù)大小以及服務(wù)器硬件性能赞厕,日常環(huán)境中QPS高峰大約在1-2w左右)。
2.支持簡(jiǎn)單的事務(wù)需求定硝,但業(yè)界使用場(chǎng)景很少皿桑,并不成熟,既是優(yōu)點(diǎn)也是缺點(diǎn)蔬啡。
3.Redis在string類型上會(huì)消耗較多內(nèi)存诲侮,可以使用dict(hash表)壓縮存儲(chǔ)以降低內(nèi)存耗用。
Memcache
優(yōu)點(diǎn)
1.Memcached可以利用多核優(yōu)勢(shì)箱蟆,單實(shí)例吞吐量極高沟绪,可以達(dá)到幾十萬(wàn)QPS(取決于key、value的字節(jié)大小以及服務(wù)器硬件性能空猜,日常環(huán)境中QPS高峰大約在4-6w左右)绽慈。適用于最大程度扛量。
2.支持直接配置為session handle辈毯。
缺點(diǎn)
1只支持簡(jiǎn)單的key/value數(shù)據(jù)結(jié)構(gòu)坝疼,不像Redis可以支持豐富的數(shù)據(jù)類型。
2.無(wú)法進(jìn)行持久化谆沃,數(shù)據(jù)不能備份钝凶,只能用于緩存使用,且重啟后數(shù)據(jù)全部丟失唁影。
3.無(wú)法進(jìn)行數(shù)據(jù)同步耕陷,不能將MC中的數(shù)據(jù)遷移到其他MC實(shí)例中。
4.Memcached內(nèi)存分配采用Slab Allocation機(jī)制管理內(nèi)存据沈,value大小分布差異較大時(shí)會(huì)造成內(nèi)存利用率降低哟沫,并引發(fā)低利用率時(shí)依然出現(xiàn)踢出等問(wèn)題。需要用戶注重value設(shè)計(jì)锌介。
MongoDB
優(yōu)點(diǎn)
1.更高的寫負(fù)載嗜诀,MongoDB擁有更高的插入速度。
2.處理很大的規(guī)模的單表,當(dāng)數(shù)據(jù)表太大的時(shí)候可以很容易的分割表裹虫。
3.高可用性肿嘲,設(shè)置M-S不僅方便而且很快融击,MongoDB還可以快速筑公、安全及自動(dòng)化的實(shí)現(xiàn)節(jié)點(diǎn)(數(shù)據(jù)中心)故障轉(zhuǎn)移。
4.快速的查詢尊浪,MongoDB支持二維空間索引匣屡,比如管道,因此可以快速及精確的從指定位置獲取數(shù)據(jù)拇涤。MongoDB在啟動(dòng)后會(huì)將數(shù)據(jù)庫(kù)中的數(shù)據(jù)以文件映射的方式加載到內(nèi)存中捣作。如果內(nèi)存資源相當(dāng)豐富的話,這將極大地提高數(shù)據(jù)庫(kù)的查詢速度鹅士。
5.非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)增長(zhǎng)券躁,增加列在有些情況下可能鎖定整個(gè)數(shù)據(jù)庫(kù),或者增加負(fù)載從而導(dǎo)致性能下降掉盅,由于MongoDB的弱數(shù)據(jù)結(jié)構(gòu)模式也拜,添加1個(gè)新字段不會(huì)對(duì)舊表格有任何影響,整個(gè)過(guò)程會(huì)非持憾唬快速慢哈。
缺點(diǎn)
1.不支持事務(wù)。
2.MongoDB占用空間過(guò)大 永票。
3.MongoDB沒(méi)有成熟的維護(hù)工具卵贱。
Redis、Memcache和MongoDB的區(qū)別
1.性能
三者的性能都比較高侣集,總的來(lái)講:Memcache和Redis差不多键俱,要高于MongoDB。
2.便利性
memcache數(shù)據(jù)結(jié)構(gòu)單一世分。
redis豐富一些方妖,數(shù)據(jù)操作方面,redis更好一些罚攀,較少的網(wǎng)絡(luò)IO次數(shù)党觅。
mongodb支持豐富的數(shù)據(jù)表達(dá),索引斋泄,最類似關(guān)系型數(shù)據(jù)庫(kù)杯瞻,支持的查詢語(yǔ)言非常豐富。
3,存儲(chǔ)空間
redis在2.0版本后增加了自己的VM特性炫掐,突破物理內(nèi)存的限制魁莉;可以對(duì)key value設(shè)置過(guò)期時(shí)間(類似memcache)。
memcache可以修改最大可用內(nèi)存,采用LRU算法。
mongoDB適合大數(shù)據(jù)量的存儲(chǔ)旗唁,依賴操作系統(tǒng)VM做內(nèi)存管理畦浓,吃內(nèi)存也比較厲害,服務(wù)不要和別的服務(wù)在一起检疫。
4.可用性
redis讶请,依賴客戶端來(lái)實(shí)現(xiàn)分布式讀寫;主從復(fù)制時(shí)屎媳,每次從節(jié)點(diǎn)重新連接主節(jié)點(diǎn)都要依賴整個(gè)快照,無(wú)增量復(fù)制夺溢,因性能和效率問(wèn)題,所以單點(diǎn)問(wèn)題比較復(fù)雜烛谊;不支持自動(dòng)sharding,需要依賴程序設(shè)定一致hash 機(jī)制风响。一種替代方案是,不用redis本身的復(fù)制機(jī)制丹禀,采用自己做主動(dòng)復(fù)制(多份存儲(chǔ))状勤,或者改成增量復(fù)制的方式(需要自己實(shí)現(xiàn)),一致性問(wèn)題和性能的權(quán)衡双泪。
Memcache本身沒(méi)有數(shù)據(jù)冗余機(jī)制持搜,也沒(méi)必要;對(duì)于故障預(yù)防攒读,采用依賴成熟的hash或者環(huán)狀的算法朵诫,解決單點(diǎn)故障引起的抖動(dòng)問(wèn)題。
mongoDB支持master-slave,replicaset(內(nèi)部采用paxos選舉算法薄扁,自動(dòng)故障恢復(fù)),auto sharding機(jī)制剪返,對(duì)客戶端屏蔽了故障轉(zhuǎn)移和切分機(jī)制。
5.可靠性
redis支持(快照邓梅、AOF):依賴快照進(jìn)行持久化脱盲,aof增強(qiáng)了可靠性的同時(shí),對(duì)性能有所影響日缨。
memcache不支持钱反,通常用在做緩存,提升性能。
MongoDB從1.8版本開始采用binlog方式支持持久化的可靠性匣距。 ###6.一致性
Memcache 在并發(fā)場(chǎng)景下面哥,用cas保證一致性。
redis事務(wù)支持比較弱毅待,只能保證事務(wù)中的每個(gè)操作連續(xù)執(zhí)行尚卫。
mongoDB不支持事務(wù)。
7.數(shù)據(jù)分析
mongoDB內(nèi)置了數(shù)據(jù)分析的功能(mapreduce),其他兩者不支持尸红。
8.應(yīng)用場(chǎng)景
redis:數(shù)據(jù)量較小的更性能操作和運(yùn)算上吱涉。
memcache:用于在動(dòng)態(tài)系統(tǒng)中減少數(shù)據(jù)庫(kù)負(fù)載刹泄,提升性能;做緩存,提高性能(適合讀多寫少怎爵,對(duì)于數(shù)據(jù)量比較大特石,可以采用sharding)。
MongoDB:主要解決海量數(shù)據(jù)的訪問(wèn)效率問(wèn)題鳖链。