- MySql+Memcached架構(gòu)的問(wèn)題
實(shí)際MySQL是適合進(jìn)行海量數(shù)據(jù)存儲(chǔ)的逾苫，通過(guò)Memcached將熱點(diǎn)數(shù)據(jù)加載到cache愿伴，加速訪問(wèn)，很多公司都曾經(jīng)使用過(guò)這樣的架構(gòu)添瓷，但隨著業(yè)務(wù)數(shù)據(jù)量的不斷增加，和訪問(wèn)量的持續(xù)增長(zhǎng)值纱，我們遇到了很多問(wèn)題：
1.MySQL需要不斷進(jìn)行拆庫(kù)拆表鳞贷，Memcached也需不斷跟著擴(kuò)容，擴(kuò)容和維護(hù)工作占據(jù)大量開(kāi)發(fā)時(shí)間虐唠。
2.Memcached與MySQL數(shù)據(jù)庫(kù)數(shù)據(jù)一致性問(wèn)題搀愧。
3.Memcached數(shù)據(jù)命中率低或down機(jī)，大量訪問(wèn)直接穿透到DB疆偿，MySQL無(wú)法支撐咱筛。
4.跨機(jī)房cache同步問(wèn)題。
眾多NoSQL百花齊放杆故，如何選擇
最近幾年迅箩，業(yè)界不斷涌現(xiàn)出很多各種各樣的NoSQL產(chǎn)品，那么如何才能正確地使用好這些產(chǎn)品处铛，最大化地發(fā)揮其長(zhǎng)處饲趋，是我們需要深入研究和思考的問(wèn)題叉钥，實(shí)際歸根結(jié)底最重要的是了解這些產(chǎn)品的定位，并且了解到每款產(chǎn)品的tradeoffs篙贸，在實(shí)際應(yīng)用中做到揚(yáng)長(zhǎng)避短投队，總體上這些NoSQL主要用于解決以下幾種問(wèn)題
1.少量數(shù)據(jù)存儲(chǔ)，高速讀寫(xiě)訪問(wèn)爵川。此類(lèi)產(chǎn)品通過(guò)數(shù)據(jù)全部in-momery 的方式來(lái)保證高速訪問(wèn)敷鸦，同時(shí)提供數(shù)據(jù)落地的功能，實(shí)際這正是Redis最主要的適用場(chǎng)景寝贡。
2.海量數(shù)據(jù)存儲(chǔ)扒披，分布式系統(tǒng)支持，數(shù)據(jù)一致性保證圃泡，方便的集群節(jié)點(diǎn)添加/刪除碟案。
3.這方面最具代表性的是dynamo和bigtable 2篇論文所闡述的思路。前者是一個(gè)完全無(wú)中心的設(shè)計(jì)颇蜡，節(jié)點(diǎn)之間通過(guò)gossip方式傳遞集群信息价说，數(shù)據(jù)保證最終一致性，后者是一個(gè)中心化的方案設(shè)計(jì)风秤，通過(guò)類(lèi)似一個(gè)分布式鎖服務(wù)來(lái)保證強(qiáng)一致性,數(shù)據(jù)寫(xiě)入先寫(xiě)內(nèi)存和redo log鳖目，然后定期compat歸并到磁盤(pán)上，將隨機(jī)寫(xiě)優(yōu)化為順序?qū)戠拖遥岣邔?xiě)入性能领迈。
4.Schema free，auto-sharding等碍沐。比如目前常見(jiàn)的一些文檔數(shù)據(jù)庫(kù)都是支持schema-free的狸捅，直接存儲(chǔ)json格式數(shù)據(jù)，并且支持auto-sharding等功能累提，比如mongodb尘喝。
面對(duì)這些不同類(lèi)型的NoSQL產(chǎn)品,我們需要根據(jù)我們的業(yè)務(wù)場(chǎng)景選擇最合適的產(chǎn)品。
Redis最適合所有數(shù)據(jù)in-momory的場(chǎng)景刻恭，雖然Redis也提供持久化功能瞧省，但實(shí)際更多的是一個(gè)disk-backed的功能，跟傳統(tǒng)意義上的持久化有比較大的差別鳍贾，那么可能大家就會(huì)有疑問(wèn)鞍匾，似乎Redis更像一個(gè)加強(qiáng)版的Memcached，那么何時(shí)使用Memcached,何時(shí)使用Redis呢?
如果簡(jiǎn)單地比較Redis與Memcached的區(qū)別骑科，大多數(shù)都會(huì)得到以下觀點(diǎn)：
1 橡淑、Redis不僅僅支持簡(jiǎn)單的k/v類(lèi)型的數(shù)據(jù)，同時(shí)還提供list咆爽，set梁棠，zset置森，hash等數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)。
2 符糊、Redis支持?jǐn)?shù)據(jù)的備份凫海，即master-slave模式的數(shù)據(jù)備份。
3 男娄、Redis支持?jǐn)?shù)據(jù)的持久化行贪，可以將內(nèi)存中的數(shù)據(jù)保持在磁盤(pán)中，重啟的時(shí)候可以再次加載進(jìn)行使用模闲。
- Redis常用數(shù)據(jù)類(lèi)型
Redis最為常用的數(shù)據(jù)類(lèi)型主要有以下：
- String
- Hash
- List
- Set
- Sorted set
- pub/sub
- Transactions
在具體描述這幾種數(shù)據(jù)類(lèi)型之前建瘫，我們先通過(guò)一張圖了解下Redis內(nèi)部?jī)?nèi)存管理中是如何描述這些不同數(shù)據(jù)類(lèi)型的：
首先Redis內(nèi)部使用一個(gè)redisObject對(duì)象來(lái)表示所有的key和value,redisObject最主要的信息如上圖所示：
type代表一個(gè)value對(duì)象具體是何種數(shù)據(jù)類(lèi)型，
encoding是不同數(shù)據(jù)類(lèi)型在redis內(nèi)部的存儲(chǔ)方式尸折，
比如：type=string代表value存儲(chǔ)的是一個(gè)普通字符串啰脚，那么對(duì)應(yīng)的encoding可以是raw或者是int,如果是int則代表實(shí)際redis內(nèi)部是按數(shù)值型類(lèi)存儲(chǔ)和表示這個(gè)字符串的，當(dāng)然前提是這個(gè)字符串本身可以用數(shù)值表示实夹，比如:"123" "456"這樣的字符串橄浓。
這里需要特殊說(shuō)明一下vm字段，只有打開(kāi)了Redis的虛擬內(nèi)存功能收擦，此字段才會(huì)真正的分配內(nèi)存贮配，該功能默認(rèn)是關(guān)閉狀態(tài)的谍倦，該功能會(huì)在后面具體描述塞赂。通過(guò)上圖我們可以發(fā)現(xiàn)Redis使用redisObject來(lái)表示所有的key/value數(shù)據(jù)是比較浪費(fèi)內(nèi)存的，當(dāng)然這些內(nèi)存管理成本的付出主要也是為了給Redis不同數(shù)據(jù)類(lèi)型提供一個(gè)統(tǒng)一的管理接口昼蛀，實(shí)際作者也提供了多種方法幫助我們盡量節(jié)省內(nèi)存使用宴猾，我們隨后會(huì)具體討論。
- 各種數(shù)據(jù)類(lèi)型應(yīng)用和實(shí)現(xiàn)方式
下面我們先來(lái)逐一的分析下這7種數(shù)據(jù)類(lèi)型的使用和內(nèi)部實(shí)現(xiàn)方式:
- String:
Strings 數(shù)據(jù)結(jié)構(gòu)是簡(jiǎn)單的key-value類(lèi)型叼旋，value其實(shí)不僅是String仇哆，也可以是數(shù)字.
常用命令: set,get,decr,incr,mget 等。
應(yīng)用場(chǎng)景：String是最常用的一種數(shù)據(jù)類(lèi)型夫植，普通的key/ value 存儲(chǔ)都可以歸為此類(lèi).即可以完全實(shí)現(xiàn)目前 Memcached 的功能讹剔，并且效率更高。還可以享受Redis的定時(shí)持久化详民，操作日志及 Replication等功能延欠。除了提供與 Memcached 一樣的get、set沈跨、incr由捎、decr 等操作外，Redis還提供了下面一些操作：
- 獲取字符串長(zhǎng)度
- 往字符串a(chǎn)ppend內(nèi)容
- 設(shè)置和獲取字符串的某一段內(nèi)容
- 設(shè)置及獲取字符串的某一位（bit）
- 批量設(shè)置一系列字符串的內(nèi)容
實(shí)現(xiàn)方式：String在redis內(nèi)部存儲(chǔ)默認(rèn)就是一個(gè)字符串饿凛，被redisObject所引用狞玛，當(dāng)遇到incr,decr等操作時(shí)會(huì)轉(zhuǎn)成數(shù)值型進(jìn)行計(jì)算软驰，此時(shí)redisObject的encoding字段為int。
- Hash
常用命令：hget,hset,hgetall 等心肪。
應(yīng)用場(chǎng)景：在Memcached中锭亏，我們經(jīng)常將一些結(jié)構(gòu)化的信息打包成HashMap，在客戶端序列化后存儲(chǔ)為一個(gè)字符串的值硬鞍，比如用戶的昵稱贰镣、年齡、性別膳凝、積分等碑隆，這時(shí)候在需要修改其中某一項(xiàng)時(shí)，通常需要將所有值取出反序列化后蹬音，修改某一項(xiàng)的值上煤，再序列化存儲(chǔ)回去。這樣不僅增大了開(kāi)銷(xiāo)著淆，也不適用于一些可能并發(fā)操作的場(chǎng)合（比如兩個(gè)并發(fā)的操作都需要修改積分）劫狠。而Redis的Hash結(jié)構(gòu)可以使你像在數(shù)據(jù)庫(kù)中Update一個(gè)屬性一樣只修改某一項(xiàng)屬性值。
我們簡(jiǎn)單舉個(gè)實(shí)例來(lái)描述下Hash的應(yīng)用場(chǎng)景永部，比如我們要存儲(chǔ)一個(gè)用戶信息對(duì)象數(shù)據(jù)独泞，包含以下信息：用戶ID為查找的key，存儲(chǔ)的value用戶對(duì)象包含姓名苔埋，年齡懦砂，生日等信息，如果用普通的key/value結(jié)構(gòu)來(lái)存儲(chǔ)组橄，主要有以下2種存儲(chǔ)方式：
[圖片上傳失敗...(image-17fb60-1535035250815)]
第一種方式將用戶ID作為查找key,把其他信息封裝成一個(gè)對(duì)象以序列化的方式存儲(chǔ)荞膘，這種方式的缺點(diǎn)是，增加了序列化/反序列化的開(kāi)銷(xiāo)玉工，并且在需要修改其中一項(xiàng)信息時(shí)羽资，需要把整個(gè)對(duì)象取回，并且修改操作需要對(duì)并發(fā)進(jìn)行保護(hù)遵班，引入CAS等復(fù)雜問(wèn)題屠升。
[圖片上傳失敗...(image-c94c2a-1535035250815)]
第二種方法是這個(gè)用戶信息對(duì)象有多少成員就存成多少個(gè)key-value對(duì)兒，用用戶ID+對(duì)應(yīng)屬性的名稱作為唯一標(biāo)識(shí)來(lái)取得對(duì)應(yīng)屬性的值狭郑，雖然省去了序列化開(kāi)銷(xiāo)和并發(fā)問(wèn)題腹暖，但是用戶ID為重復(fù)存儲(chǔ)，如果存在大量這樣的數(shù)據(jù)愿阐，內(nèi)存浪費(fèi)還是非澄⒎可觀的。
那么Redis提供的Hash很好的解決了這個(gè)問(wèn)題，Redis的Hash實(shí)際是內(nèi)部存儲(chǔ)的Value為一個(gè)HashMap以蕴，并提供了直接存取這個(gè)Map成員的接口糙麦，如下圖：
也就是說(shuō)，Key仍然是用戶ID, value是一個(gè)Map丛肮，這個(gè)Map的key是成員的屬性名赡磅，value是屬性值，這樣對(duì)數(shù)據(jù)的修改和存取都可以直接通過(guò)其內(nèi)部Map的Key(Redis里稱內(nèi)部Map的key為field), 也就是通過(guò) key(用戶ID) + field(屬性標(biāo)簽) 就可以操作對(duì)應(yīng)屬性數(shù)據(jù)了宝与，既不需要重復(fù)存儲(chǔ)數(shù)據(jù)焚廊，也不會(huì)帶來(lái)序列化和并發(fā)修改控制的問(wèn)題。很好的解決了問(wèn)題习劫。
這里同時(shí)需要注意咆瘟，Redis提供了接口(hgetall)可以直接取到全部的屬性數(shù)據(jù),但是如果內(nèi)部Map的成員很多，那么涉及到遍歷整個(gè)內(nèi)部Map的操作诽里，由于Redis單線程模型的緣故袒餐，這個(gè)遍歷操作可能會(huì)比較耗時(shí)，而另其它客戶端的請(qǐng)求完全不響應(yīng)谤狡，這點(diǎn)需要格外注意灸眼。
實(shí)現(xiàn)方式：
上面已經(jīng)說(shuō)到Redis Hash對(duì)應(yīng)Value內(nèi)部實(shí)際就是一個(gè)HashMap，實(shí)際這里會(huì)有2種不同實(shí)現(xiàn)墓懂，這個(gè)Hash的成員比較少時(shí)Redis為了節(jié)省內(nèi)存會(huì)采用類(lèi)似一維數(shù)組的方式來(lái)緊湊存儲(chǔ)焰宣，而不會(huì)采用真正的HashMap結(jié)構(gòu)，對(duì)應(yīng)的value redisObject的encoding為zipmap,當(dāng)成員數(shù)量增大時(shí)會(huì)自動(dòng)轉(zhuǎn)成真正的HashMap,此時(shí)encoding為ht捕仔。
- List
常用命令：lpush,rpush,lpop,rpop,lrange等匕积。
應(yīng)用場(chǎng)景：
Redis list的應(yīng)用場(chǎng)景非常多，也是Redis最重要的數(shù)據(jù)結(jié)構(gòu)之一逻澳，比如twitter的關(guān)注列表闸天，粉絲列表等都可以用Redis的list結(jié)構(gòu)來(lái)實(shí)現(xiàn)。
Lists 就是鏈表斜做，相信略有數(shù)據(jù)結(jié)構(gòu)知識(shí)的人都應(yīng)該能理解其結(jié)構(gòu)。使用Lists結(jié)構(gòu)湾揽，我們可以輕松地實(shí)現(xiàn)最新消息排行等功能瓤逼。Lists的另一個(gè)應(yīng)用就是消息隊(duì)列，
可以利用Lists的PUSH操作库物，將任務(wù)存在Lists中霸旗，然后工作線程再用POP操作將任務(wù)取出進(jìn)行執(zhí)行。Redis還提供了操作Lists中某一段的api戚揭，你可以直接查詢诱告，刪除Lists中某一段的元素。實(shí)現(xiàn)方式：
Redis list的實(shí)現(xiàn)為一個(gè)雙向鏈表民晒，即可以支持反向查找和遍歷精居，更方便操作锄禽，不過(guò)帶來(lái)了部分額外的內(nèi)存開(kāi)銷(xiāo)，Redis內(nèi)部的很多實(shí)現(xiàn)靴姿，包括發(fā)送緩沖隊(duì)列等也都是用的這個(gè)數(shù)據(jù)結(jié)構(gòu)沃但。
- Set
常用命令：
sadd,spop,smembers,sunion 等。
應(yīng)用場(chǎng)景：
Redis set對(duì)外提供的功能與list類(lèi)似是一個(gè)列表的功能佛吓，特殊之處在于set是可以自動(dòng)排重的宵晚，當(dāng)你需要存儲(chǔ)一個(gè)列表數(shù)據(jù)，又不希望出現(xiàn)重復(fù)數(shù)據(jù)時(shí)维雇，set是一個(gè)很好的選擇淤刃，并且set提供了判斷某個(gè)成員是否在一個(gè)set集合內(nèi)的重要接口，這個(gè)也是list所不能提供的吱型。
Sets 集合的概念就是一堆不重復(fù)值的組合钝凶。利用Redis提供的Sets數(shù)據(jù)結(jié)構(gòu)，可以存儲(chǔ)一些集合性的數(shù)據(jù)唁影，比如在微博應(yīng)用中耕陷，可以將一個(gè)用戶所有的關(guān)注人存在一個(gè)集合中，將其所有粉絲存在一個(gè)集合据沈。Redis還為集合提供了求交集哟沫、并集、差集等操作锌介，可以非常方便的實(shí)現(xiàn)如共同關(guān)注嗜诀、共同喜好、二度好友等功能孔祸，對(duì)上面的所有集合操作隆敢，你還可以使用不同的命令選擇將結(jié)果返回給客戶端還是存集到一個(gè)新的集合中。
實(shí)現(xiàn)方式：
set 的內(nèi)部實(shí)現(xiàn)是一個(gè) value永遠(yuǎn)為null的HashMap崔慧，實(shí)際就是通過(guò)計(jì)算hash的方式來(lái)快速排重的拂蝎，這也是set能提供判斷一個(gè)成員是否在集合內(nèi)的原因。
- Sorted Set
常用命令：
zadd,zrange,zrem,zcard等
使用場(chǎng)景：
Redis sorted set的使用場(chǎng)景與set類(lèi)似惶室，區(qū)別是set不是自動(dòng)有序的温自，而sorted set可以通過(guò)用戶額外提供一個(gè)優(yōu)先級(jí)(score)的參數(shù)來(lái)為成員排序，并且是插入有序的皇钞，即自動(dòng)排序悼泌。當(dāng)你需要一個(gè)有序的并且不重復(fù)的集合列表，那么可以選擇sorted set數(shù)據(jù)結(jié)構(gòu)夹界，比如twitter 的public timeline可以以發(fā)表時(shí)間作為score來(lái)存儲(chǔ)馆里，這樣獲取時(shí)就是自動(dòng)按時(shí)間排好序的。
另外還可以用Sorted Sets來(lái)做帶權(quán)重的隊(duì)列，比如普通消息的score為1鸠踪，重要消息的score為2丙者，然后工作線程可以選擇按score的倒序來(lái)獲取工作任務(wù)。讓重要的任務(wù)優(yōu)先執(zhí)行慢哈。
實(shí)現(xiàn)方式：
Redis sorted set的內(nèi)部使用HashMap和跳躍表(SkipList)來(lái)保證數(shù)據(jù)的存儲(chǔ)和有序蔓钟，HashMap里放的是成員到score的映射，而跳躍表里存放的是所有的成員卵贱，排序依據(jù)是HashMap里存的score,使用跳躍表的結(jié)構(gòu)可以獲得比較高的查找效率滥沫，并且在實(shí)現(xiàn)上比較簡(jiǎn)單。
