NoSQL產(chǎn)品(key-value)

RDBMS ：MySQL宙刘，Oracle 构眯，MSSQL动雹，PG
NoSQL  :Redis,MongoDB塞琼，列存儲存儲相關(guān)
NewSQL----->分布式數(shù)據(jù)庫架構(gòu)(學(xué)習(xí)了MongoDB)
緩存產(chǎn)品介紹:
memcached(一般會做二次開發(fā))
redis
Tair

1. Redis功能介紹

數(shù)據(jù)類型豐富    (筆試叠洗、面試) *****
支持持久化      (筆試、面試) *****
多種內(nèi)存分配及回收策略
支持事務(wù)            (面試)  ****
消息隊列呛凶、消息訂閱 
支持高可用                                 ****
支持分布式分片集群 (面試)   *****
緩存穿透\雪崩 (筆試男娄、面試)  *****
Redis API                 **

2、企業(yè)緩存產(chǎn)品介紹

Memcached:
優(yōu)點：高性能讀寫漾稀、單一數(shù)據(jù)類型模闲、支持客戶端式分布式集群、一致性hash
多核結(jié)構(gòu)县好、多線程讀寫性能高围橡。
缺點：無持久化、節(jié)點故障可能出現(xiàn)緩存穿透缕贡、分布式需要客戶端實現(xiàn)、跨機(jī)房數(shù)據(jù)同步困難拣播、架構(gòu)擴(kuò)容復(fù)雜度高
Redis:  優(yōu)點：高性能讀寫晾咪、多數(shù)據(jù)類型支持、數(shù)據(jù)持久化贮配、高可用架構(gòu)谍倦、支持自定義虛擬內(nèi)存、支持分布式分片集群泪勒、單線程讀寫性能極高
缺點：多線程讀寫較Memcached慢
新浪昼蛀、京東、直播類平臺圆存、網(wǎng)頁游戲
    
memcache與redis在讀寫性能的對比
memcached 適合,多用戶訪問,每個用戶少量的rw
redis     適合,少用戶訪問,每個用戶大量rw 
            
Tair：
優(yōu)點：高性能讀寫叼旋、支持三種存儲引擎（ddb、rdb沦辙、ldb）夫植、支持高可用、支持分布式分片集群油讯、支撐了幾乎所有淘寶業(yè)務(wù)的緩存详民。
    缺點：單機(jī)情況下，讀寫性能較其他兩種產(chǎn)品較慢

3陌兑、Redis使用場景介紹

Memcached：多核的緩存服務(wù)沈跨，更加適合于多用戶并發(fā)訪問次數(shù)較少的應(yīng)用場景
Redis：單核的緩存服務(wù)，單節(jié)點情況下兔综，更加適合于少量用戶饿凛，多次訪問的應(yīng)用場景隅俘。
Redis一般是單機(jī)多實例架構(gòu)，配合redis集群出現(xiàn)笤喳。

4为居、Redis安裝部署

redis-3.2.12.tar分享地址

>>下載：
wget http://download.redis.io/releases/redis-3.2.12.tar.gz
>>解壓：
>>上傳至 /data
tar xzf redis-3.2.12.tar.gz
mv redis-3.2.12 redis

>>安裝：
yum -y install gcc automake autoconf libtool make
cd redis
make

>>環(huán)境變量：
vim /etc/profile 
export PATH=/data/redis/src:$PATH
source /etc/profile 

>>啟動：
redis-server & 

>>連接測試：
redis-cli 
127.0.0.1:6379> set num 10
OK
127.0.0.1:6379> get num
10

5、Redis基本管理操作

5.1基礎(chǔ)配置文件介紹

mkdir /data/6379
cat > /data/6379/redis.conf<<EOF
daemonize yes                        #后臺運行杀狡，守護(hù)模式
port 6379                            #端口號
logfile /data/6379/redis.log         #日志路徑
dir /data/6379                       #數(shù)據(jù)路徑,落盤目錄(持久化存儲路徑)
dbfilename dump.rdb                  #數(shù)據(jù)存儲文件(持久化存儲文件)
EOF

redis-cli shutdown 
redis-server /data/6379/redis.conf 
netstat -lnp|grep 63

+++++++++++配置文件說明++++++++++++++
redis.conf
是否后臺運行：
daemonize yes
默認(rèn)端口：
port 6379
日志文件位置
logfile /var/log/redis.log
持久化文件存儲位置
dir /data/6379
RDB持久化數(shù)據(jù)文件:
dbfilename dump.rdb
++++++++++++++++++++++++++++++++++++++
redis-cli
127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> get name
"zhangsan"

5.2 Redis安全配置

redis默認(rèn)開啟了保護(hù)模式蒙畴，只允許本地回環(huán)地址登錄并訪問數(shù)據(jù)庫。
禁止protected-mode
protected-mode yes/no （保護(hù)模式呜象，是否只允許本地訪問(忽略)）

(1)Bind :指定IP進(jìn)行監(jiān)聽
vim /data/6379/redis.conf
bind 10.0.0.51  127.0.0.1

(2)增加requirepass  {password}
vim /data/6379/redis.conf
requirepass 123456

----------驗證-----
方法一：
[root@db03 ~]$ redis-cli -a 123456
127.0.0.1:6379> set name zhangsan 
OK
127.0.0.1:6379> exit
方法二：
[root@db03 ~]$ redis-cli
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> set a b
[root@db01 src]$ redis-cli -a 123 -h 10.0.0.51 -p 6379
10.0.0.51:6379> set b 2
OK

5.3 在線查看和修改配置

CONFIG GET *                  #查看所有配置文件
CONFIG GET requirepass        #查看登錄密碼配置
CONFIG GET r*
CONFIG SET requirepass 123    #修改登錄密碼

5.4 redis持久化(內(nèi)存數(shù)據(jù)保存到磁盤)

RDB膳凝、AOF
5.4.1 RDB 持久化
(1) 介紹
可以在指定的時間間隔內(nèi)生成數(shù)據(jù)集的 時間點快照（point-in-time snapshot）。
優(yōu)點：速度快恭陡，適合于用做備份蹬音，主從復(fù)制也是基于RDB持久化功能實現(xiàn)的。
缺點：會有數(shù)據(jù)丟失
(2) rdb持久化核心配置參數(shù)

vim /data/6379/redis.conf
dir /data/6379
dbfilename dump.rdb
save 900 1          #900s(15分鐘)內(nèi),只要有一次變更就持久化一次
save 300 10         #300s(5分鐘)內(nèi),累計有10次變更就持久化一次
save 60 10000       #60s(一分鐘)內(nèi),累計有1w次變更就持久化一次

配置分別表示：
900秒（15分鐘）內(nèi)有1個更改
300秒（5分鐘）內(nèi)有10個更改
60秒內(nèi)有10000個更改

5.4.1 AOF 持久化(append-only log file)
(1) 介紹
記錄服務(wù)器執(zhí)行的所有寫操作命令休玩，并在服務(wù)器啟動時著淆，通過重新執(zhí)行這些命令來還原數(shù)據(jù)集。
AOF 文件中的命令全部以 Redis 協(xié)議的格式來保存拴疤，新命令會被追加到文件的末尾永部。
優(yōu)點:可以最大程度保證數(shù)據(jù)不丟
缺點:日志記錄量級比較大
(2) AOF持久化配置

appendonly yes                   #開關(guān)
#刷寫策略↓↓↓
appendfsync always               #一直刷寫
appendfsync everysec             #每秒刷寫
appendfsync no                   #不控制,隨機(jī)

是否打開aof日志功能
每1個命令,都立即同步到aof 
每秒寫1次
寫入工作交給操作系統(tǒng),由操作系統(tǒng)判斷緩沖區(qū)大小,統(tǒng)一寫入到aof.

vim /data/6379/redis.conf
appendonly yes
appendfsync everysec 

5.4.3 面試：

redis 持久化方式有哪些？有什么區(qū)別呐矾？
rdb：基于快照的持久化苔埋，速度更快，一般用作備份蜒犯，主從復(fù)制也是依賴于rdb持久化功能
aof：以追加的方式記錄redis操作日志的文件组橄。可以最大程度的保證redis數(shù)據(jù)安全罚随，類似于mysql的binlog

6玉工、Redis的數(shù)據(jù)類型

6.1 數(shù)據(jù)類型介紹

String ：      字符類型
Hash：         字典類型
List：         列表     
Set：          集合 
Sorted set：   有序集合

image.png

6.2 KEY的通用操作

KEYS *   keys a  keys a*    查看已存在所有鍵的名字  ****
TYPE                        返回鍵所存儲值的類型  ****
EXPIRE\ PEXPIRE             以秒\毫秒設(shè)定生存時間  ***
TTL\ PTTL                   以秒\毫秒為單位返回生存時間(-1不過期,-2不存在) ***
PERSIST                     取消生存時間設(shè)置  ***
DEL                         刪除一個key
EXISTS                      檢查是否存在  ****
RENAME                      變更KEY名

---例子：
127.0.0.1:6379> set name zhangsan 
127.0.0.1:6379> EXPIRE name 60
(integer) 1
127.0.0.1:6379> ttl name
(integer) 57
127.0.0.1:6379> set a b ex 60
OK
127.0.0.1:6379> ttl a
127.0.0.1:6379> PERSIST a
(integer) 1
127.0.0.1:6379> ttl a
(integer) -1

6.3 Strings

應(yīng)用場景
session 共享
常規(guī)計數(shù)：微博數(shù)，粉絲數(shù)毫炉，訂閱瓮栗、禮物
key:value
----------
（1）
 set name zhangsan  
（2）
 MSET id 101 name zhangsan age 20 gender m
 等價于以下操作：
 SET id 101 
 set name zhangsan 
 set age 20 
 set gender m
（3）計數(shù)器
每點一次關(guān)注，都執(zhí)行以下命令一次
127.0.0.1:6379> incr num
顯示粉絲數(shù)量：
127.0.0.1:6379> get num

暗箱操作：
127.0.0.1:6379> INCRBY num 10000
(integer) 10006
127.0.0.1:6379> get num
"10006"
127.0.0.1:6379> DECRBY num 10000
(integer) 6
127.0.0.1:6379> get num
"6"
詳細(xì)的例子：------------------------------------

增
set mykey "test"                為鍵設(shè)置新值瞄勾，并覆蓋原有值
getset mycounter 0              設(shè)置值,取值同時進(jìn)行
setex mykey 10 "hello"          設(shè)置指定 Key 的過期時間為10秒,在存活時間可以獲取value
setnx mykey "hello"             若該鍵不存在费奸，則為鍵設(shè)置新值
mset key3  "zyx"  key4 "xyz"    批量設(shè)置鍵

刪
del mykey                        刪除已有鍵

改
append mykey "hello"            若該鍵并不存在,返回當(dāng)前 Value 的長度
                                該鍵已經(jīng)存在，返回追加后 Value的長度
incr mykey                      值增加1,若該key不存在,創(chuàng)建key,初始值設(shè)為0,增加后結(jié)果為1
decrby  mykey  5                值減少5
setrange mykey 20 dd            把第21和22個字節(jié),替換為dd, 超過value長度,自動補(bǔ)0
查  
exists mykey                    判斷該鍵是否存在进陡，存在返回 1愿阐，否則返回0
get mykey                       獲取Key對應(yīng)的value
strlen mykey                    獲取指定 Key 的字符長度
ttl mykey                       查看一下指定 Key 的剩余存活時間(秒數(shù))
getrange mykey 1 20             獲取第2到第20個字節(jié),若20超過value長度,則截取第2個和后面所有的
mget key3 key4                  批量獲取鍵

6.4 hash類型(字典類型)

應(yīng)用場景：
存儲部分變更的數(shù)據(jù)，如用戶信息等趾疚。
最接近mysql表結(jié)構(gòu)的一種類型
主要是可以做數(shù)據(jù)庫緩存缨历。(關(guān)系型數(shù)據(jù)庫專用)

存數(shù)據(jù)：
hmset stu  id 101 name zhangsan age 20 gender m
hmset stu1 id 102 name zhangsan1 age 21 gender f

取數(shù)據(jù)：
HMGET stu id name age gender
HMGET stu1 id name age gender

select concat("hmset t100w_",id," id ",id," num ",num," k1 ",k1," k2 ",k2," dt ","'",dt,"'") from t100w where id<100 into outfile '/tmp/t100w.txt';
redis-cli -a 123456 </tmp/t100w.txt

---------------------更多的例子
增
hset myhash field1 "s"    
若字段field1不存在,創(chuàng)建該鍵及與其關(guān)聯(lián)的Hashes, Hashes中,key為field1 ,并設(shè)value為s 以蕴，若存在會覆蓋原value
hsetnx myhash field1 s    
若字段field1不存在,創(chuàng)建該鍵及與其關(guān)聯(lián)的Hashes, Hashes中,key為field1 ,并設(shè)value為s， 若字段field1存在,則無效
hmset myhash field1 "hello" field2 "world       一次性設(shè)置多個字段
刪
hdel myhash field1                      刪除 myhash 鍵中字段名為 field1 的字段
del myhash                              刪除鍵
改  
hincrby myhash field 1                  給field的值加1

查
hget myhash field1                      獲取鍵值為 myhash,字段為 field1 的值
hlen myhash                             獲取myhash鍵的字段數(shù)量
hexists myhash field1                   判斷 myhash 鍵中是否存在字段名為 field1 的字段
hmget myhash field1 field2 field3       一次性獲取多個字段
hgetall myhash                          返回 myhash 鍵的所有字段及其值
hkeys myhash                            獲取myhash 鍵中所有字段的名字
hvals myhash                            獲取 myhash 鍵中所有字段的值

6.5 LIST（列表）

應(yīng)用場景
消息隊列系統(tǒng)
比如sina微博
在Redis中我們的最新微博ID使用了常駐緩存辛孵，這是一直更新的丛肮。
但是做了限制不能超過5000個ID，因此獲取ID的函數(shù)會一直詢問Redis魄缚。
只有在start/count參數(shù)超出了這個范圍的時候宝与，才需要去訪問數(shù)據(jù)庫。
系統(tǒng)不會像傳統(tǒng)方式那樣“刷新”緩存冶匹，Redis實例中的信息永遠(yuǎn)是一致的习劫。
SQL數(shù)據(jù)庫（或是硬盤上的其他類型數(shù)據(jù)庫）只是在用戶需要獲取“很遠(yuǎn)”的數(shù)據(jù)時才會被觸發(fā)，
而主頁或第一個評論頁是不會麻煩到硬盤上的數(shù)據(jù)庫了嚼隘。

微信朋友圈：
127.0.0.1:6379> LPUSH wechat "today is nice day !"
127.0.0.1:6379> LPUSH wechat "today is bad day !"
127.0.0.1:6379> LPUSH wechat "today is good  day !"
127.0.0.1:6379> LPUSH wechat "today is rainy  day !"
127.0.0.1:6379> LPUSH wechat "today is friday !"

[5,4,3,2,1]
 0 1 2 3 4 

[e,d,c,b,a]
0 1 2 3  4

127.0.0.1:6379> lrange wechat  0 0
1) "today is friday !"
127.0.0.1:6379> lrange wechat  0 1
1) "today is friday !"
2) "today is rainy  day !"
127.0.0.1:6379> lrange wechat  0 2
1) "today is friday !"
2) "today is rainy  day !"
3) "today is good  day !"
127.0.0.1:6379> lrange wechat  0 3
127.0.0.1:6379> lrange wechat  -2 -1
1) "today is bad day !"
2) "today is nice day !"


-----------------
增 
lpush mykey a b             若key不存在,創(chuàng)建該鍵及與其關(guān)聯(lián)的List,依次插入a ,b诽里， 若List類型的key存在,則插入value中
lpushx mykey2 e             若key不存在,此命令無效， 若key存在,則插入value中
linsert mykey before a a1   在 a 的前面插入新元素 a1
linsert mykey after e e2    在e 的后面插入新元素 e2
rpush mykey a b             在鏈表尾部先插入b,在插入a
rpushx mykey e              若key存在,在尾部插入e, 若key不存在,則無效
rpoplpush mykey mykey2      將mykey的尾部元素彈出,再插入到mykey2 的頭部(原子性的操作)
刪
del mykey                   刪除已有鍵 
lrem mykey 2 a              從頭部開始找,按先后順序,值為a的元素,刪除數(shù)量為2個,若存在第3個,則不刪除
ltrim mykey 0 2             從頭開始,索引為0,1,2的3個元素,其余全部刪除
改
lset mykey 1 e              從頭開始, 將索引為1的元素值,設(shè)置為新值 e,若索引越界,則返回錯誤信息
rpoplpush mykey mykey       將 mykey 中的尾部元素移到其頭部
查
lrange mykey 0 -1           取鏈表中的全部元素飞蛹，其中0表示第一個元素,-1表示最后一個元素谤狡。
lrange mykey 0 2            從頭開始,取索引為0,1,2的元素
lrange mykey 0 0            從頭開始,取第一個元素,從第0個開始,到第0個結(jié)束
lpop mykey                  獲取頭部元素,并且彈出頭部元素,出棧
lindex mykey 6              從頭開始,獲取索引為6的元素 若下標(biāo)越界,則返回nil 

6.6 SET 集合類型（join union）

應(yīng)用場景：
案例：在微博應(yīng)用中，可以將一個用戶所有的關(guān)注人存在一個集合中桩皿，將其所有粉絲存在一個集合豌汇。
Redis還為集合提供了求交集、并集泄隔、差集等操作，可以非常方便的實現(xiàn)如共同關(guān)注宛徊、共同喜好佛嬉、二度好友等功能，
對上面的所有集合操作闸天，你還可以使用不同的命令選擇將結(jié)果返回給客戶端還是存集到一個新的集合中暖呕。

127.0.0.1:6379> sadd lxl pg1 jnl baoqiang gsy alexsb
(integer) 5
127.0.0.1:6379> sadd jnl baoqiang ms bbh yf wxg
(integer) 5
127.0.0.1:6379> SUNION lxl  jnl
1) "gsy"
2) "yf"
3) "alexsb"
4) "bbh"
5) "jnl"
6) "pg1"
7) "baoqiang"
8) "ms"
9) "wxg"
127.0.0.1:6379> SINTER lxl jnl
1) "baoqiang"
127.0.0.1:6379> SDIFF jnl lxl
1) "wxg"
2) "yf"
3) "bbh"
4) "ms"
127.0.0.1:6379> SDIFF lxl jnl
1) "jnl"
2) "pg1"
3) "gsy"
4) "alexsb"

增
sadd myset a b c  
若key不存在,創(chuàng)建該鍵及與其關(guān)聯(lián)的set,依次插入a ,b,若key存在,則插入value中,若a 在myset中已經(jīng)存在,則插入了 d 和 e 兩個新成員。
刪
spop myset              尾部的b被移出,事實上b并不是之前插入的第一個或最后一個成員
srem myset a d f        若f不存在, 移出 a苞氮、d ,并返回2
改
smove myset myset2 a        將a從 myset 移到 myset2湾揽，
查
sismember myset a           判斷 a 是否已經(jīng)存在，返回值為 1 表示存在笼吟。
smembers myset          查看set中的內(nèi)容
scard myset             獲取Set 集合中元素的數(shù)量
srandmember myset       隨機(jī)的返回某一成員
sdiff myset1 myset2 myset3      1和2得到一個結(jié)果,拿這個集合和3比較,獲得每個獨有的值
sdiffstore diffkey myset myset2 myset3      3個集和比較,獲取獨有的元素,并存入diffkey 關(guān)聯(lián)的Set中
sinter myset myset2 myset3              獲得3個集合中都有的元素
sinterstore interkey myset myset2 myset3  把交集存入interkey 關(guān)聯(lián)的Set中
sunion myset myset2 myset3              獲取3個集合中的成員的并集
sunionstore unionkey myset myset2 myset3  把并集存入unionkey 關(guān)聯(lián)的Set中

6.7 SortedSet（有序集合）

應(yīng)用場景：
排行榜應(yīng)用库物，取TOP N操作
這個需求與上面需求的不同之處在于，前面操作以時間為權(quán)重贷帮，這個是以某個條件為權(quán)重戚揭，比如按頂?shù)拇螖?shù)排序，
這時候就需要我們的sorted set出馬了撵枢，將你要排序的值設(shè)置成sorted set的score民晒，將具體的數(shù)據(jù)設(shè)置成相應(yīng)的value精居，
每次只需要執(zhí)行一條ZADD命令即可。

127.0.0.1:6379> zadd topN 0 smlt 0 fskl 0 fshkl 0 lzlsfs 0 wdhbx 0 wxg 
(integer) 6
127.0.0.1:6379> ZINCRBY topN 100000 smlt
"100000"
127.0.0.1:6379> ZINCRBY topN 10000 fskl
"10000"
127.0.0.1:6379> ZINCRBY topN 1000000 fshkl
"1000000"
127.0.0.1:6379> ZINCRBY topN 100 lzlsfs
"100"
127.0.0.1:6379> ZINCRBY topN 10 wdhbx
"10"
127.0.0.1:6379> ZINCRBY topN 100000000 wxg
"100000000"

127.0.0.1:6379> ZREVRANGE topN 0 2 
1) "wxg"
2) "fshkl"
3) "smlt"
127.0.0.1:6379> ZREVRANGE topN 0 2 withscores
1) "wxg"
2) "100000000"
3) "fshkl"
4) "1000000"
5) "smlt"
6) "100000"
127.0.0.1:6379> 

增
zadd myzset 2 "two" 3 "three"       添加兩個分?jǐn)?shù)分別是 2 和 3 的兩個成員
刪
zrem myzset one two                 刪除多個成員變量,返回刪除的數(shù)量
改
zincrby myzset 2 one                將成員 one 的分?jǐn)?shù)增加 2潜必，并返回該成員更新后的分?jǐn)?shù)
查 
zrange myzset 0 -1 WITHSCORES       返回所有成員和分?jǐn)?shù),不加WITHSCORES,只返回成員
zrank myzset one                    獲取成員one在Sorted-Set中的位置索引值靴姿。0表示第一個位置
zcard myzset                        獲取 myzset 鍵中成員的數(shù)量
zcount myzset 1 2                   獲取分?jǐn)?shù)滿足表達(dá)式 1 <= score <= 2 的成員的數(shù)量
zscore myzset three                 獲取成員 three 的分?jǐn)?shù)
zrangebyscore myzset  1 2               獲取分?jǐn)?shù)滿足表達(dá)式 1 < score <= 2 的成員
#-inf 表示第一個成員，+inf最后一個成員
#limit限制關(guān)鍵字
#2  3  是索引號
zrangebyscore myzset -inf +inf limit 2 3  返回索引是2和3的成員
zremrangebyscore myzset 1 2         刪除分?jǐn)?shù) 1<= score <= 2 的成員磁滚，并返回實際刪除的數(shù)量
zremrangebyrank myzset 0 1              刪除位置索引滿足表達(dá)式 0 <= rank <= 1 的成員
zrevrange myzset 0 -1 WITHSCORES        按位置索引從高到低,獲取所有成員和分?jǐn)?shù)
#原始成員:位置索引從小到大
      one  0  
      two  1
#執(zhí)行順序:把索引反轉(zhuǎn)
      位置索引:從大到小
      one 1
      two 0
#輸出結(jié)果: two  
       one
zrevrange myzset 1 3                獲取位置索引,為1,2,3的成員
#相反的順序:從高到低的順序
zrevrangebyscore myzset 3 0             獲取分?jǐn)?shù) 3>=score>=0的成員并以相反的順序輸出
zrevrangebyscore myzset 4 0 limit 1 2    獲取索引是1和2的成員,并反轉(zhuǎn)位置索引

6.8 總結(jié)

string : 計數(shù)器應(yīng)用 , session 共享
hash : MySQL數(shù)據(jù)庫緩存,canal mysql 自動 redis
list : 朋友圈
set : 集合操作 : 共同好友,共同喜好佛吓、二度好友等功能，
sortset : 排行榜

7. 發(fā)布訂閱

你最秀

PUBLISH channel msg
    將信息 message 發(fā)送到指定的頻道 channel
SUBSCRIBE channel [channel ...]
    訂閱頻道恨旱，可以同時訂閱多個頻道
UNSUBSCRIBE [channel ...]
    取消訂閱指定的頻道, 如果不指定頻道辈毯，則會取消訂閱所有頻道
PSUBSCRIBE pattern [pattern ...]
    訂閱一個或多個符合給定模式的頻道谆沃，每個模式以 * 作為匹配符仪芒，比如 it* 匹配所   有以 it 開頭的頻道( it.news 唁影、 it.blog 、 it.tweets 等等)据沈， news.* 匹配所有 以 news. 開頭的頻道( news.it 饺蔑、 news.global.today 等等)锌介，諸如此類
PUNSUBSCRIBE [pattern [pattern ...]]
    退訂指定的規(guī)則, 如果沒有參數(shù)則會退訂所有規(guī)則
PUBSUB subcommand [argument [argument ...]]
    查看訂閱與發(fā)布系統(tǒng)狀態(tài)
注意：使用發(fā)布訂閱模式實現(xiàn)的消息隊列，當(dāng)有客戶端訂閱channel后只能收到后續(xù)發(fā)布到該頻道的消息孔祸，之前發(fā)送的不會緩存发皿，必須Provider和Consumer同時在線穴墅。

發(fā)布訂閱例子：
窗口1：
127.0.0.1:6379> SUBSCRIBE baodi 
窗口2：
127.0.0.1:6379> PUBLISH baodi "jin tian zhen kaixin!"
訂閱多頻道：
窗口1：
127.0.0.1:6379> PSUBSCRIBE wang*
窗口2：
127.0.0.1:6379> PUBLISH wangbaoqiang "jintian zhennanshou "

8、Redis事務(wù)

redis的事務(wù)是基于隊列實現(xiàn)的皇钞。
mysql的事務(wù)是基于事務(wù)日志和鎖機(jī)制實現(xiàn)的鹅士。
redis是樂觀鎖機(jī)制惩坑。

開啟事務(wù)功能時（multi）
multi 
command1      
command2
command3
command4
exec 
discard

4條語句作為一個組，并沒有真正執(zhí)行趾痘，而是被放入同一隊列中永票。
如果侣集，這是執(zhí)行discard键俱，會直接丟棄隊列中所有的命令世分，而不是做回滾臭埋。
exec
當(dāng)執(zhí)行exec時瓢阴，對列中所有操作，要么全成功要么全失敗

127.0.0.1:6379> set a b
OK
127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> set a b
QUEUED
127.0.0.1:6379> set c d
QUEUED
127.0.0.1:6379> exec
1) OK
2) OK

9. redis樂觀鎖實現(xiàn)（模擬買票）

發(fā)布一張票
set ticket 1
窗口1：
watch ticket
multi
set ticket 0       1---->0
窗口2：
multi 
set ticket 0 
exec 
窗口1：
exec

10液斜、 服務(wù)器管理命令

Info
Client list
Client kill ip:port
config get *
CONFIG RESETSTAT 重置統(tǒng)計
CONFIG GET/SET 動態(tài)修改
Dbsize 當(dāng)前數(shù)據(jù)庫鍵值對一共有多多少個
FLUSHALL 清空所有數(shù)據(jù) (生產(chǎn)禁用)
select 1
FLUSHDB 清空當(dāng)前庫 (生產(chǎn)禁用)
MONITOR 監(jiān)控實時指令
SHUTDOWN 關(guān)閉服務(wù)器 

關(guān)閉數(shù)據(jù)庫：
redis-cli -a root shutdown

11旗唁、redis（Master-ReplicaSet） *****

11.1 原理：

1. 副本庫通過slaveof 10.0.0.51 6379命令,連接主庫,并發(fā)送SYNC給主庫 
2. 主庫收到SYNC,會立即觸發(fā)BGSAVE,后臺保存RDB,發(fā)送給副本庫
3. 副本庫接收后會應(yīng)用RDB快照
4. 主庫會陸續(xù)將中間產(chǎn)生的新的操作,保存并發(fā)送給副本庫
5. 到此,我們主復(fù)制集就正常工作了
6. 再此以后,主庫只要發(fā)生新的操作,都會以命令傳播的形式自動發(fā)送給副本庫.
7. 所有復(fù)制相關(guān)信息,從info信息中都可以查到.即使重啟任何節(jié)點,他的主從關(guān)系依然都在.
8. 如果發(fā)生主從關(guān)系斷開時,從庫數(shù)據(jù)沒有任何損壞,在下次重連之后,從庫發(fā)送PSYNC給主庫
9. 主庫只會將從庫缺失部分的數(shù)據(jù)同步給從庫應(yīng)用,達(dá)到快速恢復(fù)主從的目的

11.2 主從數(shù)據(jù)一致性保證

min-slaves-to-write 1        #最少實時寫入臺數(shù)
min-slaves-max-lag  3        #避免等待過長

11.3 主庫是否要開啟持久化？

如果不開有可能祷嘶，主庫重啟操作夺溢，造成所有主從數(shù)據(jù)丟失风响！

12. 主從復(fù)制實現(xiàn)

1状勤、環(huán)境：
準(zhǔn)備兩個或兩個以上redis實例

mkdir /data/638{0..2}

配置文件示例：
cat >> /data/6380/redis.conf <<EOF
port 6380
daemonize yes
pidfile /data/6380/redis.pid
loglevel notice
logfile "/data/6380/redis.log"
dbfilename dump.rdb
dir /data/6380
requirepass 123
masterauth 123
EOF


cat >>   /data/6381/redis.conf <<EOF
port 6381
daemonize yes
pidfile /data/6381/redis.pid
loglevel notice
logfile "/data/6381/redis.log"
dbfilename dump.rdb
dir /data/6381
requirepass 123
masterauth 123
EOF


cat >>   /data/6382/redis.conf <<EOF
port 6382
daemonize yes
pidfile /data/6382/redis.pid
loglevel notice
logfile "/data/6382/redis.log"
dbfilename dump.rdb
dir /data/6382
requirepass 123
masterauth 123
EOF


啟動：
redis-server /data/6380/redis.conf
redis-server /data/6381/redis.conf
redis-server /data/6382/redis.conf

主節(jié)點：6380
從節(jié)點：6381、6382

2密似、開啟主從：
6381/6382命令行:

redis-cli -p 6381 -a 123 SLAVEOF 127.0.0.1 6380
redis-cli -p 6382 -a 123 SLAVEOF 127.0.0.1 6380


3残腌、查詢主從狀態(tài)
 redis-cli -p 6380 -a 123 info replication
 redis-cli -p 6381 -a 123 info replication
 redis-cli -p 6382 -a 123 info replication
4抛猫、slaveof no one 退出主從狀態(tài)

13 redis-sentinel（哨兵）

1、監(jiān)控
2逾滥、自動選主匣距，切換（6381 slaveof no one）
3哎壳、2號從庫（6382）指向新主庫（6381）
4归榕、應(yīng)用透明 
5、自動處理故障節(jié)點

sentinel搭建過程

mkdir /data/26380
cd /data/26380
vim sentinel.conf
port 26380
dir "/data/26380"
sentinel monitor mymaster 127.0.0.1 6380 1
sentinel down-after-milliseconds mymaster 5000
sentinel auth-pass mymaster 123 

啟動：
[root@db01 26380]# redis-sentinel /data/26380/sentinel.conf  &>/tmp/sentinel.log &

==============================
如果有問題：
1外里、重新準(zhǔn)備1主2從環(huán)境
2盅蝗、kill掉sentinel進(jìn)程
3姆蘸、刪除sentinel目錄下的所有文件
4逞敷、重新搭建sentinel
======================================

停主庫測試：

[root@db01 ~]# redis-cli -p 6380 shutdown
[root@db01 ~]# redis-cli -p 6381
info replication
redis-cli  -p 6380 -a 123 info replication
redis-cli  -p 6381 -a 123 info replication
redis-cli  -p 6382 -a 123 info replication
啟動源主庫（6380）推捐，看狀態(tài)。

Sentinel管理命令：
redis-cli -p 26380
PING ：返回 PONG 堪簿。
SENTINEL masters ：列出所有被監(jiān)視的主服務(wù)器
SENTINEL slaves <master name> 

SENTINEL get-master-addr-by-name <master name> ： 返回給定名字的主服務(wù)器的 IP 地址和端口號戴甩。 
SENTINEL reset <pattern> ： 重置所有名字和給定模式 pattern 相匹配的主服務(wù)器。 
SENTINEL failover <master name> ： 當(dāng)主服務(wù)器失效時协饲， 在不詢問其他 Sentinel 意見的情況下茉稠， 強(qiáng)制開始一次自動故障遷移而线。

14. redis cluster

image.png

14.1 介紹

高性能

1膀篮、在多分片節(jié)點中岂膳，將16384個槽位谈截，均勻分布到多個分片節(jié)點中
2、存數(shù)據(jù)時毙死，將key做crc16(key),然后和16384進(jìn)行取模扼倘，得出槽位值（0-16383之間）
3除呵、根據(jù)計算得出的槽位值竿奏，找到相對應(yīng)的分片節(jié)點的主節(jié)點泛啸，存儲到相應(yīng)槽位上
4秃症、如果客戶端當(dāng)時連接的節(jié)點不是將來要存儲的分片節(jié)點，分片集群會將客戶端連接切換至真正存儲節(jié)點進(jìn)行數(shù)據(jù)存儲

為什么是16384（2^14）個匹耕？

在redis節(jié)點發(fā)送心跳包時需要把所有的槽放到這個心跳包里荠雕，以便讓節(jié)點知道當(dāng)前集群信息炸卑，16384=16k盖文，在發(fā)送心跳包時使用bitmap壓縮后是2k（2 * 8 (8 bit) * 1024(1k) = 2K），也就是說使用2k的空間創(chuàng)建了16k的槽數(shù)洒敏。

雖然使用CRC16算法最多可以分配65535（2^16-1）個槽位凶伙，65535=65k荆萤，壓縮后就是8k（8 * 8 (8 bit) * 1024(1k) = 8K）链韭，也就是說需要需要8k的心跳包敞峭，作者認(rèn)為這樣做不太值得；并且一般情況下一個redis集群不會有超過1000個master節(jié)點殖蚕，所以16k的槽位是個比較合適的選擇

高可用

在搭建集群時睦疫，會為每一個分片的主節(jié)點蛤育，對應(yīng)一個從節(jié)點，實現(xiàn)slaveof的功能底洗，同時當(dāng)主節(jié)點down亥揖，實現(xiàn)類似于sentinel的自動failover的功能圣勒。

1灾而、redis會有多組分片構(gòu)成（3組）
2旁趟、redis cluster 使用固定個數(shù)的slot存儲數(shù)據(jù)（一共16384slot）
3、每組分片分得1/3 slot個數(shù)（0-5500  5501-11000  11001-16383）
4橙困、基于CRC16(key) % 16384 ====》值 （槽位號）凡傅。

14.2 規(guī)劃夏跷、搭建過程：

6個redis實例明未，一般會放到3臺硬件服務(wù)器
注：在企業(yè)規(guī)劃中趟妥，一個分片的兩個分到不同的物理機(jī)披摄，防止硬件主機(jī)宕機(jī)造成的整個分片數(shù)據(jù)丟失。
端口號：7000-7005

安裝集群插件

EPEL源安裝ruby支持
yum install ruby rubygems -y
使用國內(nèi)源
gem sources -l
gem sources -a http://mirrors.aliyun.com/rubygems/ 
gem sources  --remove https://rubygems.org/
gem sources -l
gem install redis -v 3.3.3
集群節(jié)點準(zhǔn)備
mkdir /data/700{0..5}
cat > /data/7000/redis.conf <<EOF
port 7000
daemonize yes
pidfile /data/7000/redis.pid
loglevel notice
logfile "/data/7000/redis.log"
dbfilename dump.rdb
dir /data/7000
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7001/redis.conf <<EOF
port 7001
daemonize yes
pidfile /data/7001/redis.pid
loglevel notice
logfile "/data/7001/redis.log"
dbfilename dump.rdb
dir /data/7001
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7002/redis.conf <<EOF
port 7002
daemonize yes
pidfile /data/7002/redis.pid
loglevel notice
logfile "/data/7002/redis.log"
dbfilename dump.rdb
dir /data/7002
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF


cat >>  /data/7003/redis.conf <<EOF
port 7003
daemonize yes
pidfile /data/7003/redis.pid
loglevel notice
logfile "/data/7003/redis.log"
dbfilename dump.rdb
dir /data/7003
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF


cat >> /data/7004/redis.conf <<EOF
port 7004
daemonize yes
pidfile /data/7004/redis.pid
loglevel notice
logfile "/data/7004/redis.log"
dbfilename dump.rdb
dir /data/7004
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >> /data/7005/redis.conf <<EOF
port 7005
daemonize yes
pidfile /data/7005/redis.pid
loglevel notice
logfile "/data/7005/redis.log"
dbfilename dump.rdb
dir /data/7005
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

主要的三個配置文件

image.png

啟動節(jié)點：

redis-server /data/7000/redis.conf 
redis-server /data/7001/redis.conf 
redis-server /data/7002/redis.conf 
redis-server /data/7003/redis.conf 
redis-server /data/7004/redis.conf 
redis-server /data/7005/redis.conf 
[root@db01 ~]# ps -ef |grep redis
root       8854      1  0 03:56 ?        00:00:00 redis-server *:7000 [cluster]     
root       8858      1  0 03:56 ?        00:00:00 redis-server *:7001 [cluster]     
root       8860      1  0 03:56 ?        00:00:00 redis-server *:7002 [cluster]     
root       8864      1  0 03:56 ?        00:00:00 redis-server *:7003 [cluster]     
root       8866      1  0 03:56 ?        00:00:00 redis-server *:7004 [cluster]     
root       8874      1  0 03:56 ?        00:00:00 redis-server *:7005 [cluster]  

將節(jié)點加入集群管理

redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

集群狀態(tài)查看

集群主節(jié)點狀態(tài)
redis-cli -p 7000 cluster nodes | grep master
集群從節(jié)點狀態(tài)
redis-cli -p 7000 cluster nodes | grep slave

14.3 集群節(jié)點管理

增加新的節(jié)點

mkdir /data/7006
mkdir /data/7007
cat > /data/7006/redis.conf <<EOF
port 7006
daemonize yes
pidfile /data/7006/redis.pid
loglevel notice
logfile "/data/7006/redis.log"
dbfilename dump.rdb
dir /data/7006
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

cat >  /data/7007/redis.conf <<EOF
port 7007
daemonize yes
pidfile /data/7007/redis.pid
loglevel notice
logfile "/data/7007/redis.log"
dbfilename dump.rdb
dir /data/7007
protected-mode no
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes
EOF

redis-server /data/7006/redis.conf 
redis-server /data/7007/redis.conf 

添加主節(jié)點：

redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000

轉(zhuǎn)移slot（重新分片）

redis-trib.rb reshard 127.0.0.1:7000

image.png

添加一個從節(jié)點

redis-trib.rb add-node --slave --master-id 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae 127.0.0.1:7007 127.0.0.1:7000

--master-id是主庫的node id號碼(查看命令↓)
redis-cli -p 7000 cluster nodes | grep master

14.4 刪除節(jié)點

將需要刪除節(jié)點slot移動走(不連續(xù)需要刪除多次)

redis-trib.rb reshard 127.0.0.1:7000
49257f251824dd815bc7f31e1118b670365e861a 
127.0.0.1:7006
0-1364 5461-6826 10923-12287
1365      1366     1365

刪除一個節(jié)點

刪除master節(jié)點之前首先要使用reshard移除master的全部slot,然后再刪除當(dāng)前節(jié)點
redis-trib.rb del-node 127.0.0.1:7006 8ff9ef5b78e6da62bd7b362e1fe190cba19ef5ae


---------------------
設(shè)置redis最大內(nèi)存
config set maxmemory 102400000
---------------------

15. redis的多API支持

python為例
yum install -y python36 
python3 -V
yum install -y python36-pip
pip3 install redis 
pip3 install redis-py-cluster

++++++++++++源碼方式+++++++++++++++
https://redis.io/clients
下載redis-py-master.zip
安裝驅(qū)動：
unzip redis-py-master.zip
cd redis-py-master
python3 setup.py install

redis cluster的連接并操作（python2.7.2以上版本才支持redis cluster夺巩，我們選擇的是3.6）
https://github.com/Grokzen/redis-py-cluster
安裝redis-cluser的客戶端程序
cd redis-py-cluster-unstable
python3 setup.py install
+++++++++++++++++++++++++++++++++

對redis的單實例進(jìn)行連接操作

[root@db01 ~]# redis-server /data/6379/redis.conf 

python3
>>>import redis
>>>r = redis.StrictRedis(host='10.0.0.51', port=6379, db=0,password='123456')
>>>r.set('oldboy', 'oldguo')
>>>r.get('oldboy')

sentinel集群連接并操作

[root@db01 ~]# redis-server /data/6380/redis.conf
[root@db01 ~]# redis-server /data/6381/redis.conf
[root@db01 ~]# redis-server /data/6382/redis.conf 
[root@db01 ~]# redis-sentinel /data/26380/sentinel.conf &
--------------------------------
## 導(dǎo)入redis sentinel包
>>>from redis.sentinel import Sentinel  
##指定sentinel的地址和端口號
>>> sentinel = Sentinel([('localhost', 26380)], socket_timeout=0.1)  
##測試喳张，獲取以下主庫和從庫的信息
>>> sentinel.discover_master('mymaster')  
>>> sentinel.discover_slaves('mymaster')  

配置讀寫分離

#寫節(jié)點
>>> master = sentinel.master_for('mymaster', socket_timeout=0.1,password="123")  
#讀節(jié)點
>>> slave = sentinel.slave_for('mymaster', socket_timeout=0.1,password="123")  
###讀寫分離測試   key     
>>> master.set('oldboy', '123')  
>>> slave.get('oldboy')  

python連接rediscluster集群測試

使用

python3
>>> from rediscluster import RedisCluster    #StrictRedisCluster
>>> startup_nodes = [{"host":"127.0.0.1", "port": "7000"},{"host":"127.0.0.1", "port": "7001"},{"host":"127.0.0.1", "port": "7002"}]  
### Note: decode_responses must be set to True when used with python3  
>>> rc = RedisCluster(startup_nodes=startup_nodes, decode_responses=True)  
>>> rc.set("foo", "bar")  
True  
>>> print(rc.get("foo"))  
'bar'

16.一些概念

緩存穿透

概念
訪問一個不存在的key销部，緩存不起作用，請求會穿透到DB酱虎，流量大時DB會掛掉读串。

解決方案
采用布隆過濾器撒妈，使用一個足夠大的bitmap狰右，用于存儲可能訪問的key，不存在的key直接被過濾嫁佳；
訪問key未在DB查詢到值蒿往，也將空值寫進(jìn)緩存坷备，但可以設(shè)置較短過期時間省撑。

緩存雪崩

概念
大量的key設(shè)置了相同的過期時間竟秫，導(dǎo)致在緩存在同一時刻全部失效，造成瞬時DB請求量大趾浅、壓力驟增皿哨，引起雪崩。

解決方案
可以給緩存設(shè)置過期時間時加上一個隨機(jī)值時間如输，使得每個key的過期時間分布開來不见，不會集中在同一時刻失效稳吮。

緩存擊穿

概念
一個存在的key，在緩存過期的一刻过牙，同時有大量的請求谦秧，這些請求都會擊穿到DB缘挑，造成瞬時DB請求量大姑蓝、壓力驟增。
解決方案
在訪問key之前，采用SETNX（set if not exists）來設(shè)置另一個短期key來鎖住當(dāng)前key的訪問池充，訪問結(jié)束再刪除該短期key厘灼。