Redis內(nèi)存淘汰策略

將Redis用作緩存時(shí)帝嗡，如果內(nèi)存空間用滿，就會(huì)自動(dòng)驅(qū)逐老的數(shù)據(jù)璃氢。

為什么要使用內(nèi)存淘汰策略呢哟玷？

當(dāng)海量數(shù)據(jù)涌入redis，導(dǎo)致redis裝不下了咋辦一也，我們需要根據(jù)redis的內(nèi)存淘汰策略巢寡，淘汰一些不那么重要的key，來滿足大量數(shù)據(jù)的存入椰苟。

Redis六種淘汰策略

• noeviction：當(dāng)內(nèi)存使用達(dá)到閾值的時(shí)候抑月，所有引起申請(qǐng)內(nèi)存的命令會(huì)報(bào)錯(cuò)。
• allkeys-lru：在主鍵空間中舆蝴，優(yōu)先移除最近未使用的key谦絮。(推薦)
• volatile-lru：在設(shè)置了過期時(shí)間的鍵空間中，優(yōu)先移除最近未使用的key洁仗。
• allkeys-random：在主鍵空間中层皱，隨機(jī)移除某個(gè)key。
• volatile-random：在設(shè)置了過期時(shí)間的鍵空間中京痢，隨機(jī)移除某個(gè)key奶甘。
• volatile-ttl：在設(shè)置了過期時(shí)間的鍵空間中，具有更早過期時(shí)間的key優(yōu)先移除祭椰。

如何配置Redis淘汰策略

1. 找到redis.conf文件

設(shè)置Redis 內(nèi)存大小的限制臭家，我們可以設(shè)置maxmemory ，當(dāng)數(shù)據(jù)達(dá)到限定大小后方淤，會(huì)選擇配置的策略淘汰數(shù)據(jù) 比如：maxmemory 300mb钉赁。

1. 設(shè)置內(nèi)存淘汰具體使用那種策略

   
   

設(shè)置Redis的淘汰策略。比如：maxmemory-policy volatile-lru 或allkeys-lru

127.0.0.1:6379> CONFIG GET maxmemory-policy
1) "maxmemory"
2) "0"
127.0.0.1:6379> CONFIG SET maxmemory-policy allkeys-lru
OK
127.0.0.1:6379> CONFIG GET maxmemory-policy
1) "maxmemory-policy"
2) "allkeys-lru"

redis基本操作

查看連接數(shù)
CLIENT LIST獲取客戶端列表
CLIENT SETNAME 設(shè)置當(dāng)前連接點(diǎn)redis的名稱
CLIENT GETNAME 查看當(dāng)前連接的名稱
CLIENT KILL ip:port 殺死指定連接

查看資源占用情況

info查看全部
info memory查看資源占用情況

# Memory
used_memory:13490096 //數(shù)據(jù)占用了多少內(nèi)存（字節(jié)）
used_memory_human:12.87M //數(shù)據(jù)占用了多少內(nèi)存（帶單位的携茂，可讀性好）
used_memory_rss:13490096  //redis占用了多少內(nèi)存
used_memory_peak:15301192 //占用內(nèi)存的峰值（字節(jié)）
used_memory_peak_human:14.59M //占用內(nèi)存的峰值（帶單位的你踩，可讀性好）
used_memory_lua:31744  //lua引擎所占用的內(nèi)存大小（字節(jié)）
mem_fragmentation_ratio:1.00  //內(nèi)存碎片率
mem_allocator:libc //redis內(nèi)存分配器版本，在編譯時(shí)指定的带膜。有l(wèi)ibc吩谦、jemalloc、tcmalloc這3種膝藕。
total_system_memory//整個(gè)系統(tǒng)內(nèi)存
used_memory_dataset_perc //數(shù)據(jù)占用的內(nèi)存大小的百分比式廷，100%*(used_memory_dataset/(used_memory-used_memory_startup))
used_memory_peak_perc //使用內(nèi)存達(dá)到峰值內(nèi)存的百分比，即(used_memory/ used_memory_peak) *100%

--bigkeys可以查看下那些key比較占空間
redis-cli -c -h redis-recommend1.nonolive.local --bigkeys

鍵的數(shù)據(jù)結(jié)構(gòu)類型

type key
如果鍵hello是字符串類型芭挽，則返回string滑废；如果鍵不存在，則返回none

鍵重命名

rename key newkey
renamenx key newkey只有newkey不存在時(shí)才會(huì)被覆蓋

查找key

不要使用keys xxx*查找袜爪，keys 算法是遍歷算法蠕趁，復(fù)雜度是 O(n)，如果實(shí)例中有千萬級(jí)以上的 key辛馆，這個(gè)指令就會(huì)導(dǎo)致 Redis 服務(wù)卡頓俺陋，所有讀寫 Redis 的其它的指令都會(huì)被延后甚至?xí)瑫r(shí)報(bào)錯(cuò)，可能會(huì)引起緩存雪崩甚至數(shù)據(jù)庫宕機(jī)怀各。
生產(chǎn)環(huán)境禁用
通常使用Scan模糊查找
scan 參數(shù)提供了三個(gè)參數(shù)倔韭，第一個(gè)是 cursor 整數(shù)值，第二個(gè)是 key 的正則模式瓢对，第三個(gè)是遍歷的 limit hint寿酌。第一次遍歷時(shí)，cursor 值為 0硕蛹，然后將返回結(jié)果中第一個(gè)整數(shù)值作為下一次遍歷的 cursor醇疼。一直遍歷到返回的 cursor 值為 0 時(shí)結(jié)束。
SSCAN 命令用于迭代集合（set）鍵中的元素法焰。
HSCAN 命令用于迭代哈希(hash)鍵中的鍵值對(duì)秧荆。
ZSCAN 命令用于迭代有序集合(sorted set)中的元素（包括元素成員和元素分值）

127.0.0.1:6379> scan 0 match key99* count 1000
1) "13976"        # 第一次迭代時(shí)返回的游標(biāo)
2)  1) "key9911"
    2) "key9974"
    3) "key9994"
    4) "key9910"
    5) "key9907"
    6) "key9989" 

127.0.0.1:6379> scan 13976 match key99* count 1000 # 第二次查就使用第一次返回的游標(biāo)

這里的count 1000不是限定的數(shù)量，而是限定服務(wù)器單次遍歷的字典槽位數(shù)量 (約等于)埃仪，所以只要第一條有數(shù)乙濒，那就是有數(shù)據(jù)的。

然后可以通過key來核對(duì)數(shù)據(jù)

//type返回給定key的value類型
type key
返回 none 表示不存在key卵蛉。string字符類型颁股，list 鏈表類型 set 無序集合類型

//get返回給定key的value
get key

刪除操作

刪除前看一下是否存在：exists key
刪除單個(gè)key: del key
刪除所有key: flushdb

批量模糊刪除：
如果需要批量刪除，例如想一次性刪除key為（redis_key1,redis_key2,redis_key3……）的這么一批redis_key傻丝，
退出redis客戶端甘有，直接在shell中使用xargs參數(shù)實(shí)現(xiàn)，
xargs 是一個(gè)強(qiáng)有力的命令葡缰，它能夠捕獲一個(gè)命令的輸出亏掀，然后傳遞給另外一個(gè)命令忱反。
如果需要指定數(shù)據(jù)庫，需要用到 -n 數(shù)據(jù)庫編號(hào) 參數(shù)滤愕，下面是刪除 2數(shù)據(jù)庫中 redis_key開頭的鍵：
redis-cli -n 數(shù)據(jù)庫名(0-15) keys redis_key*|xargs redis-cli -n 數(shù)據(jù)庫名(0-15) del
例子：
redis-cli -h 127.0.0.1 -p 6379 keys "redis_key*"|xargs redis-cli -h 127.0.0.1 -p 6379 del
補(bǔ)充的幾個(gè)參數(shù)：
redis-cli keys "mailspec*" | xargs -r -t -n1 del
補(bǔ)充1：xargs命令后需加上參數(shù)-r,不然當(dāng)keys的數(shù)量為0時(shí)温算，就會(huì)報(bào)錯(cuò) (error) ERR wrong number of arguments for ‘del’ command
補(bǔ)充2：xargs命令后需加上參數(shù)-n1,不然當(dāng)集群情況keys的數(shù)量大于1時(shí)，可能會(huì)報(bào)錯(cuò) (error) CROSSSLOT Keys in request don’t hash to the same slot
補(bǔ)充3：不加-t也可以该互，加上-t會(huì)輸出每次刪除的內(nèi)容米者，不加則不輸出刪除的內(nèi)容韭畸，但還是會(huì)輸出每次刪除的key的數(shù)量
建議還是不要用keys宇智，用scan模糊匹配更好些。

注意

del刪除很大量的數(shù)據(jù)會(huì)把redis阻塞胰丁，導(dǎo)致其他命令無法執(zhí)行随橘。
和使用keys查找數(shù)據(jù)一樣的結(jié)果。
生產(chǎn)環(huán)境禁用
建議使用unlink和scan異步來刪锦庸，
redis-cli -h [ip] -p [port] -a [password] -n [index] --scan --pattern 'User:*' | xargs redis-cli -h [ip] -p [port] -a [password] -n [index] unlink
例如：
redis-cli -c -h redis-recommend1.nonolive.local --scan --pattern "REC_RECALL_OUTLINE_20210721*"|xargs -r -t -n1 redis-cli -c -h redis-recommend1.nonolive.local unlink
有時(shí)候數(shù)據(jù)模糊查找也太大机蔗，那就需要設(shè)置執(zhí)行時(shí)間，用timeout刪幾分鐘停一會(huì)兒再刪幾分鐘甘萧。
使用timeout
timeout 300 redis-cli -c -h redis-recommend1.nonolive.local --scan --pattern "REC_RECALL_OUTLINE_20210721*"|xargs -r -t -n1 redis-cli -c -h redis-recommend1.nonolive.local unlink

unlink刪除每刪除一次會(huì)開一個(gè)redis連接萝嘁，有些公司不允許開太多連接，那么也不能用unlink來刪扬卷，只能重寫一次數(shù)據(jù)把key的過期時(shí)間調(diào)為0牙言。

有時(shí)候?qū)懭霐?shù)據(jù)的時(shí)候報(bào)錯(cuò)：
WRONGTYPE Operation against a key holding the wrong kind of value
意思是寫入的數(shù)據(jù)格式有問題，如果當(dāng)前數(shù)據(jù)有問題就需要調(diào)整當(dāng)前數(shù)據(jù)的格式怪得，如果當(dāng)前數(shù)據(jù)沒問題咱枉，是因?yàn)閞edis中存在不同類型的數(shù)據(jù)，比如寫入是hmset的hash類型徒恋，redis中存在相同的key的value格式為字符串蚕断，那么需要先刪除這些key(批量刪除或者直接刪除)，再寫入

redis過期命令(key)

Setex
指定的 key 設(shè)置值及其過期時(shí)間入挣。如果 key 已經(jīng)存在亿乳， SETEX 命令將會(huì)替換舊的值。
redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

Expire
設(shè)置 key 的過期時(shí)間径筏，key 過期后將不再可用葛假。單位以秒計(jì)。
redis 127.0.0.1:6379> Expire KEY_NAME TIME_IN_SECONDS

TTL
Redis TTL 命令以秒為單位返回 key 的剩余過期時(shí)間匠璧。key不存在返回-2桐款，存在，返回-1夷恍，否則反回剩余生存時(shí)間魔眨。
redis 127.0.0.1:6379> TTL KEY_NAME

PERSIST
移除key的過期時(shí)間媳维，key將持久保持：PERSIST key

hash數(shù)據(jù)結(jié)構(gòu)常用命令

批量設(shè)置或獲取field-value
Redis Hmset 命令用于同時(shí)將多個(gè) field-value (字段-值)對(duì)設(shè)置到哈希表中。
此命令會(huì)覆蓋哈希表中已存在的字段遏暴。
如果哈希表不存在侄刽，會(huì)創(chuàng)建一個(gè)空哈希表，并執(zhí)行 HMSET 操作朋凉。
redis 127.0.0.1:6379> HMSET KEY_NAME FIELD1 VALUE1 ...FIELDN VALUEN
如果用python寫入州丹，value就是一個(gè)字典。

Redis Hmget 命令用于返回哈希表中杂彭，一個(gè)或多個(gè)給定字段的值墓毒。
如果指定的字段不存在于哈希表，那么返回一個(gè) nil 值亲怠。
redis 127.0.0.1:6379> HMGET KEY_NAME FIELD1...FIELDN

設(shè)置值
Redis Hset 命令和Hmset類似所计，但是只能給一個(gè)field-value (字段-值)賦值。
如果哈希表不存在团秽，一個(gè)新的哈希表被創(chuàng)建并進(jìn)行 HSET 操作主胧。
如果字段已經(jīng)存在于哈希表中，舊值將被覆蓋习勤。
redis 127.0.0.1:6379> HSET KEY_NAME FIELD VALUE

獲取所有的field踪栋、value
Redis Hgetall 命令用于返回哈希表中，所有的字段和值图毕。
在返回值里夷都，緊跟每個(gè)字段名(field name)之后是字段的值(value)，所以返回值的長(zhǎng)度是哈希表大小的兩倍吴旋。
redis 127.0.0.1:6379> HGETALL KEY_NAME

獲取值hget key field
redis 127.0.0.1:6379> HGET KEY_NAME FIELD_NAME

判斷field是否存在
hexists key field

字段值加上指定增量值
Redis Hincrby
如果哈希表的 key 不存在损肛，一個(gè)新的哈希表被創(chuàng)建并執(zhí)行 HINCRBY 命令。
如果指定的字段不存在荣瑟，那么在執(zhí)行命令前治拿，字段的值被初始化為 0 。
對(duì)一個(gè)儲(chǔ)存字符串值的字段執(zhí)行 HINCRBY 命令將造成一個(gè)錯(cuò)誤笆焰。
redis 127.0.0.1:6379> HINCRBY KEY_NAME FIELD_NAME INCR_BY_NUMBER

字段值加上指定小數(shù)增量值
Redis Hincrbyfloat
命令用于為哈希表中的字段值加上指定浮點(diǎn)數(shù)增量值劫谅。

spark連接redis
幾種連接方法
單例模式：靜態(tài)內(nèi)部類

import org.apache.commons.pool2.impl.GenericObjectPoolConfig
import redis.clients.jedis.JedisPool
import redis.clients.jedis.JedisCluster
import redis.clients.jedis.HostAndPort

import java.util

/**
 * redis pool
 */
object RedisPool {

  val poolConfig = new GenericObjectPoolConfig()
  poolConfig.setMaxIdle(10)          // 最大連接數(shù)
  poolConfig.setMaxTotal(1000)       // 最大空閑連接數(shù)
  poolConfig.setMaxWaitMillis(1000)  // 最大等待時(shí)間
  poolConfig.setTestOnBorrow(true)   // 檢查連接可用性, 確保獲取的redis實(shí)例可用

  val host="redis-recommend.mildom.local"
  val PORT = 6379

  private lazy val jedisPool = new JedisPool(poolConfig, host, PORT)

  def getJedis() = {
    val jedis = jedisPool.getResource //獲取連接池連接
    jedis
  }
}

分布式Jedispool

import redis.clients.jedis.JedisCluster
import redis.clients.jedis.HostAndPort

import java.util
/**
 * redis pool
 */
object RedisClusterPool {

  val host="redis-recommend.mildom.local"
  val PORT = 6379

  private val jedisClusterNodes = new util.HashSet[HostAndPort]()
  jedisClusterNodes.add(new HostAndPort(host, PORT))

  def getJedis() = {
    lazy val jedisCluster = new JedisCluster(jedisClusterNodes)
    jedisCluster
  }
}

spark寫入redis
sparksql任務(wù)寫入redis

//隨機(jī)給一個(gè)過期時(shí)間用于測(cè)試
    val rng = new scala.util.Random
//df_result結(jié)構(gòu)為（redis_key,redis_value）

    df_result.rdd.repartition(50).foreachPartition(partition=>{
      val jedis = RedisClusterPool.getJedis()
      partition.foreach(v=>{
        val redisKey=v(0).toString
        val redisValue=v(1).toString
        if (redisKey.length>0) {
          jedis.set(redisKey, redisValue)
          jedis.expire(redisKey, rng.nextInt(500))
        }
        else{
          println("no data")
        }
      })})

hmset 之類的hash格式在python中寫入dict即可，scala中需要把scala的map轉(zhuǎn)化成java的map嚷掠，dataframe中可以保存map格式的數(shù)據(jù)捏检，df轉(zhuǎn)rdd時(shí)使用getAs寫一下Map[...,...]類型，否則Map中的類型無法自動(dòng)識(shí)別不皆。
spark sql functions中提供了map方法贯城，直接選取兩列可以轉(zhuǎn)為一個(gè)scala map。

  val df_result = sparkSession.sql(sql)
      .filter("region is not null and host_id is not null")
      .repartition(30)
      .withColumn("redis_key", lit(redis_key))
      .select(col("redis_key"), map(col("region"), col("host_id")).alias("redis_value"))
      .toDF("redis_key","redis_value")

    df_result.rdd.repartition(30).foreachPartition(partition=>{
      val jedis = nn_RedisClusterPool.getJedis()
      partition.foreach(v=>{
        val redisKey=v.getAs[String]("redis_key").toString
        import scala.collection.JavaConverters._
        // 同樣將scala的map轉(zhuǎn)換為Java的map存入redis中
        val map =  v.getAs[Map[String,String]]("redis_value")
        val redisValue_map: java.util.Map[String, String] = map.asJava
        if (redisKey.length>0) {
          try {
            jedis.hmset(redisKey, redisValue_map)
            jedis.expire(redisKey, seconds + rng.nextInt(5000))
          }
          catch {
            case e:Exception => e.printStackTrace()
          }
        }
        else{
          println("no data")
        }
      })})

spark streaming寫入redis

//導(dǎo)入上面的redispool
import utils.stream.RedisClusterPool
val jedis = RedisClusterPool.getJedis()

stream.repartition(30).foreachRDD(rdd => {
val topic_expose =消費(fèi)kafka曝光數(shù)據(jù)和其他離線數(shù)據(jù)組合

    if (topic_expose.count()>0){
      topic_expose.rdd.collect().foreach(v=>{
      jedis.hset("user:bought:data:"+v(0)+":"+v(1), "exposeCount", jedis.sadd("purchase_expose_num",v(0).toString+":"+v(2).toString).toString)
"exposeCount", 1)
     jedis.expire("user:bought:data:"+v(0)+":"+v(1),seconds)
        })
      }
    })

spark3.0親測(cè)可用霹娄，但是topic_expose.rdd.collect()轉(zhuǎn)化成數(shù)組寫入redis需要先把數(shù)據(jù)拿到driver端能犯，偶爾sparkstreaming的實(shí)時(shí)小數(shù)據(jù)任務(wù)可以鲫骗，如果是離線或?qū)崟r(shí)的大數(shù)據(jù)集，造成的shuffle和內(nèi)存消耗是不可接受的踩晶。

spark在foreachRDD中初始化外部連接也有一些注意點(diǎn)执泰，由于在foreachRDD中初始化了jedis，但是后續(xù)寫入redis的時(shí)候也要用到foreach一條條數(shù)據(jù)往里面寫渡蜻，還是會(huì)有序列化的error术吝，如果在foreach中初始化，非常浪費(fèi)資源茸苇，也沒有必要排苍。
通常的做法是使用foreachPartition，在每個(gè)partition中初始化外部數(shù)據(jù)源税弃。
正常寫法：

import utils.stream.RedisClusterPool

stream.repartition(100).foreachRDD(rdd =>{
  rdd.foreachPartion(partition=>{
    val topic_expose =消費(fèi)kafka曝光數(shù)據(jù)和其他離線數(shù)據(jù)組合(組合了partition)
    val jedis = RedisClusterPool.getJedis()
    topic_expose.rdd.foreach(x=>{
    //用redis中的set,以去重的方式寫入redis
    jedis.hset("user:bought:data:"+v(0)+":"+v(1), "exposeCount", jedis.sadd("purchase_expose_num",v(0).toString+":"+v(2).toString).toString)
    "exposeCount", 1)
    //設(shè)置過期時(shí)間
    jedis.expire("user:bought:data:"+v(0)+":"+v(1),seconds)
    })
  })