需求
公司目前緩存用戶定位信息采用Redis雁乡，數(shù)據(jù)結(jié)構(gòu)采用Hash。隨著用戶人數(shù)增多糜俗，單個hashkey的value越來越大踱稍，達(dá)到200M，嚴(yán)重影響了Redis 的性能悠抹。儲存用戶的hash結(jié)構(gòu)如下珠月。
處理思路
根據(jù)field生成新的hashkey
$keyNum = (int) floor($uid/100000);
$newRedisKey = 'user_location_' . $keyNum;
$res = $redis->hset($newRedisKey, $uid, $location);
然后將單個hashkey里的數(shù)組全部循環(huán)一遍，根據(jù)uid生成的新key去存儲楔敌。
處理過程中遇到的問題：
1啤挎，獲取所有數(shù)據(jù)的方法KEYS 、 HGETALL 等命令應(yīng)禁止在生產(chǎn)環(huán)境使用卵凑∏炱福看官方文檔，有非常顯眼的警告勺卢。
2伙判，單條處理產(chǎn)生新的key存儲1320000數(shù)據(jù)，由于redis是單線程的黑忱，下一次請求必須等待上一次請求執(zhí)行完成后才能繼續(xù)執(zhí)行宴抚。這種方式非常依賴網(wǎng)絡(luò)，非常耗時甫煞。經(jīng)測試菇曲，120萬數(shù)據(jù)，網(wǎng)絡(luò)良好情況下執(zhí)行需要3個小時抚吠。
針對問題一的解決方法
使用hashscan方法獲取單個hashkey的所有數(shù)據(jù)羊娃，
優(yōu)勢：相比于keys命令，hscan命令有兩個比較明顯的優(yōu)勢：
1.scan命令的時間復(fù)雜度雖然也是O(N)埃跷，但它是分次進行的蕊玷，不會阻塞線程。
2.scan命令提供了limit參數(shù)弥雹，可以控制每次返回結(jié)果的最大條數(shù)垃帅。
3.SCAN命令是增量的循環(huán)，每次調(diào)用只會返回一小部分的元素剪勿。所以不會有KEYS命令的坑贸诚。
4.SCAN命令返回的是一個游標(biāo)，從0開始遍歷厕吉，到0結(jié)束遍歷酱固。
代碼如下
$itertor = NULL;
$allUserLocation = $redis->hScan('user_location', $itertor, '*', 10000000);
參數(shù)解釋
1.user_location為hashkey值
2.itertor為迭代器，起始位置游標(biāo)
3.pattern 匹配某一種field
4.單次遍歷返回個數(shù)
針對問題二的解決方法
采用pipeline
優(yōu)勢：Pipeline模式头朱，客戶端可以一次性的發(fā)送多個命令运悲，無需等待服務(wù)端返回。這樣就大大的減少了網(wǎng)絡(luò)往返時間项钮，提高了系統(tǒng)性能班眯。
缺點：不能保證數(shù)據(jù)完整性
所以需要開啟事務(wù)multi
$pipe = $redis->multi($redis::PIPELINE);
$keyNum = (int) floor($uid/100000);
$newRedisKey = 'user_location_' . $keyNum;
try {
$res = $pipe->hset($newRedisKey, $uid, $location);
} catch (Exception $e) {
echo $e->getMessage();
}
unset($arrayAllUser[$uid]);
}
$result = $pipe->exec();
multi和pipeline的區(qū)別
multi相當(dāng)于一個redis的transaction的，保證整個操作的原子性烁巫，避免由于中途出錯而導(dǎo)致最后產(chǎn)生的數(shù)據(jù)不一致署隘。通過測試得知，pipeline方式執(zhí)行效率要比其他方式高10倍左右的速度亚隙，啟用multi寫入要比沒有開啟慢一點磁餐。
本以為處理到這里就結(jié)束了
大坑
pipeline事實上所能容忍的操作個數(shù)，和socket-output緩沖區(qū)大小/返回結(jié)果的數(shù)據(jù)尺寸都有很大的關(guān)系阿弃；同時也意味著每個redis-server同時所能支撐的pipeline鏈接的個數(shù)诊霹，也是有限的，這將受限于server的物理內(nèi)存或網(wǎng)絡(luò)接口的緩沖能力恤浪。
處理到117萬條數(shù)據(jù)時 會報錯數(shù)據(jù)無法落地,rdb無法使用畅哑；
處理方法
1：命令
dev:0> config set stop-writes-on-bgsave-error no
2：vi打開redis-server配置的redis.conf文件，然后使用快捷匹配模式：/ stop-writes-on-bgsave-error定位到stop-writes-on-bgsave-error字符串所在位置水由，接著把后面的yes設(shè)置為no即可荠呐。然后重啟。
3：數(shù)據(jù)再分批次處理砂客。
我選用第三種方法泥张，每次只處理50萬條。
5分鐘執(zhí)行完畢鞠值。
完成任務(wù)媚创。
參考文檔：Redis中scan命令的深入講解 https://www.jb51.net/article/148698.htm
redis中multi和pipeline區(qū)別以及效率(推薦使用pipeline)
