年前在做項(xiàng)目的時(shí)候遇到了一個(gè)小坑，就是把一個(gè)超過(guò)14位的十進(jìn)制數(shù)字作為score和member存到redis的sorted set的時(shí)候郊酒，用PHP讀取數(shù)據(jù)的時(shí)候score會(huì)被轉(zhuǎn)換成浮點(diǎn)數(shù)，最末兩位的數(shù)字會(huì)消失，導(dǎo)致當(dāng)用score作為分頁(yè)標(biāo)志的時(shí)候會(huì)出現(xiàn)分頁(yè)異常的情況礁阁。
1 事故現(xiàn)場(chǎng)
1.1 插入數(shù)據(jù)
redis> zadd sorted_set_key_test 3888153779537508 3888153779537508
(integer) 1
redis> zrange sorted_set_key_test 0 -1 withscores
1) "3888153779537508"
2) "3888153779537508"
redis>
1.2 讀取數(shù)據(jù)
//redis.php
<?php
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
var_dump($redis->ZRANGE("zset_test", 0, -1, true));
[root@localhost ~]# php redis.php
array(1) {
[3888153779537508]=>
float(3.8881537795375E+15)
}
[root@localhost ~]#
2 分析過(guò)程
2.1 redis存儲(chǔ)的大小限制
?根據(jù)上面的文檔：Redis里sorted set類(lèi)型的score支持整形和浮點(diǎn)型，其中整形的-(2^53) 到+(253)夕冲，而3888153779537508并沒(méi)有超過(guò)253（18014398509481983）這個(gè)范圍
2.2 通過(guò)tcpdump抓包氮兵，確定問(wèn)題是在PHP中
tcpdump -i lo port 6379 -q -X
?如圖所示，第一個(gè)紅框內(nèi)為php向redis服務(wù)器發(fā)送請(qǐng)求的數(shù)據(jù)包歹鱼，第二個(gè)紅框內(nèi)為redis返回?cái)?shù)據(jù)結(jié)果的數(shù)據(jù)包泣栈，包內(nèi)容如下：
[root@localhost ~]# telnet 127.0.0.1 6379
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
zrange zset_test 0 -1 withscores
*2
$16
3888153779537508
$16
3888153779537508
發(fā)現(xiàn)redis返回的是字符串類(lèi)型的一串?dāng)?shù)字
2.3 通過(guò)查PHP-redis擴(kuò)展的源碼，發(fā)現(xiàn)是擴(kuò)展的問(wèn)題
//redis.c line:1966-1971
/* {{{ proto array Redis::zRange(string key,int start,int end,bool scores=0) */
PHP_METHOD(Redis, zRange)
{
generic_zrange_cmd(INTERNAL_FUNCTION_PARAM_PASSTHRU, "ZRANGE",
redis_zrange_cmd);
}
首先找到了實(shí)現(xiàn)$redis->zrange的函數(shù)，發(fā)現(xiàn)調(diào)用了generic_zrange_cmd的函數(shù)
//redis_cluster.c line:1586-1617
/* Generic implementation for ZRANGE, ZREVRANGE, ZRANGEBYSCORE, ZREVRANGEBYSCORE */
static void generic_zrange_cmd(INTERNAL_FUNCTION_PARAMETERS, char *kw,
zrange_cb fun)
{
redisCluster *c = Z_REDIS_OBJ_P(getThis());
cluster_cb cb;
char *cmd; int cmd_len; short slot;
int withscores=0;
if(fun(INTERNAL_FUNCTION_PARAM_PASSTHRU, c->flags, kw, &cmd, &cmd_len,
&withscores, &slot, NULL)==FAILURE)
{
efree(cmd);
RETURN_FALSE;
}
if(cluster_send_command(c,slot,cmd,cmd_len TSRMLS_CC)<0 || c->err!=NULL) {
efree(cmd);
RETURN_FALSE;
}
efree(cmd);
cb = withscores ? cluster_mbulk_zipdbl_resp : cluster_mbulk_resp;
if (CLUSTER_IS_ATOMIC(c)) {
cb(INTERNAL_FUNCTION_PARAM_PASSTHRU, c, NULL);
} else {
void *ctx = NULL;
CLUSTER_ENQUEUE_RESPONSE(c, slot, cb, ctx);
RETURN_ZVAL(getThis(), 1, 0);
}
}
在這個(gè)函數(shù)的1609行南片，判斷如果有withscores掺涛，調(diào)用cluster_mbulk_zipdbl_resp
//cluster_library.c line:2207-2214
/* Handling key,value to key=>value where the values are doubles */
PHP_REDIS_API void
cluster_mbulk_zipdbl_resp(INTERNAL_FUNCTION_PARAMETERS, redisCluster *c,
void *ctx)
{
cluster_gen_mbulk_resp(INTERNAL_FUNCTION_PARAM_PASSTHRU, c,
mbulk_resp_loop_zipdbl, NULL);
}
直接調(diào)用了cluster_gen_mbulk_resp，并且把mbulk_resp_loop_zipdbl函數(shù)作為參數(shù)傳了進(jìn)去疼进，發(fā)現(xiàn)在cluster_gen_mbulk_resp最終調(diào)用了mbulk_resp_loop_zipdbl
//cluster_library.c line:2318-2356
/* MULTI BULK loop processor where we expect key,score key, score */
int mbulk_resp_loop_zipdbl(RedisSock *redis_sock, zval *z_result,
long long count, void *ctx TSRMLS_DC)
{
char *line, *key;
int line_len, key_len;
long long idx=0;
// Our context will need to be divisible by 2
if(count %2 != 0) {
return -1;
}
// While we have elements
while(count--) {
line = redis_sock_read(redis_sock, &line_len TSRMLS_CC);
if (line != NULL) {
if(idx++ % 2 == 0) {
key = line;
key_len = line_len;
} else {
zval z;
if (redis_unserialize(redis_sock,key,key_len, &z TSRMLS_CC)) {
convert_to_string(&z);
add_assoc_double_ex(z_result, Z_STRVAL(z), Z_STRLEN(z), atof(line));
zval_dtor(&z);
} else {
add_assoc_double_ex(z_result, key, key_len, atof(line));
}
/* Free our key and line */
efree(key);
efree(line);
}
}
}
return SUCCESS;
}
發(fā)現(xiàn)薪缆，在最終處理score數(shù)據(jù)的時(shí)候調(diào)用了atof函數(shù)，將redis服務(wù)器返回的字符串轉(zhuǎn)換成了浮點(diǎn)數(shù)伞广，導(dǎo)致了開(kāi)始說(shuō)的問(wèn)題拣帽。
3 總結(jié)
3.1 后續(xù)處理
當(dāng)時(shí)發(fā)現(xiàn)這個(gè)問(wèn)題之后，將score作為member的一部分存在redis里嚼锄，取出來(lái)之后减拭，從member中獲取到score，再根據(jù)這個(gè)score來(lái)進(jìn)行分頁(yè)獲取數(shù)據(jù)
3.2 什么時(shí)候會(huì)出現(xiàn)這樣的問(wèn)題
經(jīng)過(guò)簡(jiǎn)單的嘗試区丑，發(fā)現(xiàn)php最多可以保存14位精確的數(shù)據(jù)在float類(lèi)型中拧粪，如果超過(guò)14位，最末幾位會(huì)失去精度
3.3 后續(xù)吧
在github里提了issue沧侥，作者給出的回答是：
?大概是說(shuō)2.2.7之后的版本都是這么處理的可霎，理論上可以對(duì)獲取到的score進(jìn)行判斷是浮點(diǎn)數(shù)還是整數(shù)，但是這樣會(huì)消耗一部分性能宴杀。
