Redis命令HSCAN踩坑指南

作者介绍

高文佳

2021年9月加入去哪儿网 DBA 团队，主要负责公司酒店业务和支付业务的数据库管理运维，具有多年数据库运维管理经验。

一、场景描述

某业务线在 Redis 中使用使用 HASH 对象来存放数据，并使用 HSCAN 命令来循环遍历 HASH 对象中所有元素，业务上线后平稳运行很长时间，但在某天 Redis 实例 QPS 较低(小于 1000)且无明显波动情况下，Redis 实例 CPU 使用率缓慢爆涨至 100%，应用程序请求 Redis 的响应时间也明显增加导致业务异常。

Redis 实例 CPU 使用率监控：

Redis 实例 QPS 监控：

二、问题分析

通过 Redis 的慢日志和 Redis 命令耗时监控，我们快速定位到 Redis 实例 CPU 使用率较高的"元凶"就是命令 HSCAN XXX 0 COUNT 100，但为何 HSCAN 默认匹配所有元素且限制返回数量 100 的情况下还执行这么长时间？

通过官方文档可用找到如下描述：

挑选其中一个 KEY 进行分析：

## 查看KEY的编码类型redis 127.0.0.1:8662> DEBUG OBJECT "XXX_XXX_572761794"Value at:0x7fd4aa9d73f0 refcount:1 encoding:ziplist serializedlength:27573 lru:3322719 lru_seconds_idle:103 ## 查看KEY的元素个数redis 127.0.0.1:8662> HLEN "XXX_XXX_572761794"(integer) 1196 ## 查看ziplist相关配置参数redis 127.0.0.1:8662> CONFIG GET '*ziplist*' 1) "hash-max-ziplist-entries" 2) "2048" 3) "hash-max-ziplist-value" 4) "3072" 5) "list-max-ziplist-size" 6) "-2" 7) "zset-max-ziplist-entries" 8) "2048" 9) "zset-max-ziplist-value"10) "3072"

根据当前Redis实例配置，当 HASH 对象的元素个数小于 hash-max-ziplist-entries (2048)个或 HASH 对象的元素值长度低于 hash-max-ziplist-value（3072）字节时会使用 ziplist 编码方式来存储 HASH 对象，而 HSCAN 命令对于编码类型为 ziplist 的集合类型会忽略 COUNT 参数值而全量返回所有元素，在这种场景下 HSCAN 性能较差。

三、源码学习

以 Redis 5.0 代码为例，使用 hscanCommand 函数来处理 HSCAN 命令，实际调用 scanGenericCommand 函数来处理：

void hscanCommand(client *c) {robj *o;unsigned long cursor;if (parseScanCursorOrReply(c,c->argv[2],&cursor) == C_ERR) return;if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.emptyscan)) == NULL ||checkType(c,o,OBJ_HASH)) return;scanGenericCommand(c,o,cursor);}

函数 scanGenericCommand 的代码实现共分为 4 个步骤：

- 第一步骤：解析参数(Parse options)
- 第二步骤：遍历集合(Iterate the collection)
- 第三步骤：过滤元素(Filter elements)
- 第四步骤：返回结果(Reply to the client)

在遍历集合的第二步骤，会根据集合的编码类型做相应处理：

- 如果编码类型为 HashTable 或 SkipList 时，会按照要返回元素数量(count)来设置最大遍历次数(maxiterations= count *10 )，然后使用"返回元素数量"和"最大遍历次数"双重限制下调用 dictScan 来遍历集合，确保 SCAN 操作不会遍历过多数据导致执行时间超过"预期"。
- 如果编码类型为 IntSet 时(数据类型为 Set 且编码类型不为 HashTable)，会设置 cursor=0 并遍历整个 IntSet 集合。
- 如果编码类型为 ZipList 时(数据类型为 HASH 且编码类型不为 Hashtable，数据类型为 ZSet 且编码类型不为 SkipList)，会设置 cursor=0 并遍历整个 ZipList 集合。

函数 scanGenericCommand 代码：

void scanGenericCommand(client *c, robj *o, unsigned long cursor) { /* Step 1: Parse options. */ /* Step 2: Iterate the collection. * * Note that if the object is encoded with a ziplist, intset, or any other * representation that is not a hash table, we are sure that it is also * composed of a small number of elements. So to avoid taking state we * just return everything inside the object in a single call, setting the * cursor to zero to signal the end of the iteration. */ /* Handle the case of a hash table. */ if (ht) { long maxiterations = count*10; /* We pass two pointers to the callback: the list to which it will * add new elements, and the object containing the dictionary so that * it is possible to fetch more data in a type-dependent way. */ privdata[0] = keys; privdata[1] = o; do { cursor = dictScan(ht, cursor, scanCallback, NULL, privdata); } while (cursor && maxiterations-- && listLength(keys) < (unsigned long)count); } else if (o->type == OBJ_SET) { int pos = 0; int64_t ll; while(intsetGet(o->ptr,pos++,&ll)) listAddNodeTail(keys,createStringObjectFromLongLong(ll)); cursor = 0; } else if (o->type == OBJ_HASH || o->type == OBJ_ZSET) { unsigned char *p = ziplistIndex(o->ptr,0); unsigned char *vstr; unsigned int vlen; long long vll; while(p) { ziplistGet(p,&vstr,&vlen,&vll); listAddNodeTail(keys, (vstr != NULL) ? createStringObject((char*)vstr,vlen) : createStringObjectFromLongLong(vll)); p = ziplistNext(o->ptr,p); } cursor = 0; } else { serverPanic("Not handled encoding in SCAN."); } /* Step 3: Filter elements. */ /* Step 4: Reply to the client. */}

Redis 命令 HGETALL 也是全量返回所有元素，其实现逻辑则相对简单：

void genericHgetallCommand(client *c, int flags) { robj *o; hashTypeIterator *hi; int multiplier = 0; int length, count = 0; if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.emptymultibulk)) == NULL || checkType(c,o,OBJ_HASH)) return; if (flags & OBJ_HASH_KEY) multiplier++; if (flags & OBJ_HASH_VALUE) multiplier++; length = hashTypeLength(o) * multiplier; addReplyMultiBulkLen(c, length); hi = hashTypeInitIterator(o); while (hashTypeNext(hi) != C_ERR) { if (flags & OBJ_HASH_KEY) { addHashIteratorCursorToReply(c, hi, OBJ_HASH_KEY); count++; } if (flags & OBJ_HASH_VALUE) { addHashIteratorCursorToReply(c, hi, OBJ_HASH_VALUE); count++; } } hashTypeReleaseIterator(hi); serverAssert(count == length);}

四、性能对比

对于全量返回 HASH 对象所有元素 KEY 和 VALUE 的场景，HGETALL 和 HSCAN 那个性能最好呢？

模拟创建一个包含 2000 个元素的 HASH 对象：

def init_hash_key(): """ 初始化一个包含2000个元素的HASH对象 """ hash_key = "test_hash_01" hash_item_count=2000 redis_conn = redis.Redis(connection_pool=redis_pool) redis_conn.delete(hash_key) for item_index in range(0, hash_item_count): hash_item_key = "test_42764865253_42764865253_572774616_" + str(item_index) hash_item_val = """ {"roomId":"42764865253","productId":507346697,"lastDate":"20220316","index":" """ \ + str(item_index) + """ "} """ redis_conn.hset( name=hash_key, key=hash_item_key, value=hash_item_val ) pass

然后采用10个进程(multiprocessing.Process)来进行 HGETALL 和 HSCAN 的测试：

def loop_hscan(loop_times=10000): hash_key = "test_hash_01" redis_conn = redis.Redis(connection_pool=redis_pool) for run_index in range(0, loop_times): redis_conn.hscan(name=hash_key, cursor=0, count=100, match="*") def loop_hgeall(loop_times=10000): hash_key = "test_hash_01" redis_conn = redis.Redis(connection_pool=redis_pool) for run_index in range(0, loop_times): redis_conn.hgetall(hash_key)

Redis 实例 CPU 使用率监控：

Redis 实例 QPS 监控：

压测服务器网络流量监控：

受限于测试服务器的千兆网卡限制，HGETALL 和 HSCAN 的测试最高 QPS 达到 410。

对比 10 个并发的压测结果可发现：

• 对于单次请求操作的请求耗时，HGETALL 命令远低于 HSCAN 命令。

对比 20 个并发压测结果可发现：

• 对于相同 QPS 产生的 Redis 服务器网络带宽，HGETALL 命令和 HSCAN 命令基本相同(因为返回的数据基本相同)。

• 对于相同 QPS 产生的 Redis 服务器 CPU 资源，HGETALL 命令(33%)约占HSCAN命令(67%)的一半。

五、优化建议

对于编码类型为 IntSet 和 ZipList 的 Redis 集合对象，在执行 HSCAN 命令是会忽略 COUNT 参数并遍历所有元素，当 Redis 集合对象元素较多时会严重消耗 Redis 服务器的 CPU 资源，对于需要全量返回所有元素的场景，可以使用 HGETALL 命令替换 HSCAN 命令，但对于需要过滤部分元素的场景，HSCAN 命令能在 Redis 服务器端进行过滤以降低应用服务器和 Redis 服务器之间的网络带宽消耗。

虽然可以通过参数来控制 Redis 各种类型的编码方式，将 Redis 集合对象的编码类型从 IntSet 和 ZipList 转换为 HshTable 或 SkipList，以避免 HSCAN 命令全量扫描集合对象的所有元素，建议谨慎调整此类参数设置避免引发其他如内存使用率上涨等问题。

在实际业务场景中应尽量避免使用 HSCAN 和 HGETALL 等命令，尤其是使用这些命令操作超大 Redis 集合对象并高频执行，应从业务角度评估其实现合理性，并通过改写业务逻辑/增加前端缓存/使用数据压缩等方式来降低 Redis 服务器端请求压力。

End