一个小改进，解决Redis数据在线加载大痛点

作者介绍

顾伟涛，曾任职于百度、奇虎360，现为杭州铭师堂教育资深DBA，擅长数据库监控、备份、高可用架构设计和自动化运维，对Redis和MongoDB方面有深入研究，关注分布式存储、大数据存储、消息队列、搜索引擎等后端技术。

前言

在使用Redis加载数据过程中存在一个问题，就是必须要重启Redis服务，如果是Redis主从复制架构，这样加载数据，是一件很麻烦的事情，笔者根据Redis启动时加载数据的思想，对Redis进行了改进，实现了在线加载数据，在这里和大家一起探讨下。

设计与实现

本文以Redis 3.0.7为例，根据Redis在启动过程中，加载数据的逻辑，为Redis增加了2个命令，分别为LOADAOF和LOADRDB，分别实现在线加载aof和rdb文件。

在执行 LOADAOF aofile时候，调用 loadAppendOnlyFile函数，加载aof文件数据。具体实现如下：

src/aof.c

新增如下函数：

void loadaofCommand(RedisClient *c) {

    if (server.rdb_child_pid != -1) {

        addReplyError(c,"Background save already in progress");

    } else if (server.aof_child_pid != -1) {

        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");

    } else if (c->argc != 2){

        addReply(c,shared.syntaxerr);

        return;

    } else if (loadAppendOnlyFile(c->argv[1]->ptr) == REDIS_OK) {

        addReplyStatus(c,"online loadaof started,Do not repeat!!!");

    } else {

        addReply(c,shared.err);

    }

}

在执行 LOADRDB <rdbfile>时候，调用函数rdbLoad，加载rdb文件。

src/rdb.c

新增如下函数：

void loadrdbCommand(RedisClient *c) {

    if (server.rdb_child_pid != -1) {

        addReplyError(c,"Background save already in progress");

    } else if (server.aof_child_pid != -1) {

        addReplyError(c,"Can't BGSAVE while AOF log rewriting is in progress");

    } else if (c->argc != 2){

        addReply(c,shared.syntaxerr);

        return;

    } else if (rdbLoad(c->argv[1]->ptr) == REDIS_OK) {

        addReplyStatus(c,"online loadrdb started,Do not repeat !!!");

    } else {

        addReply(c,shared.err);

    }

}

src/Redis.c

在函数 struct RedisCommand RedisCommandTable[]

新增如下一行：

    {"loadaof",loadaofCommand,2,"ar",0,NULL,0,0,0,0,0},

    {"loadrdb",loadrdbCommand,2,"ar",0,NULL,0,0,0,0,0},

src/Redis.h

在 void bgsaveCommand(RedisClient *c); 下面加入如下两行：

void loadrdbCommand(RedisClient *c);

void loadaofCommand(RedisClient *c);

src/help.h

在函数 struct commandHelp

新增如下内容：

  { "LOADAOF",

    "aof filename",

    "load aof file online",

    9,

    "3.0.7"},

    { "LOADRDB",

    "rdb filename",

    "load rdb file online,which can not repeat !!!",

    9,

    "3.0.7"}

编译Redis

cd Redis-3.0.7

make && make PREFIX=/usr/local/Redis30 install

测试结果

可以看出，不重启Redis，可以加载数据了。

应用场景

1、线上数据导入到测试Redis

一般开发由类似需求，用于分析问题和测试。

2、恢复数据

如果Redis出现误操作，可以执行在线加载数据，尤其是在sentinel(s)+Redis主从复制架构中，该方法更加渐变。

注意点

1、如果是Redis主从复制，在主库在线加载aofile/rdbfile时，从库上也需要存在这些文件，否则从库报错退出。

2、执行在线加载操作时候，同样的文件内容，不要重复执行，否则从库异常退出。

如果主库重复执行loadrdb <rdbfile>时候，主库也会异常退出。

该方案还存在着不足之处，在这里只做抛砖引玉，希望和大家一起探讨改进，便于DBA的快捷操作。

精选专题（官网：dbaplus.cn）

◆  近期热文  ◆  

◆  MVP专栏  ◆  

杨志洪丨杨建荣丨邹德裕丨韩锋丨欧阳辰

网易丨腾讯云丨百度丨朱祥磊丨卢钧轶

◆  近期活动  ◆  

上海数据库技术沙龙火热报名中