mycat系列-全局序列号

全局序列号介绍

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat 提供了全局sequence，并且提供了包含本地配置和数据库配置等多种实现方式。

本地文件方式

原理：此方式MyCAT将sequence配置到文件中，当使用到sequence中的配置后，MyCAT会更下classpath中的sequence_conf.properties文件中

sequence当前的值。

配置方式：

在sequence_conf.properties文件中做如下配置：

GLOBAL_SEQ.HISIDS=

GLOBAL_SEQ.MINID=1001

GLOBAL_SEQ.MAXID=1000000000

GLOBAL_SEQ.CURID=1000

其中HISIDS表示使用过的历史分段(一般无特殊需要可不配置)，MINID表示最小ID值，MAXID表示最大ID值，CURID表示当前ID值。

server.xml中配置：

<system><property name="sequnceHandlerType">0</property></system> 

注：sequnceHandlerType需要配置为0，表示使用本地文件方式。

使用示例：

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);

缺点：当MyCAT重新发布后，配置文件中的sequence会恢复到初始值。

优点：本地加载，读取速度较快。

数据库方式

原理

在数据库中建立一张表，存放sequence名称(name)，sequence当前值(current_value)，步长(increment int类型每次读取多少个sequence，假设为K)等信息；

Sequence获取步骤：

1).当初次使用该sequence时，根据传入的sequence名称，从数据库这张表中读取current_value，和increment到MyCat中，并将数据库中的current_value设置为原current_value值+increment值；

2）.MyCat将读取到current_value+increment作为本次要使用的sequence值，下次使用时，自动加1，当使用increment次后，执行步骤1)相同的操作.

MyCat负责维护这张表，用到哪些sequence，只需要在这张表中插入一条记录即可。若某次读取的sequence没有用完，系统就停掉了，则这次读取的sequence剩余值不会再使用。

配置方式：

server.xml配置：

<system><property name="sequnceHandlerType">1</property></system>

注：sequnceHandlerType 需要配置为1，表示使用数据库方式生成sequence.

数据库配置：

1) 创建MYCAT_SEQUENCE表

– 创建存放sequence的表

DROP TABLE IF EXISTS MYCAT_SEQUENCE;

– name sequence名称

– current_value 当前value

– increment 增长步长! 可理解为mycat在数据库中一次读取多少个sequence. 当这些用完后, 下次再从数据库中读取.

CREATE TABLE MYCAT_SEQUENCE (name VARCHAR(50) NOT NULL,current_value INT NOT NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name)) ENGINE=InnoDB;

– 插入一条sequence

INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (‘GLOBAL’, 100000, 100);

2) 创建相关function

– 获取当前sequence的值 (返回当前值,增量)

DROP FUNCTION IF EXISTS mycat_seq_currval;

DELIMITER

CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

DECLARE retval VARCHAR(64);

SET retval=“-999999999,null”;

SELECT concat(CAST(current_value AS CHAR),“,”,CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;

RETURN retval;

END

DELIMITER;

– 设置sequence值

DROP FUNCTION IF EXISTS mycat_seq_setval;

DELIMITER

CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

UPDATE MYCAT_SEQUENCE

SET current_value = value

WHERE name = seq_name;

RETURN mycat_seq_currval(seq_name);

END

DELIMITER;

– 获取下一个sequence值

DROP FUNCTION IF EXISTS mycat_seq_nextval;

DELIMITER

CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

UPDATE MYCAT_SEQUENCE

SET current_value = current_value + increment WHERE name = seq_name;

RETURN mycat_seq_currval(seq_name);

END

DELIMITER;

3) sequence_db_conf.properties相关配置,指定sequence相关配置在哪个节点上：

例如：  

USER_SEQ=test_dn1

注意：MYCAT_SEQUENCE表和以上的3个function，需要放在同一个节点上。function请直接在具体节点的数据库上执行，如果执行的时候报：

you might want to use the less safe log_bin_trust_function_creators variable

需要对数据库做如下设置：

windows下my.ini[mysqld]加上log_bin_trust_function_creators=1

linux下/etc/my.cnf下my.ini[mysqld]加上log_bin_trust_function_creators=1

修改完后，即可在mysql数据库中执行上面的函数.

使用示例：

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);

本地时间戳方式

ID=  64位二进制  (42(毫秒)+5(机器ID)+5(业务编码)+12(重复累加)

换算成十进制为18位数的long类型，每毫秒可以并发12位二进制的累加。

使用方式：

a.  配置server.xml

<property name="sequnceHandlerType">2</property>

b.    在mycat下配置：sequence_time_conf.properties

           WORKID=0-31 任意整数

           DATAACENTERID=0-31 任意整数

多个个mycat节点下每个mycat配置的 WORKID，DATAACENTERID不同，组成唯一标识，总共支持32*32=1024种组合。

ID示例：56763083475511

其他方式

1)使用catelet注解方式

/*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘GLOBAL’,100);

注：此方法表示获取GLOBAL的100个sequence值，例如当前GLOBAL的最大sequence值为5000，则通过此方式返回的是5001，同时更新数据库中的BLOBAL的最大sequence值为5100.

2)利用zookeeper方式实现

……

自增长主键

MyCAT自增长主键和返回生成主键ID的实现

说明：

1) mysql本身对非自增长主键，使用last_insert_id()是不会返回结果的，只会返回0；

2) mysql只会对定义自增长主键，可以用last_insert_id()返回主键值；

MyCAT目前提供了自增长主键功能，但是如果对应的mysql节点上数据表，没有定义auto_increment，

那么在MyCAT层调用last_insert_id()也是不会返回结果的。

正确配置方式如下：

1) mysql定义自增主键

CREATE TABLE table1(

‘id_’ INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,

‘name_’ INT(10) UNSIGNED NOT NULL,

PRIMARY KEY (‘id_’)

) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

2) mycat定义主键自增

3) mycat对应sequence_db_conf.properties增加相应设置

TABLE1=dn1

4) 在数据库中mycat_sequence表中增加TABLE1表的sequence记录

测试使用：

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t1’);

Query OK, 1 row affected (0.14 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 100 |

+——————+

1 row in set (0.01 sec)

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t2’);

Query OK, 1 row affected (0.00 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 101 |

+——————+

1 row in set (0.00 sec)

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t3’);

Query OK, 1 row affected (0.00 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 102 |

+——————+

1 row in set (0.00 sec)

Myibatis中新增记录后获取last_insert_id的示例：