Springboot整合多数据源以及多数据源中的事务处理(附源码)
小Hub领读:
多数据源,分布式事务jta,是不是都是想学的东西,哈哈~
作者:小小的bug
链接:https://www.jianshu.com/p/2014d9a7b41d
前言
本篇文章主要介绍的是springboot整合多数据源以及多数据源事务处理。\ 多数据源就是在同一个项目中连接多个数据库,使用多个数据库可能是由于业务量扩大进行数据库拆分,也可能是根据项目实际情况需要连接多个数据库。比如我之前有个项目,需要访问一个已有的数据库进行查询操作,但不能修改,还需要新建数据库表进行其他的业务处理,这时就需要使用多数据源。
GitHub源码链接位于文章底部。
创建数据库
创建member数据库,添加一张user表,字段为id主键自增,name,age;\ 创建order数据库,添加一张order表,字段为id主键自增,number;
工程结构
先来看一下工程结构,这里的demo使用会员数据库和订单数据库,建立member和order相关包和类。
引入依赖
在pom文件中引入依赖,这里持久层框架使用的是mybatis,数据库引擎是mysql。不过oracle也适用。
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.3.RELEASE</version>
</parent>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<!-- MySQL 连接驱动依赖 -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.39</version>
</dependency>
<dependency>
<groupId>org.mybatis.spring.boot</groupId>
<artifactId>mybatis-spring-boot-starter</artifactId>
<version>1.3.2</version>
</dependency>
</dependencies>
yml配置
在application.yml中进行数据源配置
server:
port: 8080
spring:
datasource:
member:
jdbc-url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
order:
jdbc-url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
这里数据源的url的key是'jdbc-url',在多数据源的情况下,使用'url'作为key会报错,这是它本身的一个bug。
数据源配置类
在config目录中创建member文件夹,在member文件夹中创建MemberDatasourceConfig进行数据源配置。
@Configuration
@MapperScan(value = "com.lxg.mapper.member",sqlSessionTemplateRef = "memberSqlSessionTemplate")
public class MemberDatasourceConfig {
/**
* 创建DataSource
* @return
*/
@Bean("memberDataSource")
@ConfigurationProperties(prefix = "spring.datasource.member")
public DataSource memberDataSource(){
return DataSourceBuilder.create().build();
}
/**
* 创建sqlSessionFactory
* @param dataSource
* @return
* @throws Exception
*/
@Bean(name = "memberSqlSessionFactory")
public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {
SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
sqlSessionFactoryBean.setDataSource(dataSource);
return sqlSessionFactoryBean.getObject();
}
/**
* 创建事务管理器
* @param dataSource
* @return
*/
@Bean(name = "memberTransactionManager")
public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
/**
* 创建sqlSession模板
* @param sqlSessionFactory
* @return
*/
@Bean(name = "memberSqlSessionTemplate")
public SqlSessionTemplate memberSqlSessionTemplate(@Qualifier("memberSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
return new SqlSessionTemplate(sqlSessionFactory);
}
}
在config目录中创建order文件夹,在order文件夹中创建OrderDatasourceConfig进行数据源配置。
@Configuration
@MapperScan(value = "com.lxg.mapper.order",sqlSessionTemplateRef = "orderSqlSessionTemplate")
public class OrderDatasourceConfig {
/**
* 创建DataSource
* @return
*/
@Bean("orderDataSource")
@ConfigurationProperties(prefix = "spring.datasource.order")
public DataSource orderDataSource(){
return DataSourceBuilder.create().build();
}
/**
* 创建sqlSessionFactory
* @param dataSource
* @return
* @throws Exception
*/
@Bean(name = "orderSqlSessionFactory")
public SqlSessionFactory orderSqlSessionFactory(@Qualifier("orderDataSource") DataSource dataSource) throws Exception {
SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
sqlSessionFactoryBean.setDataSource(dataSource);
return sqlSessionFactoryBean.getObject();
}
/**
* 创建事务管理器
* @param dataSource
* @return
*/
@Bean(name = "orderTransactionManager")
public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
/**
* 创建sqlSession模板
* @param sqlSessionFactory
* @return
*/
@Bean(name = "orderSqlSessionTemplate")
public SqlSessionTemplate orderSqlSessionTemplate(@Qualifier("orderSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
return new SqlSessionTemplate(sqlSessionFactory);
}
}
SpringBoot2.0以前需要在方法上加Primary注解,来判断默认的数据库连接。\ Configuration注解定义当前类为配置类,相当于xml,配合Bean注解将方法注入到spring容器中。\ MapperScan注解定义了持久层的扫包范围,并且指定这个包配置的是哪个数据源。\ ConfigurationProperties注解是springboot的注解,它指定了使用application.yml文件中哪个数据源的配置。
Mapper层
在mapper目录下创建member文件夹,在member文件夹中创建MemberMapper.java,添加一条插入语句。
@Repository
public interface MemberMapper {
/**
* 添加会员
* @param name 姓名
* @param age 年龄
* @return
*/
@Insert("insert into user values(null,#{name},#{age});")
public int addUser(@Param("name") String name, @Param("age") Integer age);
}
在mapper目录下创建order文件夹,在order文件夹中创建MemberMapper.java,添加一条插入语句。
@Repository
public interface OrderMapper {
/**
* 添加订单
* @param number 数量
* @return
*/
@Insert("insert into `order` values(null,#{number});")
public int addOrder(@Param("number") Integer number);
}
这里的order表名因为是数据库关键字,需要使用``符号,(英文输入法下键盘上tab键上面那个按)键进行引用,否则会报错。
controller层
在controller层中新建MultiDatasourceController
@RestController
public class MultiDatasourceController {
@Autowired
private MemberMapper memberMapper;
@Autowired
private OrderMapper orderMapper;
/**
* 调用member数据库
* @param name
* @param age
* @return
*/
@Transactional(rollbackFor = Exception.class,transactionManager = "memberTransactionManager")
@RequestMapping("/addUser")
public String addUser(String name, Integer age) {
return memberMapper.addUser(name, age)>0?"success":"fail";
}
/**
* 调用order数据库
* @param number
* @return
*/
@Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")
@RequestMapping("/addOrder")
public String addOrder(Integer number) {
int i = 10 / number;
return orderMapper.addOrder(number)>0?"success":"fail";
}
}
方法上添加Transactional注解,进行事务管理,指定事务管理器,就是我们之前在config中配置的。\ 这样的话比如addOrder中,如果输入的参数number为0,就会失败回滚。\ 在浏览器中分别访问这两个接口,就可以看到两个数据库中的分别插入数据了。\ order数据库
image
image
member数据库
image
image
多数据源事务处理
但是上面这种事务处理还是单数据源的处理方式,如果两个数据源在同一个事务中时,就无法完全回滚了。
@Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")
@RequestMapping("/addOrderAndMember")
public String addOrderAndMember(String name, Integer age,Integer number) {
int i = memberMapper.addUser(name, age);
int j = orderMapper.addOrder(number);
int x = 10 / number;
return j >0?"success":"fail";
}
比如这一段代码,因为指定的事务管理器是orderTransactionManager,所以 即使number为0的时候, memberMapper.addUser(name,age);
这一段数据库操作是不会回滚的。\ 这里需要使用jta-atomikos进行事务管理。\ pom中引入jta-atomikos依赖:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-jta-atomikos</artifactId>
</dependency>
修改application.yml文件,添加一些配置,注意,这里的数据库地址的key是'url',不然会报空指针。
server:
port: 8080
spring:
datasource:
member:
url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
borrowConnectionTimeout: 30
loginTimeout: 30
maintenanceInterval: 60
maxIdleTime: 60
maxLifetime: 20000
maxPoolSize: 25
minPoolSize: 3
uniqueResourceName: memberDataSource
order:
url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8
username: root
password: root
driver-class-name: com.mysql.jdbc.Driver
borrowConnectionTimeout: 30
loginTimeout: 30
maintenanceInterval: 60
maxIdleTime: 60
maxLifetime: 20000
maxPoolSize: 25
minPoolSize: 3
uniqueResourceName: orderDataSource
在config/member中添加MemberConfig配置类,属性与yml中的数据源配置是一致的
@Data
@ConfigurationProperties(prefix = "spring.datasource.member")
public class MemberConfig {
private String url;
private String username;
private String password;
private int minPoolSize;
private int maxPoolSize;
private int maxLifetime;
private int borrowConnectionTimeout;
private int loginTimeout;
private int maintenanceInterval;
private int maxIdleTime;
private String testQuery;
private String uniqueResourceName;
}
在config/order中添加OrderConfig配置类,属性与yml中的数据源配置是一致的
@Data
@ConfigurationProperties(prefix = "spring.datasource.order")
public class OrderConfig {
private String url;
private String username;
private String password;
private int minPoolSize;
private int maxPoolSize;
private int maxLifetime;
private int borrowConnectionTimeout;
private int loginTimeout;
private int maintenanceInterval;
private int maxIdleTime;
private String testQuery;
private String uniqueResourceName;
}
Data注解提供get/set方法。\ ConfigurationProperties注解负责解析对应属性在yml文件的前缀。
修改创建memberDataSource的方法,这里memberConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到MemberConfig里了。
@Bean("memberDataSource")
public DataSource memberDataSource(MemberConfig memberConfig) throws SQLException {
System.out.println(memberConfig);
MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();
mysqlXaDataSource.setUrl(memberConfig.getUrl());
mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
mysqlXaDataSource.setPassword(memberConfig.getPassword());
mysqlXaDataSource.setUser(memberConfig.getUsername());
mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
//注册到全局事务
AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();
xaDataSource.setXaDataSource(mysqlXaDataSource);
xaDataSource.setUniqueResourceName(memberConfig.getUniqueResourceName());
xaDataSource.setMinPoolSize(memberConfig.getMinPoolSize());
xaDataSource.setMaxPoolSize(memberConfig.getMaxPoolSize());
xaDataSource.setMaxLifetime(memberConfig.getMaxLifetime());
xaDataSource.setBorrowConnectionTimeout(memberConfig.getBorrowConnectionTimeout());
xaDataSource.setLoginTimeout(memberConfig.getLoginTimeout());
xaDataSource.setMaintenanceInterval(memberConfig.getMaintenanceInterval());
xaDataSource.setMaxIdleTime(memberConfig.getMaxIdleTime());
xaDataSource.setTestQuery(memberConfig.getTestQuery());
return xaDataSource;
}
之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:
/**
* 创建事务管理器
* @param dataSource
* @return
*/
@Bean(name = "memberTransactionManager")
public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
修改创建orderDataSource的方法,这里orderConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到OrderConfig里了。
@Bean("orderDataSource")
public DataSource orderDataSource(OrderConfig orderConfig) throws SQLException {
System.out.println(orderConfig);
MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();
mysqlXaDataSource.setUrl(orderConfig.getUrl());
mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
mysqlXaDataSource.setPassword(orderConfig.getPassword());
mysqlXaDataSource.setUser(orderConfig.getUsername());
mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
//注册到全局事务
AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();
xaDataSource.setXaDataSource(mysqlXaDataSource);
xaDataSource.setUniqueResourceName(orderConfig.getUniqueResourceName());
xaDataSource.setMinPoolSize(orderConfig.getMinPoolSize());
xaDataSource.setMaxPoolSize(orderConfig.getMaxPoolSize());
xaDataSource.setMaxLifetime(orderConfig.getMaxLifetime());
xaDataSource.setBorrowConnectionTimeout(orderConfig.getBorrowConnectionTimeout());
xaDataSource.setLoginTimeout(orderConfig.getLoginTimeout());
xaDataSource.setMaintenanceInterval(orderConfig.getMaintenanceInterval());
xaDataSource.setMaxIdleTime(orderConfig.getMaxIdleTime());
xaDataSource.setTestQuery(orderConfig.getTestQuery());
return xaDataSource;
}
之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:
/**
* 创建事务管理器
* @param dataSource
* @return
*/
@Bean(name = "orderTransactionManager")
public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {
return new DataSourceTransactionManager(dataSource);
}
Transactional注解的transactionManager属性需要删除,因为不需要指定事务管理器了,统一为xa事务管理器。
在启动类中添加EnableConfigurationProperties注解,解决之前提到的配置类报红显示无法注入的问题。
@SpringBootApplication
@EnableConfigurationProperties({MemberConfig.class, OrderConfig.class})
public class MultiDatasourceApplication {
public static void main(String[] args) {
SpringApplication.run(MultiDatasourceApplication.class);
}
}
此时调用这个接口,如果number为0,报了异常,两个添加方法都会回滚了。
@Transactional(rollbackFor = Exception.class )
@RequestMapping("/addOrderAndMember")
public String addOrderAndMember(String name, Integer age,Integer number) {
int i = memberMapper.addUser(name, age);
int j = orderMapper.addOrder(number);
int x = 10 / number;
return j >0?"success":"fail";
}
注意:\ 如果这里的整合了mybatis-plus,需要修改sqlSessionFactory为mybatis-plus的MybatisSqlSessionFactoryBean。并且整合多数据源后,mybatis-plus的分页会出现问题,mybatis-plus的TableLogic逻辑删除注解也会出现问题,需要重新加载分页插件和逻辑删除插件,即MemberDatasourceConfig和OrderDatasourceConfig中的sqlSessionFactory应该修改为
/**
* 创建sqlSessionFactory
* @param dataSource
* @return
* @throws Exception
*/
@Bean(name = "memberSqlSessionFactory")
public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {
//逻辑删除 如果值为1,表示已经删除,如果为0,表示未删除
GlobalConfiguration globalConfig = new GlobalConfiguration();
globalConfig.setLogicDeleteValue("1");
globalConfig.setLogicNotDeleteValue("0");
globalConfig.setSqlInjector(new LogicSqlInjector());
//分页插件
MybatisConfiguration configuration = new MybatisConfiguration();
configuration.addInterceptor(new PaginationInterceptor());
MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();
sqlSessionFactoryBean.setDataSource(dataSource);
sqlSessionFactoryBean.setConfiguration(configuration);
sqlSessionFactoryBean.setGlobalConfig(globalConfig);
return sqlSessionFactoryBean.getObject();
}
如果任使用mybatis的SqlSessionFactoryBean,当调用BaseMapper的方法时,会报Invalid bound statement (not found)异常。
设置日志文件目录
在yml文件中添加配置
spring:
jta:
log-dir: /logs
本文GitHub源码:https://github.com/lixianguo5097/springboot/tree/master/springboot-multiDatasource
(完)
MarkerHub文章索引:(点击阅读原文直达)
https://github.com/MarkerHub/JavaIndex
【推荐阅读】
【项目实践】SpringBoot三招组合拳,手把手教你打出优雅的后端接口
使用spring boot+WebSocket 实现定时消息推送(基于注解)