查看原文
其他

Springboot整合多数据源以及多数据源中的事务处理(附源码)

MarkerHub 2022-11-04

小Hub领读:

多数据源,分布式事务jta,是不是都是想学的东西,哈哈~


作者:小小的bug

链接:https://www.jianshu.com/p/2014d9a7b41d

前言

本篇文章主要介绍的是springboot整合多数据源以及多数据源事务处理。\ 多数据源就是在同一个项目中连接多个数据库,使用多个数据库可能是由于业务量扩大进行数据库拆分,也可能是根据项目实际情况需要连接多个数据库。比如我之前有个项目,需要访问一个已有的数据库进行查询操作,但不能修改,还需要新建数据库表进行其他的业务处理,这时就需要使用多数据源。

GitHub源码链接位于文章底部。

创建数据库

创建member数据库,添加一张user表,字段为id主键自增,name,age;\ 创建order数据库,添加一张order表,字段为id主键自增,number;

工程结构

先来看一下工程结构,这里的demo使用会员数据库和订单数据库,建立member和order相关包和类。

引入依赖

在pom文件中引入依赖,这里持久层框架使用的是mybatis,数据库引擎是mysql。不过oracle也适用。

  1. <parent>

  2. <groupId>org.springframework.boot</groupId>

  3. <artifactId>spring-boot-starter-parent</artifactId>

  4. <version>2.1.3.RELEASE</version>

  5. </parent>


  6. <dependencies>

  7. <dependency>

  8. <groupId>org.springframework.boot</groupId>

  9. <artifactId>spring-boot-starter-web</artifactId>

  10. </dependency>

  11. <!-- MySQL 连接驱动依赖 -->

  12. <dependency>

  13. <groupId>mysql</groupId>

  14. <artifactId>mysql-connector-java</artifactId>

  15. <version>5.1.39</version>

  16. </dependency>

  17. <dependency>

  18. <groupId>org.mybatis.spring.boot</groupId>

  19. <artifactId>mybatis-spring-boot-starter</artifactId>

  20. <version>1.3.2</version>

  21. </dependency>

  22. </dependencies>

yml配置

在application.yml中进行数据源配置

  1. server:

  2. port: 8080

  3. spring:

  4. datasource:

  5. member:

  6. jdbc-url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8

  7. username: root

  8. password: root

  9. driver-class-name: com.mysql.jdbc.Driver

  10. order:

  11. jdbc-url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8

  12. username: root

  13. password: root

  14. driver-class-name: com.mysql.jdbc.Driver

这里数据源的url的key是'jdbc-url',在多数据源的情况下,使用'url'作为key会报错,这是它本身的一个bug。

数据源配置类

在config目录中创建member文件夹,在member文件夹中创建MemberDatasourceConfig进行数据源配置。

  1. @Configuration

  2. @MapperScan(value = "com.lxg.mapper.member",sqlSessionTemplateRef = "memberSqlSessionTemplate")

  3. public class MemberDatasourceConfig {

  4. /**

  5. * 创建DataSource

  6. * @return

  7. */

  8. @Bean("memberDataSource")

  9. @ConfigurationProperties(prefix = "spring.datasource.member")

  10. public DataSource memberDataSource(){

  11. return DataSourceBuilder.create().build();

  12. }


  13. /**

  14. * 创建sqlSessionFactory

  15. * @param dataSource

  16. * @return

  17. * @throws Exception

  18. */

  19. @Bean(name = "memberSqlSessionFactory")

  20. public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {

  21. SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();

  22. sqlSessionFactoryBean.setDataSource(dataSource);

  23. return sqlSessionFactoryBean.getObject();

  24. }


  25. /**

  26. * 创建事务管理器

  27. * @param dataSource

  28. * @return

  29. */

  30. @Bean(name = "memberTransactionManager")

  31. public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {

  32. return new DataSourceTransactionManager(dataSource);

  33. }


  34. /**

  35. * 创建sqlSession模板

  36. * @param sqlSessionFactory

  37. * @return

  38. */

  39. @Bean(name = "memberSqlSessionTemplate")

  40. public SqlSessionTemplate memberSqlSessionTemplate(@Qualifier("memberSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {

  41. return new SqlSessionTemplate(sqlSessionFactory);

  42. }

  43. }

在config目录中创建order文件夹,在order文件夹中创建OrderDatasourceConfig进行数据源配置。

  1. @Configuration

  2. @MapperScan(value = "com.lxg.mapper.order",sqlSessionTemplateRef = "orderSqlSessionTemplate")

  3. public class OrderDatasourceConfig {

  4. /**

  5. * 创建DataSource

  6. * @return

  7. */

  8. @Bean("orderDataSource")

  9. @ConfigurationProperties(prefix = "spring.datasource.order")

  10. public DataSource orderDataSource(){

  11. return DataSourceBuilder.create().build();

  12. }


  13. /**

  14. * 创建sqlSessionFactory

  15. * @param dataSource

  16. * @return

  17. * @throws Exception

  18. */

  19. @Bean(name = "orderSqlSessionFactory")

  20. public SqlSessionFactory orderSqlSessionFactory(@Qualifier("orderDataSource") DataSource dataSource) throws Exception {

  21. SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();

  22. sqlSessionFactoryBean.setDataSource(dataSource);

  23. return sqlSessionFactoryBean.getObject();

  24. }


  25. /**

  26. * 创建事务管理器

  27. * @param dataSource

  28. * @return

  29. */

  30. @Bean(name = "orderTransactionManager")

  31. public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {

  32. return new DataSourceTransactionManager(dataSource);

  33. }


  34. /**

  35. * 创建sqlSession模板

  36. * @param sqlSessionFactory

  37. * @return

  38. */

  39. @Bean(name = "orderSqlSessionTemplate")

  40. public SqlSessionTemplate orderSqlSessionTemplate(@Qualifier("orderSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {

  41. return new SqlSessionTemplate(sqlSessionFactory);

  42. }

  43. }

SpringBoot2.0以前需要在方法上加Primary注解,来判断默认的数据库连接。\ Configuration注解定义当前类为配置类,相当于xml,配合Bean注解将方法注入到spring容器中。\ MapperScan注解定义了持久层的扫包范围,并且指定这个包配置的是哪个数据源。\ ConfigurationProperties注解是springboot的注解,它指定了使用application.yml文件中哪个数据源的配置。

Mapper层

在mapper目录下创建member文件夹,在member文件夹中创建MemberMapper.java,添加一条插入语句。

  1. @Repository

  2. public interface MemberMapper {

  3. /**

  4. * 添加会员

  5. * @param name 姓名

  6. * @param age 年龄

  7. * @return

  8. */

  9. @Insert("insert into user values(null,#{name},#{age});")

  10. public int addUser(@Param("name") String name, @Param("age") Integer age);

  11. }

在mapper目录下创建order文件夹,在order文件夹中创建MemberMapper.java,添加一条插入语句。

  1. @Repository

  2. public interface OrderMapper {

  3. /**

  4. * 添加订单

  5. * @param number 数量

  6. * @return

  7. */

  8. @Insert("insert into `order` values(null,#{number});")

  9. public int addOrder(@Param("number") Integer number);

  10. }

这里的order表名因为是数据库关键字,需要使用``符号,(英文输入法下键盘上tab键上面那个按)键进行引用,否则会报错。

controller层

在controller层中新建MultiDatasourceController

  1. @RestController

  2. public class MultiDatasourceController {

  3. @Autowired

  4. private MemberMapper memberMapper;

  5. @Autowired

  6. private OrderMapper orderMapper;


  7. /**

  8. * 调用member数据库

  9. * @param name

  10. * @param age

  11. * @return

  12. */

  13. @Transactional(rollbackFor = Exception.class,transactionManager = "memberTransactionManager")

  14. @RequestMapping("/addUser")

  15. public String addUser(String name, Integer age) {

  16. return memberMapper.addUser(name, age)>0?"success":"fail";

  17. }


  18. /**

  19. * 调用order数据库

  20. * @param number

  21. * @return

  22. */

  23. @Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")

  24. @RequestMapping("/addOrder")

  25. public String addOrder(Integer number) {

  26. int i = 10 / number;

  27. return orderMapper.addOrder(number)>0?"success":"fail";

  28. }

  29. }

方法上添加Transactional注解,进行事务管理,指定事务管理器,就是我们之前在config中配置的。\ 这样的话比如addOrder中,如果输入的参数number为0,就会失败回滚。\ 在浏览器中分别访问这两个接口,就可以看到两个数据库中的分别插入数据了。\ order数据库

image

image

member数据库

image

image

多数据源事务处理

但是上面这种事务处理还是单数据源的处理方式,如果两个数据源在同一个事务中时,就无法完全回滚了。

  1. @Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")

  2. @RequestMapping("/addOrderAndMember")

  3. public String addOrderAndMember(String name, Integer age,Integer number) {

  4. int i = memberMapper.addUser(name, age);

  5. int j = orderMapper.addOrder(number);

  6. int x = 10 / number;

  7. return j >0?"success":"fail";

  8. }

比如这一段代码,因为指定的事务管理器是orderTransactionManager,所以 即使number为0的时候, memberMapper.addUser(name,age);这一段数据库操作是不会回滚的。\ 这里需要使用jta-atomikos进行事务管理。\ pom中引入jta-atomikos依赖:

  1. <dependency>

  2. <groupId>org.springframework.boot</groupId>

  3. <artifactId>spring-boot-starter-jta-atomikos</artifactId>

  4. </dependency>

修改application.yml文件,添加一些配置,注意,这里的数据库地址的key是'url',不然会报空指针。

  1. server:

  2. port: 8080

  3. spring:

  4. datasource:

  5. member:

  6. url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8

  7. username: root

  8. password: root

  9. driver-class-name: com.mysql.jdbc.Driver

  10. borrowConnectionTimeout: 30

  11. loginTimeout: 30

  12. maintenanceInterval: 60

  13. maxIdleTime: 60

  14. maxLifetime: 20000

  15. maxPoolSize: 25

  16. minPoolSize: 3

  17. uniqueResourceName: memberDataSource

  18. order:

  19. url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8

  20. username: root

  21. password: root

  22. driver-class-name: com.mysql.jdbc.Driver

  23. borrowConnectionTimeout: 30

  24. loginTimeout: 30

  25. maintenanceInterval: 60

  26. maxIdleTime: 60

  27. maxLifetime: 20000

  28. maxPoolSize: 25

  29. minPoolSize: 3

  30. uniqueResourceName: orderDataSource

在config/member中添加MemberConfig配置类,属性与yml中的数据源配置是一致的

  1. @Data

  2. @ConfigurationProperties(prefix = "spring.datasource.member")

  3. public class MemberConfig {

  4. private String url;

  5. private String username;

  6. private String password;

  7. private int minPoolSize;

  8. private int maxPoolSize;

  9. private int maxLifetime;

  10. private int borrowConnectionTimeout;

  11. private int loginTimeout;

  12. private int maintenanceInterval;

  13. private int maxIdleTime;

  14. private String testQuery;

  15. private String uniqueResourceName;

  16. }

在config/order中添加OrderConfig配置类,属性与yml中的数据源配置是一致的

  1. @Data

  2. @ConfigurationProperties(prefix = "spring.datasource.order")

  3. public class OrderConfig {

  4. private String url;

  5. private String username;

  6. private String password;

  7. private int minPoolSize;

  8. private int maxPoolSize;

  9. private int maxLifetime;

  10. private int borrowConnectionTimeout;

  11. private int loginTimeout;

  12. private int maintenanceInterval;

  13. private int maxIdleTime;

  14. private String testQuery;

  15. private String uniqueResourceName;

  16. }

Data注解提供get/set方法。\ ConfigurationProperties注解负责解析对应属性在yml文件的前缀。

修改创建memberDataSource的方法,这里memberConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到MemberConfig里了。

  1. @Bean("memberDataSource")

  2. public DataSource memberDataSource(MemberConfig memberConfig) throws SQLException {

  3. System.out.println(memberConfig);

  4. MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();

  5. mysqlXaDataSource.setUrl(memberConfig.getUrl());

  6. mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);

  7. mysqlXaDataSource.setPassword(memberConfig.getPassword());

  8. mysqlXaDataSource.setUser(memberConfig.getUsername());

  9. mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);

  10. //注册到全局事务

  11. AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();

  12. xaDataSource.setXaDataSource(mysqlXaDataSource);

  13. xaDataSource.setUniqueResourceName(memberConfig.getUniqueResourceName());

  14. xaDataSource.setMinPoolSize(memberConfig.getMinPoolSize());

  15. xaDataSource.setMaxPoolSize(memberConfig.getMaxPoolSize());

  16. xaDataSource.setMaxLifetime(memberConfig.getMaxLifetime());

  17. xaDataSource.setBorrowConnectionTimeout(memberConfig.getBorrowConnectionTimeout());

  18. xaDataSource.setLoginTimeout(memberConfig.getLoginTimeout());

  19. xaDataSource.setMaintenanceInterval(memberConfig.getMaintenanceInterval());

  20. xaDataSource.setMaxIdleTime(memberConfig.getMaxIdleTime());

  21. xaDataSource.setTestQuery(memberConfig.getTestQuery());

  22. return xaDataSource;

  23. }

之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:

  1. /**

  2. * 创建事务管理器

  3. * @param dataSource

  4. * @return

  5. */

  6. @Bean(name = "memberTransactionManager")

  7. public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {

  8. return new DataSourceTransactionManager(dataSource);

  9. }

修改创建orderDataSource的方法,这里orderConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到OrderConfig里了。

  1. @Bean("orderDataSource")

  2. public DataSource orderDataSource(OrderConfig orderConfig) throws SQLException {

  3. System.out.println(orderConfig);

  4. MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();

  5. mysqlXaDataSource.setUrl(orderConfig.getUrl());

  6. mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);

  7. mysqlXaDataSource.setPassword(orderConfig.getPassword());

  8. mysqlXaDataSource.setUser(orderConfig.getUsername());

  9. mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);


  10. //注册到全局事务

  11. AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();

  12. xaDataSource.setXaDataSource(mysqlXaDataSource);

  13. xaDataSource.setUniqueResourceName(orderConfig.getUniqueResourceName());

  14. xaDataSource.setMinPoolSize(orderConfig.getMinPoolSize());

  15. xaDataSource.setMaxPoolSize(orderConfig.getMaxPoolSize());

  16. xaDataSource.setMaxLifetime(orderConfig.getMaxLifetime());

  17. xaDataSource.setBorrowConnectionTimeout(orderConfig.getBorrowConnectionTimeout());

  18. xaDataSource.setLoginTimeout(orderConfig.getLoginTimeout());

  19. xaDataSource.setMaintenanceInterval(orderConfig.getMaintenanceInterval());

  20. xaDataSource.setMaxIdleTime(orderConfig.getMaxIdleTime());

  21. xaDataSource.setTestQuery(orderConfig.getTestQuery());

  22. return xaDataSource;

  23. }

之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:

  1. /**

  2. * 创建事务管理器

  3. * @param dataSource

  4. * @return

  5. */

  6. @Bean(name = "orderTransactionManager")

  7. public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {

  8. return new DataSourceTransactionManager(dataSource);

  9. }

Transactional注解的transactionManager属性需要删除,因为不需要指定事务管理器了,统一为xa事务管理器。

在启动类中添加EnableConfigurationProperties注解,解决之前提到的配置类报红显示无法注入的问题。

  1. @SpringBootApplication

  2. @EnableConfigurationProperties({MemberConfig.class, OrderConfig.class})

  3. public class MultiDatasourceApplication {

  4. public static void main(String[] args) {

  5. SpringApplication.run(MultiDatasourceApplication.class);

  6. }

  7. }

此时调用这个接口,如果number为0,报了异常,两个添加方法都会回滚了。

  1. @Transactional(rollbackFor = Exception.class )

  2. @RequestMapping("/addOrderAndMember")

  3. public String addOrderAndMember(String name, Integer age,Integer number) {

  4. int i = memberMapper.addUser(name, age);

  5. int j = orderMapper.addOrder(number);

  6. int x = 10 / number;

  7. return j >0?"success":"fail";

  8. }

注意:\ 如果这里的整合了mybatis-plus,需要修改sqlSessionFactory为mybatis-plus的MybatisSqlSessionFactoryBean。并且整合多数据源后,mybatis-plus的分页会出现问题,mybatis-plus的TableLogic逻辑删除注解也会出现问题,需要重新加载分页插件和逻辑删除插件,即MemberDatasourceConfig和OrderDatasourceConfig中的sqlSessionFactory应该修改为

  1. /**

  2. * 创建sqlSessionFactory

  3. * @param dataSource

  4. * @return

  5. * @throws Exception

  6. */

  7. @Bean(name = "memberSqlSessionFactory")

  8. public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {

  9. //逻辑删除 如果值为1,表示已经删除,如果为0,表示未删除

  10. GlobalConfiguration globalConfig = new GlobalConfiguration();

  11. globalConfig.setLogicDeleteValue("1");

  12. globalConfig.setLogicNotDeleteValue("0");

  13. globalConfig.setSqlInjector(new LogicSqlInjector());

  14. //分页插件

  15. MybatisConfiguration configuration = new MybatisConfiguration();

  16. configuration.addInterceptor(new PaginationInterceptor());


  17. MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();

  18. sqlSessionFactoryBean.setDataSource(dataSource);

  19. sqlSessionFactoryBean.setConfiguration(configuration);

  20. sqlSessionFactoryBean.setGlobalConfig(globalConfig);

  21. return sqlSessionFactoryBean.getObject();

  22. }

如果任使用mybatis的SqlSessionFactoryBean,当调用BaseMapper的方法时,会报Invalid bound statement (not found)异常。

设置日志文件目录

在yml文件中添加配置

  1. spring:

  2. jta:

  3. log-dir: /logs

本文GitHub源码:https://github.com/lixianguo5097/springboot/tree/master/springboot-multiDatasource

(完)

MarkerHub文章索引:(点击阅读原文直达)

https://github.com/MarkerHub/JavaIndex


【推荐阅读】

基于消息中间件RabbitMQ实现简单的RPC服务

【项目实践】SpringBoot三招组合拳,手把手教你打出优雅的后端接口

使用spring boot+WebSocket 实现定时消息推送(基于注解)

自定义Freemaker标签实现博客首页数据填充





好文!必须点赞

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存