首页手记 ShardingJDBC分库分表配置入门教程

ShardingJDBC分库分表配置入门教程

标签：

Java 中间件数据库

概述

本文详细介绍了ShardingJDBC分库分表配置的基本概念、环境搭建、配置步骤及实战演练，帮助你轻松掌握分片技术。通过配置数据源和分片规则，可以实现数据的高效分布和管理。ShardingJDBC简化了开发流程，提高了系统的性能和可用性。

ShardingJDBC 分库分表配置入门教程

ShardingJDBC 简介

1.1 ShardingJDBC 的基本概念

ShardingJDBC 是一款开源的分布式数据库中间件，主要用于解决分布式数据库的分库分表后的数据访问问题。它主要由分片器（Sharding）、读写分离（MasterSlave）和数据加密（Encrypt）三部分组成，本文主要介绍 ShardingJDBC 的分片器部分。ShardingJDBC 提供了一种透明的数据分片解决方案，使得应用程序在访问数据库时，无需关心数据是如何分布的，从而极大地简化了应用程序的开发工作。

1.2 ShardingJDBC 的作用与优势

简化开发：开发者无需关心数据是如何分布的，只需要通过 ShardingJDBC 提供的 API 访问数据库即可。
高性能：ShardingJDBC 使用了高性能的 SQL 解析引擎和分布式事务管理，能够有效地提升查询速度。
易扩展：支持动态扩展数据库表和库，可以根据业务需求灵活调整分片策略。
易维护：分片的具体逻辑和策略可以独立于应用程序进行配置和调整，从而简化了数据库的维护工作。
高可用性：支持主从复制和读写分离，增强了系统的可用性和稳定性。

环境搭建

2.1 准备工作

在开始使用 ShardingJDBC 之前，需要确保安装了 JDK 和 Maven。此外，还需要安装数据库服务器，例如 MySQL 或 PostgreSQL。接下来，配置好数据库连接信息，确保能够顺利连接到数据库。

2.2 下载与安装 ShardingJDBC

你可以通过 Maven 仓库或者直接从 GitHub 下载 ShardingJDBC 源码并进行编译安装。以下是通过 Maven 引入 ShardingJDBC 依赖的方式：

<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.1.0</version>
</dependency>

确保在项目的 pom.xml 文件中添加了上述依赖，这样在构建项目时 Maven 会自动下载并安装 ShardingJDBC。

2.3 配置数据库环境

为了演示分库分表的功能，我们需要创建多个数据库和多个表。以下是创建数据库和表的 SQL 语句：

-- 创建数据库 db0
CREATE DATABASE db0;
-- 创建数据库 db1
CREATE DATABASE db1;

-- 在 db0 中创建表 t_order_0 和 t_order_1
USE db0;
CREATE TABLE t_order_0 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

USE db0;
CREATE TABLE t_order_1 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

-- 在 db1 中创建表 t_order_0 和 t_order_1
USE db1;
CREATE TABLE t_order_0 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

USE db1;
CREATE TABLE t_order_1 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

通过上述 SQL 语句，我们创建了两个数据库 db0 和 db1，并在每个数据库中创建了四个表 t_order_0 和 t_order_1。

分库分表的基本概念

3.1 数据库分片的定义

数据库分片，即数据库分库分表，是指将一个数据库中的数据分布到多个物理数据库（库）和多个物理数据表（表）中，以实现水平拆分。这种技术可以显著提高数据库的处理能力和扩展性。通常，分片策略会根据业务逻辑和数据特征来设计，例如按用户 ID 分库分表、按时间分库分表等。

3.2 分库分表的意义

数据库逐渐变得越来越大，单个数据库已经无法满足业务需求，例如需要支撑大量的并发访问或存储海量的数据。这时就需要使用数据库分片来解决。分库分表的主要目的是：

提高性能：通过将数据分布到多个数据库和表中，可以减少单个数据库的压力，使得查询和写入操作并行执行，从而提高系统的整体性能。
增加可用性：分库分表之后，单个数据库或表发生故障不会影响到整个系统的正常运行。
易于扩展：可以轻松地扩展数据库，只需要添加更多的数据库和表即可。

3.3 分库分表的实现方式

ShardingJDBC 基于分片策略将数据分布在多个数据库和表中。分片策略通常包括以下几个方面：

分片键：用于根据某个字段值将数据分配到不同的库或表中，例如用户 ID 或时间戳。
分片算法：根据分片键的值将数据映射到具体的库或表中，例如哈希算法或取模算法。
分片规则：定义了数据如何分布到不同库和表中，例如按用户 ID 分库或按时间戳分表。

ShardingJDBC 分库分表配置步骤

4.1 配置数据源

ShardingJDBC 需要配置多个数据源，每个数据源对应一个数据库实例。我们使用 shardingSphereDataSource 类来配置数据源。以下是一个简单的数据源配置示例：

import com.dangdang.ddframe.rdb.sharding.api.config_rules.DatabaseShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.ShardingRuleConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableRulesConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;
import com.zaxxer.hikari.HikariDataSource;
import java.util.Properties;

import java.util.Map;
import java.util.Arrays;
import java.util.stream.Collectors;

public class ShardingRuleConfig {

    public static ShardingRuleConfiguration getShardingRuleConfiguration() {
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();

        // 配置数据源
        Properties props = new Properties();
        props.setProperty("dataSourceClassName", "com.mysql.jdbc.jdbc2.optional.MysqlDataSource");
        props.setProperty("url", "jdbc:mysql://localhost:3306/db0");
        props.setProperty("user", "root");
        props.setProperty("password", "root");
        HikariDataSource ds1 = new HikariDataSource(props);

        props.setProperty("url", "jdbc:mysql://localhost:3306/db1");
        HikariDataSource ds2 = new HikariDataSource(props);
        Map<String, HikariDataSource> dataSourceMap = Arrays.asList(
            new AbstractMap.SimpleEntry<>("ds1", ds1),
            new AbstractMap.SimpleEntry<>("ds2", ds2)
        ).stream().collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue));

        // 配置分片键
        shardingRuleConfig.setDefaultDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));

        // 配置分片规则
        TableRulesConfiguration tableRuleConfig = new TableRulesConfiguration("t_order");
        tableRuleConfig.setDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));
        shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

        return shardingRuleConfig;
    }
}

4.2 配置分片规则

ShardingJDBC 的分片规则定义了数据如何分布到不同的库和表中。下面是一个分片规则配置示例：

import com.dangdang.ddframe.rdb.sharding.api.config_rules.DatabaseShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.ShardingRuleConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableRulesConfiguration;

public class ShardingRuleConfig {

    public static ShardingRuleConfiguration getShardingRuleConfiguration() {
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();

        // 配置分片键
        shardingRuleConfig.setDefaultDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));

        // 配置分片规则
        TableRulesConfiguration tableRuleConfig = new TableRulesConfiguration("t_order");
        tableRuleConfig.setDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));
        shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

        return shardingRuleConfig;
    }
}

4.3 配置数据表的分片策略

分片策略定义了如何根据某个字段值将数据映射到不同的库或表中。例如，可以根据用户 ID 进行分库或分表。下面是一个按用户 ID 分表的策略配置示例：

import com.dangdang.ddframe.rdb.sharding.api.config_rules.DatabaseShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.ShardingRuleConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableRulesConfiguration;

public class ShardingRuleConfig {

    public static ShardingRuleConfiguration getShardingRuleConfiguration() {
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();

        // 配置分片键
        shardingRuleConfig.setDefaultDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));

        // 配置分片规则
        TableRulesConfiguration tableRuleConfig = new TableRulesConfiguration("t_order");
        tableRuleConfig.setDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));
        shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

        return shardingRuleConfig;
    }
}

4.4 配置 SQL 路由规则

ShardingJDBC 需要根据 SQL 语句的特性决定如何将 SQL 路由到不同的库和表中。可以通过配置 SQL 路由规则来实现这一点。具体的配置方式可以参考 ShardingJDBC 的官方文档。

import com.dangdang.ddframe.rdb.sharding.api.config_rules.ShardingRuleConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableRulesConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;

public class ShardingRuleConfig {

    public static ShardingRuleConfiguration getShardingRuleConfiguration() {
        ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();

        // 配置分片键
        shardingRuleConfig.setDefaultDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));

        // 配置分片规则
        TableRulesConfiguration tableRuleConfig = new TableRulesConfiguration("t_order");
        tableRuleConfig.setDatabaseShardingStrategy(new DatabaseShardingStrategyConfiguration("user_id", "user_id_mod_2"));
        shardingRuleConfig.getTableRuleConfigs().add(tableRuleConfig);

        // 配置 SQL 路由规则
        shardingRuleConfig.setDefaultTableShardingStrategy(new TableShardingStrategyConfiguration("user_id", "user_id_mod_2"));

        return shardingRuleConfig;
    }
}

实战演练

5.1 创建分库分表的数据库

我们在数据库中创建多个数据库和多个数据表，用于演示分库分表的功能。以下是一个简单的创建数据库和表的 SQL 语句：

-- 创建数据库 db0
CREATE DATABASE db0;
-- 创建数据库 db1
CREATE DATABASE db1;

-- 在 db0 中创建表 t_order_0 和 t_order_1
USE db0;
CREATE TABLE t_order_0 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

USE db0;
CREATE TABLE t_order_1 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

-- 在 db1 中创建表 t_order_0 和 t_order_1
USE db1;
CREATE TABLE t_order_0 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

USE db1;
CREATE TABLE t_order_1 (
  id INT PRIMARY KEY,
  user_id INT,
  order_date TIMESTAMP
);

5.2 编写示例代码进行分片操作

下面是一个简单的示例代码，用于演示如何使用 ShardingJDBC 进行分库分表操作：

import com.dangdang.ddframe.rdb.sharding.api.ShardingDataSourceFactory;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.ShardingRuleConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableRulesConfiguration;
import com.dangdang.ddframe.rdb.sharding.api.config_rules.TableShardingStrategyConfiguration;
import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Properties;
import java.util.Map;
import java.util.Arrays;
import java.util.stream.Collectors;

public class ShardingJDBCDemo {

    public static void main(String[] args) throws SQLException {
        // 配置数据源
        ShardingRuleConfiguration shardingRuleConfig = ShardingRuleConfig.getShardingRuleConfiguration();
        try (ShardingDataSource shardingDataSource = ShardingDataSourceFactory.create(shardingRuleConfig, createDataSourceMap())) {
            // 连接数据库
            try (Connection conn = shardingDataSource.getConnection()) {
                Statement stat = conn.createStatement();
                // 执行 SQL 语句
                ResultSet rs = stat.executeQuery("SELECT * FROM t_order WHERE user_id = 1");
                while (rs.next()) {
                    System.out.println(rs.getString("id") + ", " + rs.getString("user_id") + ", " + rs.getString("order_date"));
                }
                stat.close();
            }
        }
    }

    private static Map<String, HikariDataSource> createDataSourceMap() {
        // 配置数据源
        Properties props = new Properties();
        props.setProperty("dataSourceClassName", "com.mysql.jdbc.jdbc2.optional.MysqlDataSource");
        props.setProperty("url", "jdbc:mysql://localhost:3306/db0");
        props.setProperty("user", "root");
        props.setProperty("password", "root");
        HikariDataSource ds1 = new HikariDataSource(props);

        props.setProperty("url", "jdbc:mysql://localhost:3306/db1");
        HikariDataSource ds2 = new HikariDataSource(props);
        return Arrays.asList(
            new AbstractMap.SimpleEntry<>("ds1", ds1),
            new AbstractMap.SimpleEntry<>("ds2", ds2)
        ).stream().collect(Collectors.toMap(Map.Entry::getKey, Map.Entry::getValue));
    }
}

5.3 测试分片效果

通过上面的示例代码，我们可以看到，ShardingJDBC 能够根据分片规则自动将 SQL 语句路由到正确的数据库和表中。运行示例代码后，查询结果应该显示在指定数据库和表中的数据。

常见问题与解决方法

6.1 配置过程中可能遇到的问题

依赖冲突：确保 ShardingJDBC 依赖与其他依赖兼容，避免版本冲突。例如，以下是 ShardingJDBC 的 Maven 依赖配置：

<dependency>
  <groupId>com.dangdang</groupId>
  <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  <version>4.1.0</version>
</dependency>

配置错误：仔细检查配置文件，确保分片规则、数据源配置等信息正确无误。
SQL 语句问题：确保 SQL 语句符合 ShardingJDBC 的要求，例如支持的 SQL 语法等。

6.2 常见错误与解决方案

缺少依赖错误：确认所有的依赖都已正确配置在项目中。例如，以下是 ShardingJDBC 的 Maven 依赖配置：

<dependency>
  <groupId>com.dangdang</groupId>
  <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
  <version>4.1.0</version>
</dependency>

配置文件错误：仔细检查配置文件，确保所有配置信息正确无误。
SQL 语句不支持：检查 SQL 语句是否符合 ShardingJDBC 的要求，例如是否支持子查询等。

点击查看更多内容

为 TA 点赞

若觉得本文不错，就分享一下吧！

评论

评论

共同学习，写下你的评论

评论加载中...

展开查看更多评论

作者其他优质文章

正在加载中

梵蒂冈之花

手记
篇

粉丝

30

获赞与收藏

168

关注作者，订阅最新文章

阅读免费教程

Java并发工具

23个小节 19264 315

Java 并发原理入门教程

26个小节 38992 568

Java 入门教程

50个小节 341849 3163

推荐

评论

收藏

共同学习，写下你的评论



感谢您的支持，我会继续努力的～

扫码打赏，你说多少就多少

赞赏金额会直接到老师账户

支付方式

打开微信扫一扫，即可进行扫码打赏哦

今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与放弃机会

点击
抽奖

慕课手记新用户专享福利

恭喜你，你的运气太好了，居然抽中了 100个积分！

恭喜你，抽中了价值元的专栏！

太棒了，直接落到你账户里！

积分商城里的罗技鼠标、机械键盘、
Kindle 阅读器、小米平衡车
Apple iPad （10.2英寸）、大额优惠券
在等着你去兑换了噢

作者：

免费赠送

兑换码：1111222211 复制

优惠券可用于购买实战课、体系课
无门槛使用

先去看看，有什么好东西马上兑换我爱学习，选课去


热搜

最近搜索清空