分库分表最全详解(图文全面总结)

分库分表是大型架构的必备技能，也是大厂重点考察的对象，下面我就全面来详解分库分表@mikechen

什么是分库分表

分库分表是数据库设计、和管理中的一种策略，主要解决随着数据量、和并发访问量的增加而带来的性能、和扩展性问题。

分库分表，主要就是两种常用手段：“分库”、和“分表”。

如下图所示：

为什么要分库分表

在系统不断发展、数据量急剧增加的情况下，传统的数据库架构往往难以应对性能和扩展性的问题。

特别是当单表的数据量达到千万、甚至亿级别时，即使使用了索引，查询性能也会受到影响。

为了解决这一问题，分库分表是一种有效的策略。

分库分表通过将数据，按照某种策略分配到多个数据库节点、或表中，提高了查询和写入性能，从而，增强系统的可扩展性和容错能力。

 

如何实现分库分表

通过用数据库分库分表中间件，比如： ShardingSphere、MyCat…等，开发者可以方便地实现：分库分表。

分库分表旨在，通过将大表、或大数据库的数据，切分为多个较小的部分，从而提升性能。

如下图所示：

核心步骤，如下：

第一步：首先分析数据

确定分库分表的必要性，比如：分析当前数据库的性能瓶颈，确定是否需要进行分库分表。

以及，评估数据量的增长趋势、和未来的扩展需求。

 

第二部：确定拆分类型

然后，根据业务特点，选择合适的分片策略（如：哈希分片、范围分片、列表分片……..等）。

哈希分片（Hash Sharding）

根据某个字段（如用户ID），进行哈希运算，将数据均匀分布到不同的分片中。

适用于：需要均匀分布数据，且无法预知数据分布特点的场景。

范围分片（Range Sharding）

根据某个字段的值范围进行分片，例如按时间范围（比如：年、月、日）、或按数值范围进行分片。

适用于：数据有明显的范围划分的场景。

列表分片（List Sharding）

根据字段的具体值进行分片，例如：按地区、类别等。

适用于：数据有明确分类的场景。

组合分片（Composite Sharding）

结合多种分片策略，例如：先按地域分片，再按用户ID哈希分片。

 

第三步：实现数据拆分

采用数据库分库分表中间件，如ShardingSphere…..等，简化分库分表的实现。

ShardingSphere 是一个分布式数据库中间件解决方案，支持：分库分表、读写分离、和数据治理……等方案。

假设有一个电子商务系统，包括：用户信息表（users）和订单信息表（orders），我们希望将用户信息表和订单信息表分别存储在两个不同的数据库中。

如下所示：

可以通过ShardingSphere的配置文件定义数据源和实际数据节点，实现表的垂直拆分：

schemaName: ecommerce

dataSources:
  user_db:
    url: jdbc:mysql://localhost:3306/user_db
    username: root
    password: password
  order_db:
    url: jdbc:mysql://localhost:3306/order_db
    username: root
    password: password

shardingRule:
  tables:
    users:
      actualDataNodes: user_db.users
    orders:
      actualDataNodes: order_db.orders

然后，在应用层通过 ShardingSphere 提供的 DataSource 连接不同的数据库，进行数据操作。

// 加载垂直拆分配置文件
        DataSource dataSource = YamlShardingSphereDataSourceFactory.createDataSource(new File("vertical-sharding.yml"));

        // 查询用户信息
        String userSql = "SELECT * FROM users WHERE user_id = ?";
        try (Connection conn = dataSource.getConnection();
             PreparedStatement pstmt = conn.prepareStatement(userSql)) {
            pstmt.setLong(1, 1L);
            try (ResultSet rs = pstmt.executeQuery()) {
                while (rs.next()) {
                    System.out.println("User ID: " + rs.getLong("user_id") + ", Username: " + rs.getString("username"));
                }
            }
        }

这里需要注意，以下几点：

1. 数据均匀分布：确保分片策略能够均匀分布数据，避免出现单个分片过热的情况。
2. 事务处理：处理跨分片事务的一致性问题，可以采用分布式事务管理器（如：Seata）。
3. 分布式ID生成：确保全局唯一ID，可以采用Snowflake算法……等分布式ID生成方案。

总之，通过合理的分片策略、和中间件配置，可以显著提升系统的性能、和扩展性。

作者简介

陈睿|mikechen，10年+大厂架构经验，BAT资深面试官，就职于阿里巴巴、淘宝、百度等一线互联网大厂。

关注作者「mikechen」公众号，获取更多技术干货！

后台回复【架构】，即可获取《阿里架构师进阶专题全部合集》，后台回复【面试】即可获取《史上最全阿里Java面试题总结》