从 8 个分片扩到 32 个,MySQL 连接数先炸了

引言

去年双十一前,订单库从 8 个分片扩到 32 个,扩容演练一切正常,上线第二天早上 9 点,MySQL 开始报 Too many connections。

算了一笔账就明白了:20 台应用,每台 HikariCP 配 20 条连接,每个分片都要建池——20 × 20 × 32 = 12,800 条。而 max_connections 只给了 2,000。

[配图:扩容前后连接数曲线,从约 3,200 直接冲到 12,800 上限,MySQL 侧在线连接被顶满]

第一反应是把 max_connections 调到 8,000。调完连接能建上了,但 MySQL 常驻内存从 12G 涨到 26G,线程切换开销上来,P99 反而更差——连接不是免费的,一个连接一份缓冲和栈,加连接等于给数据库加负担。

这篇不站队,只把三条路摆在一起实测:ShardingSphere-JDBC、ShardingSphere-Proxy、以及干脆在应用层手写路由。它们真正的差别不在"谁快 0.5 毫秒",而在连接数模型、升级方式、以及出问题时你能改哪一层。

一、结论先行

三句话说完选型:

分片数不多(≤16)、团队只有 Java、想少运维一个组件,用 ShardingSphere-JDBC。它夹在 JDBC 驱动层,没有网络跳数,性能最好,代价是分片规则和版本都绑在应用里。

分片数多(≥32)、应用台数多、有多语言服务、或者连接数已经吃紧,用 Proxy。它把"分片"收敛成一个 MySQL 实例,应用只当普通 MySQL 连,连接数从"台数 × 分片数"降到"台数 + 分片数"。

分片逻辑简单(只有一两张表要分)、并且你已经有成熟的数据访问层,手写未必是坏选择:路由十几个 if、再加一个 ThreadLocal 的强制路由提示,比引入一整套中间件更容易被团队读懂。

反过来说,如果你要的是"跨分片分页、聚合、分布式事务、读写分离"这一整套能力,手写基本等于自己造一个 ShardingSphere,这时候该认输的是你的工期,不是中间件。

二、测试条件

同一套库、同一批 SQL,只换访问层:

MySQL 8.0.36,4 个实例(每实例 8C16G),每实例 8 张表,合计 32 个分片。订单表每分片 500 万行,分片键 order_id,路由算法都是 order_id % 32。压测端 20 个线程,每页 20 条。ShardingSphere 5.4.x。

一个必须提前说明的前提:这些数字是同一环境下的量级对比,不是绝对性能承诺。换机器、换 SQL 形态,绝对值都会变,但三者的相对关系基本稳定。

[配图:三种部署形态对比,JDBC 在应用进程内改写 SQL,Proxy 独立进程收敛连接,手写在 DAO 层做路由]

三、三种方案实测

3.1 ShardingSphere-JDBC:没有网络跳数,但连接按分片膨胀

它本质是一个增强版 JDBC 驱动,jar 打进应用里,SQL 改写、路由、结果归并全在 JVM 内完成。配置是声明式的:

spring:
  shardingsphere:
    datasource:
      names: ds0,ds1
      ds0: { type: com.zaxxer.hikari.HikariDataSource,
             driver-class-name: com.mysql.cj.jdbc.Driver,
             jdbc-url: jdbc:mysql://db0:3306/order }
    rules:
      sharding:
        tables:
          t_order:
            actual-data-nodes: ds$->{0..1}.t_order_$->{0..15}
            table-strategy:
              standard:
                sharding-column: order_id
                sharding-algorithm-name: order-inline
        sharding-algorithms:
          order-inline:
            type: INLINE
            props: { algorithm-expression: t_order_$->{order_id % 16} }

实测:单条主键查询 P99 2.1ms,批量插入 1,000 条 48ms,跨 32 个分片的 GROUP BY 聚合 1.9 秒。三项都是三者里最快的——因为它省掉了"应用 → 中间件 → 数据库"那一跳。

代价也在配置里:actual-data-nodes 展开成 32 个真实数据源,每个数据源一个连接池。分片数是乘在连接池上的,不是加在上面的。 分片扩一倍,连接上限跟着翻一倍,这就是开头那次事故的全部原因。

它还有两个能力边界要提前知道:一是 SQL 改写不是万能的,UNION、子查询嵌套、部分窗口函数会被拒绝执行或提示"不支持",上线前必须把业务 SQL 全跑一遍;二是版本和应用绑定,升级中间件等于全量发版,几十个服务要挨个回归。这两条在选型阶段没人提,上线三个月后一定会有人提。

3.2 ShardingSphere-Proxy:拿 1 毫秒换连接数收敛

Proxy 是一个独立进程,对外讲 MySQL 协议。应用连它就像连一个普通 MySQL,jdbc:mysql://proxy:3307/order,一行配置,不需要任何分片 SDK。

docker run -d --name ss-proxy -p 3307:3307 \
  -v $PWD/conf:/opt/shardingsphere-proxy/conf \
  apache/shardingsphere-proxy:5.4.1

实测:单条查询 P99 3.4ms,批量插入 72ms,跨分片聚合 2.2 秒。比 JDBC 慢 30%~50%,主要来自多一次网络往返和协议解析。

它换来的是连接模型的变化:20 台应用只连 Proxy,按 20 条池算是 400 条;Proxy 到 32 个分片各开一个池,按每分片 20 条算是 640 条。合计 1,040 条,和 12,800 条不是一个量级。

还有一个隐性收益:分片规则、扩容、读写分离的调整只在 Proxy 侧改,应用不用发版。多语言团队尤其明显——Go 和 Python 的服务不需要任何 SDK,改个连接串就行。

它的代价同样是结构性的:Proxy 变成了新的单点。要做双实例 + 前面挂负载均衡,还要接受"一层网络跳数"带来的固定延迟。我们线上用的是两节点 + Keepalived,节点故障切换 8 秒左右,这段时间内所有分片查询都会失败——所以客户端的重试和超时必须相应放宽,否则切换会被误判成业务故障。

3.3 应用层手写:最灵活,也最容易漏功能

手写就是把路由算法放在 DAO 层:

public String routeTable(long orderId) {
    int idx = Math.floorMod(orderId, 32);       // 分片算法自己定
    return "ds" + (idx / 8) + ".t_order_" + (idx % 8);
}

// 需要强制走某个分片时,用 ThreadLocal 传"路由提示"
private static final ThreadLocal<Long> HINT = new ThreadLocal<>();

实测:单条查询 P99 1.4ms,批量插入 41ms,跨分片聚合 1.7 秒——比 JDBC 还快一点,因为它没有 SQL 解析和改写这一层,路由就是一个取模。

但"少一层"意味着"少一层能力"。跨分片查询要自己并发、自己归并、自己处理分页的 offset 语义;分布式事务要自己选型;分片键改一次,全公司的 DAO 都要跟着改。手写的成本不在写,在维护和交接。

自己写归并大概是这个样子,代码不难,难的是把所有边界都想一遍:

// 跨分片查询:并发发起 + 结果归并
List<CompletableFuture<List<Order>>> futures = IntStream.range(0, 32)
        .mapToObj(i -> CompletableFuture.supplyAsync(
                () -> mapper.selectByShard(i, cond), shardPool))
        .toList();

List<Order> all = futures.stream()
        .flatMap(f -> f.join().stream())      // join 不会抛受检异常,超时要自己判
        .sorted(Comparator.comparing(Order::getCreateTime).reversed())
        .limit(20)                            // 分页的 offset 要自己减
        .toList();

这段代码能跑,但它有三个没写出来的前提:每批必须带超时,否则一个慢分片拖死整条链路;shardPool 要和分片数匹配,否则并发度不够;排序字段必须是全局可比的,否则跨分片归并的顺序是错的。

四、一张表看清差别

方案单条查询 P99批量写 1,000 条跨分片聚合连接数上限升级方式
ShardingSphere-JDBC2.1ms48ms1.9s台数 × 池 × 分片数(12,800)跟应用一起发版
ShardingSphere-Proxy3.4ms72ms2.2s台数 + 分片数(1,040)独立升级,应用无感
应用层手写1.4ms41ms1.7s台数 × 池 × 分片数改代码发版
JDBC + 读写分离2.2ms50ms1.9s再乘只读节点数跟应用发版
Proxy + 读写分离3.5ms74ms2.2sProxy 侧统一收敛独立升级

[配图:三条 P99 曲线随分片数增长,JDBC 与手写平缓,Proxy 整体高约 1 毫秒但保持平行]

表里最容易被忽略的是最后两行:读写分离会把连接数再乘一次。JDBC 方案下,一主两从 × 32 分片 = 96 个连接池,这个数字会先于性能成为瓶颈。

还有一种很多团队最终会采用的组合:写走 JDBC、查走 Proxy。写链路对延迟敏感、SQL 形态简单,用 JDBC 省掉那一跳;后台报表、跨分片查询这种低频但复杂的场景走 Proxy,靠它成熟的归并能力,也顺便把连接压力收在 Proxy 侧。代价是两套规则要维护一致,分片算法改一次得改两处。

选型边界:

单库单表、分片数 ≤16、纯 Java 技术栈,JDBC 优先,省一个组件就是省一类故障。
分片数 ≥32 或应用台数 ≥20,先算连接账,算不过来就上 Proxy。
需要多语言接入、或者想让 DBA 独立管理分片规则,Proxy 是唯一解。
只有 1~2 张表要分、且不想引入中间件,手写,但要把跨分片查询的能力边界写进文档。

五、落地时最容易踩的坑

5.1 版本与配置结构

ShardingSphere 5.0 到 5.2 的配置根节点是 spring.shardingsphere.sharding,5.3 之后改成 rules,网上大量教程还是旧结构,直接抄会启动失败。升级大版本时先改配置结构,再谈功能。

官方 5.3 的迁移说明里列了十几处字段改名,光靠肉眼比对很容易漏。我们后来的做法是把分片配置单独抽成一个 YAML,再写一个启动即跑的集成测试——路由对不对、表名展开得对不对,容器一起来就验证,比在预发环境翻日志快得多。

5.2 分片键选错,所有优化白做

分片键必须能覆盖 80% 以上的查询条件。用 order_id 分片,查询却按 user_id,每次都要广播到 32 个分片再归并——表里那个 1.9 秒的聚合就是这么来的,而按分片键查只要 2ms。真要按用户维度查,就得建异构索引表,这是另一个话题。

广播查询的代价会随分片数线性放大:32 个分片 × 500 万行,一次按非分片键的查询要碰 1.6 亿行;如果 user_id 上还没索引,每个分片都是全表扫,连接池会在几秒内被占满。分片键选错,后面所有优化都是在给一个错误的结构打补丁。

5.3 分布式事务别想当然

JDBC 和 Proxy 都支持 XA 和 Seata 集成,但 XA 的性能损耗在秒杀链路里不可接受。跨分片写的一致性,更现实的做法是"按分片键把一次写收敛到单个分片",做不到再用本地消息表 + 对账。

XA 的代价是结构性的:prepare 阶段就要持有各分片的锁,直到全部 commit 才释放——跨 32 个分片时,锁持有时间是单库写入的好几倍,并发一高就是死锁温床。Seata 的 AT 模式好一些,但要额外部署 TC 服务、维护 undo_log 表,本质是把复杂度从数据库搬到了中间件。能用分片键规避的跨分片写,就别用分布式事务。

5.4 避坑清单

  • 连接数是"台数 × 池大小 × 分片数",扩分片前先算这个乘法,别等 Too many connections。
  • max_connections 不是越大越好,每个连接都有内存和调度成本,调大只是把问题从"连不上"换成"更慢"。
  • 分片键决定 90% 的性能,选错之后加机器、换中间件都救不回来。
  • Proxy 要自己做高可用,它一旦挂了,所有分片一起不可用——别让它成为新的单点。
  • 手写方案必须显式支持"强制路由",否则一个跨分片查询就能把 32 个库全扫一遍。

收尾

三个方案的性能差不到一倍,但连接模型、升级方式和故障边界差了一个量级——选型时先算连接账和运维账,再谈那 1 毫秒。

你们的分片数现在是多少?连接数算过"台数 × 池 × 分片"这笔账吗?

关注我,每周拆一个真实生产故障。


标题:从 8 个分片扩到 32 个,MySQL 连接数先炸了
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/04/1793799034557.html
公众号:服务端技术精选
    评论
    0 评论
avatar

取消