大促前把线程池调到 500,结果一个异常都没人看见
引言
大促前一周做容量演练,把订单服务的核心线程池从 50 调到 500。运维在配置中心改了值,点了发布,页面显示"同步成功"。
演练当天压测,P99 还是 3 秒。查了半天才发现:线程池根本没变,还是 50。
失败日志在应用日志的 800 万行里躺着,一秒一条,被淹没了:
java.lang.IllegalArgumentException: corePoolSize > maximumPoolSize
配置中心推下来的是两个独立字段:coreSize=500、maxSize=400(运维抄错了 max)。监听器先执行 setCorePoolSize(500),当场抛异常,后面的 setMaximumPoolSize 也没走。配置中心不知道应用侧失败,应用也没把异常上报回去。
先给结论:ThreadPoolExecutor 确实支持运行时改参数,但只有三个参数能改,而且改的顺序、校验、失败回执必须自己实现——不然"动态调参"就只是一次没人知道的空操作。
一、先分清:哪些能改,哪些改不了
这一步决定了整个方案的边界,别在动手前想当然。
| 参数 | 能否动态改 | 方法 | 改不了的后果 |
|---|---|---|---|
corePoolSize | 能 | setCorePoolSize | 扩容时线程数不会立刻涨满 |
maximumPoolSize | 能 | setMaximumPoolSize | 必须 ≥ 当前 core,否则抛异常 |
keepAliveTime | 能 | setKeepAliveTime | 只影响之后的空闲回收 |
allowCoreThreadTimeOut | 能 | 同名方法 | 缩容后 core 线程也能被回收 |
| 任务队列容量 | 不能 | 无 | 队列是 final 引用,容量不可变 |
| 拒绝策略 | 不能 | 无 | handler 是 final 字段 |
| 线程工厂 | 不能 | 无 | 构造后不可替换 |
最要命的是中间两行:队列容量和拒绝策略改不了。 很多人以为"把队列从 1 万调到 10 万"能靠动态调参完成,实际上必须重建线程池;而重建意味着队列里的任务要么丢、要么迁、要么等。
为什么 JDK 不提供这些 setter?因为它们的改动会破坏 ThreadPoolExecutor 的核心不变式:workQueue 的容量参与"是否需要新建线程"的判定,跑着改会让正在排队的任务与新容量对不上;handler 决定任务被拒时的行为,跑着改等于同一批任务在同一个池里享受两种待遇,语义上没法解释。能改的参数都是"只影响未来"的,不能改的都是"影响已有任务"的。
所以动态调参能解决的是"并发度不够",解决不了"队列太浅"和"拒绝策略太激进"。后者要改代码,不是改配置。
二、为什么不能直接换个新线程池
直觉方案是"配置变了就 new ThreadPoolExecutor(...),然后替换引用"。这个做法有两个致命问题:
第一,旧池里的任务没人管。 shutdown() 会拒绝新任务、等已有任务跑完,但如果队列里有 3 万个任务,等它跑完可能要几分钟;shutdownNow() 会中断正在执行的任务,业务直接报错。
第二,引用替换不是原子的。 其他线程可能正持有旧池的引用提交任务,替换瞬间提交的任务会进到旧池——旧池可能已经 shutdown,直接拒绝。
还有一种更隐蔽的情况:线程池被 Spring 注入到很多 Bean 里,那些 Bean 持有的是旧引用。就算你把容器里的 Bean 换了,@Async 背后的执行器、CompletableFuture 默认池、第三方组件缓存的池,都还指向旧的。"替换引用"这件事,在依赖注入的世界里根本没有一个可靠的替换点。
所以正确做法是复用同一个 ThreadPoolExecutor 实例,只调它的 setter。这也是 JDK 一直保留这些 setter 的原因。
补充一个细节:即使一定要重建,也得走"新旧并行 + 队列迁移 + 优雅停机"三步。先让新池接新任务,旧池不再接受新任务(shutdown()),再逐批把旧队列里的任务 drainTo 到新池,最后等旧池 awaitTermination。这套流程至少几十行代码,还得处理"迁移途中又来了新任务"的竞态——这也是为什么"能改参数就别重建"。
三、三步实现不停机调参
3.1 顺序:扩容先 core 后 max,缩容反过来
public synchronized void resize(int core, int max) {
if (core < 0 || max <= 0 || core > max) {
throw new IllegalArgumentException(
"invalid pool size: core=" + core + ", max=" + max);
}
if (max > this.executor.getMaximumPoolSize()) { // 扩容
executor.setMaximumPoolSize(max);
executor.setCorePoolSize(core);
} else { // 缩容
executor.setCorePoolSize(core);
executor.setMaximumPoolSize(max);
}
log.info("pool resized: core={}, max={}, active={}, queue={}",
core, max, executor.getActiveCount(), executor.getQueue().size());
}
方向决定了顺序,原因是 JDK 的硬约束:setCorePoolSize 要求新值 ≤ 当前 maximumPoolSize,setMaximumPoolSize 要求新值 ≥ 当前 corePoolSize。扩容时先抬 max 才有空间抬 core;缩容时先降 core 才有空间降 max。 顺序反过来,两步都会抛异常。
这个方法要加锁:两个配置推送并发到达时,中间态可能触发上面那条约束。
锁的粒度要覆盖"读旧值 → 改 max → 改 core → 写日志"整段,不能只锁 setter。否则两次并发更新可能交错成 max=400, core=500 的组合,虽然每次 setter 都没抛异常,但最终状态是非法的。我们后来的做法是给 resize 方法加 synchronized,并在方法内重新读一次线程池的当前值,而不是用调用方传进来的旧值做判断。
3.2 校验:先自己算一遍,别把异常交给 JDK
core > max 这种错误必须在入口就拦住并打 ERROR 日志。JDK 抛了 IllegalArgumentException,但它只抛给调用方,配置中心永远不知道。
校验清单要包含:
core ≥ 0 && max > 0 && core ≤ max- 单次变更幅度限制(比如不超过当前值的 50%),防止误填
5000 - 新 core 不能小于"当前正在执行的任务数"太多,否则会有一批任务卡在队列里没人接
- 变更前记录旧值,失败时能回滚
第三条容易被忽略:activeCount 是 180,你把 core 降到 20,不会导致任务丢失(正在跑的不受影响),但队列里的任务吞吐会骤降,表现为"调完之后延迟变高"。所以缩容要参考 activeCount,扩容要参考 queued——两个方向看的是不同指标。
审计日志也要记全:谁改的、改前改后、当前 active 和 queue。出事回滚时,这几行日志就是唯一的时间线。
3.3 接入配置中心:变更要幂等、要有回执
// 以 Nacos 为例,监听器拿到最新配置后走同一个 resize 方法
@NacosConfigListener(dataId = "order.pool")
public void onPoolConfig(String json) {
PoolConfig cfg = JsonUtil.parse(json, PoolConfig.class);
try {
poolManager.resize(cfg.getCore(), cfg.getMax());
configAck.success(dataId, cfg); // 回执:告诉配置中心本次生效
} catch (Exception e) {
configAck.fail(dataId, cfg, e.getMessage());
log.error("pool resize failed, keep old config", e);
}
}
三个要点:监听器收到的是全量配置,不是增量,所以每次都要重新校验一遍,不能假设"只改了一个字段";回执必须双向,配置中心没有回执就只能看"发布成功",看不到"应用生效";变更要幂等,同一份配置重复推送时结果必须一致。
Nacos 和 Apollo 的差异在这一点上很明显:Nacos 的监听器是"内容变化回调",拿不到"哪个字段变了";Apollo 提供 ConfigChange 对象,能拿到 oldValue/newValue,但仍然建议用全量校验——因为一次发布可能改了三个字段,逐字段处理容易漏掉组合约束。把"组合约束"当成唯一真相,比相信增量更可靠。
上线顺序也有讲究:先让应用支持热更新(此时配置不变),再在配置中心开自动刷新。反过来先开刷新、后发应用,会有一批旧实例收不到变更,看起来"更新成功但只生效了一半"。
3.4 缩小 core 时,别指望线程立刻减少
setCorePoolSize 调小时,JDK 只会中断空闲线程,正在执行任务的线程要等它自己跑完。所以调小 core 之后,还要跟上 setCorePoolSize(20) + setMaximumPoolSize(20),再调用 allowCoreThreadTimeOut(true)——让 core 线程也能超时回收。
不开 allowCoreThreadTimeOut,core 线程即使空闲也会一直存在。这是"调小了但线程数没降"的最常见原因。 开了之后,要注意每次新建线程的成本会回来——缩容是为了省资源,不是为了消灭线程。
还有一个容易被忽略的中间态:缩容瞬间如果队列里还有 1 万个任务,core 已经降到 20,那么这 1 万个任务只能靠 20 个线程慢慢消化。缩容的时机应该选在低峰、队列接近空的时候,而不是"大促一结束立刻改"。 我们那次就是因为大促刚结束、队列还有 2,000 多条,缩容后消化了 40 分钟。
四、验证:改完必须看见数字变化
调参不是"改完就算成功",要验证三件事:
第一,poolSize 真的变了。 调大 core 之后线程不是立刻创建,JDK 会按队列里现有任务数补建(最多补到 delta 个)。所以验证要看 getPoolSize(),而不是 getCorePoolSize()——后者只是配置值,前者才是真实线程数。
第二,activeCount 在压测下能上去。 如果 core 调到 500、压测时 active 始终 60,说明瓶颈不在线程池,在数据库或下游。
这里还有个"看起来生效其实没生效"的陷阱:getPoolSize() 涨上去了,但 active 一直很低,可能是因为任务提交得太快、每个任务太短——线程建了、活没干满。判断"要不要继续扩"应该看 active 贴近 poolSize 的时长占比,而不是看峰值。
第三,拒绝数没有异常增长。 调参的目的是少拒绝,改完拒绝数反而涨,说明队列或下游出了问题。
压测验证要按"同一压力、前后对比"做:同样的并发和持续时间,跑两次,看 poolSize、active、p99 三个数。如果 active 上不去、p99 也没降,说明瓶颈不在线程池——这时候继续调大 core 只是把内存和上下文切换成本加上去。我们那次演练就是活例子:配置根本没生效,再怎么压都是 50 个线程的吞吐。
# 指标配置(Micrometer + Prometheus)
management:
metrics:
tags:
application: order-service
distribution:
percentiles-histogram:
executor: true
ExecutorServiceMetrics 会暴露 executor.pool.size、executor.active、executor.queued、executor.completed 四个核心指标。建议把 active / pool.size > 0.8 和 queued 持续增长 做成告警,这比事后看日志有用得多。
五、避坑清单
- 队列容量和拒绝策略改不了,想改必须重建线程池并处理存量任务。
- 扩容先抬 max 再抬 core,缩容反过来,顺序错了必抛异常。
- 失败必须回执给配置中心,否则"发布成功"会掩盖一次空操作。
- 调小 core 不会立刻减线程,要配
allowCoreThreadTimeOut。 - 验证看
getPoolSize不看getCorePoolSize,后者只是配置,前者才是现实。 - 两个参数不能分两次推送,非原子更新必然产出非法组合,要么一次推全量,要么在应用侧加锁。
- 缩容看
activeCount、扩容看queued,方向不同,参考指标也不同。
收尾
线程池动态调参真正的难点不在 setter——那三个方法 JDK 早给了;难在顺序、校验和"失败要让人知道",这三样没人替你写。
你们的线程池参数是重启生效还是配置中心热更新?改完之后有没有对过 getPoolSize 和压测数据?
关注我,每周拆一个真实生产故障。
标题:大促前把线程池调到 500,结果一个异常都没人看见
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/08/1794145598742.html
公众号:服务端技术精选
评论