3.7 万条支付回调,丢在一次发布重启里
引言
去年双十一,支付回调链路加了一层本地队列削峰:网关收到回调先塞进 LinkedBlockingQueue,后台线程批量投递到 Kafka。压测跑了 10 万 QPS 没问题,峰值也扛住了。
第二天做一次常规发布,滚动重启到第二台机器时,运维发现用户开始重复投诉"付了钱订单没到账"。查下来,那台机器的队列里还压着 3.7 万条回调,进程一停,全没了——Kafka 里根本找不到这批消息,因为它们从来没被投递出去过。
这件事之后团队重新理解了一遍削峰:本地队列只是"缓冲垫",不是"蓄水池"。 它能吸收毫秒级的抖动,吸收不了分钟级的峰值;它能扛住流量尖峰,扛不住一次进程退出。把不该放在内存里的东西放进去,削峰就变成了丢数据。
先给结论:本地队列 + MQ 的两级缓冲,分工是"本地抗抖动、MQ 做蓄水池、消费端控节奏"。三者的容量要分别算,任何一层算错,峰值就会从最后一道口子漏出来。
一、第一反应:先去 Kafka 里找,找不到才意识到问题
事故发生后的第一小时,排查路径是这样的:
先查 Kafka 的 __consumer_offsets,确认消费端没积压、没有重复消费;再查 Topic 的写入量,发现峰值时段的消息总量比网关侧的请求量少了 3.7 万条。这时候才反应过来:消息不是"消费丢了",是"根本没写进去"。
接着看应用日志,进程退出前 2 秒有一行 Shutting down ExecutorService,队列里的任务被直接丢弃。代码里没有任何 drain 逻辑,@PreDestroy 只关了连接池。
这里有个很容易被忽略的判断依据:只要消息在源头就已经"只存在于 JVM 堆里",那它就不具备任何持久性保证。查 Kafka、查消费位移、查死信队列,全都是在错误的方向上找。
第二个证据来自生产端的埋点:网关侧记录的"接收成功"数量是 98 万,Kafka 生产端 record-send-total 只有 94.3 万,差额正好在重启的那个时间点出现。两边对不上,就说明中间有一层把数据留下了——这个比对方式后来成了我们的固定动作,比翻日志快得多。
二、根因:本地队列是缓冲垫,不是蓄水池
先把三种"能放流量"的地方摆清楚,它们的性质完全不同:
- 本地队列:在 JVM 堆里,容量受 GC 和内存限制,进程一停就没了,重启也无法恢复。
- 消息队列(Kafka/RocketMQ):磁盘持久化、有副本、有位移,能承载百万级积压,但写入带宽和分区数有上限。
- 数据库:最终落点,写入能力最弱,通常只有几千 TPS。
事故的根因就是把第一层当成了第二层用:LinkedBlockingQueue 无界、没有溢出策略、停机不 drain。三个问题里任意一个都足以丢数据,它们同时存在,只是那天才被一次发布触发。
第二层认知也要立住:本地队列不改变总量,只改变时序。 10 万 QPS 灌进来,本地队列不会让总量变少,它只是把"立刻写 Kafka"变成"过几秒写 Kafka"。如果这几秒里生产速度始终小于灌入速度,队列水位就会一路上涨,直到内存或容量上限——这不是削峰,这是把峰值推迟到 OOM 那一刻。
事故后有人提过"给队列加个本地文件持久化,重启时恢复"——听起来合理,实际上是在自己造一个不可靠的 MQ:要考虑落盘顺序、要考虑恢复时的去重、要考虑磁盘满了怎么办、还要考虑多实例同时恢复的冲突。这些正是 Kafka 已经做过的事,自己再写一遍只会多一个故障源。 需要持久性就直接进 MQ,别在应用层再存一份。
三、削峰的账怎么算
看一组真实的大促曲线:峰值 9.8 万 QPS,持续 40 秒,全天均值 8,000 QPS,低谷 6,000。峰均比约 12:1。
峰值期间多出来的量:(98,000 − 8,000) × 40 秒 ≈ 360 万条。这是削峰要"藏起来"的总量,藏不住的部分必须拒掉。
接着算存储:一条回调报文约 1.2KB,360 万条 ≈ 4.3GB。8G 堆的应用放不下,就算放得下,GC 也会先崩——大对象进老年代,一次 Full GC 就是秒级停顿(这个坑在《一行 log.info 打掉 8G 堆》里踩过)。
所以本地队列的容量必须按"能扛几秒"倒推,而不是按"峰值总量":
容量 = 队列长度 × 单条大小,可缓冲时长 = 容量 ÷ (灌入速率 − 排出速率)。
取 Kafka 写入 6 万 QPS、本地队列 20 万条:可缓冲时长 = 20 万 ÷ (9.8 万 − 6 万) ≈ 5.4 秒。五秒,就是这个本地队列的全部价值。 五分钟的峰值必须交给 MQ,而 MQ 也要按"积压恢复时间"验算:积压 360 万条、消费能力 2 万 QPS,排空需要 180 秒;如果低谷还要持续写入,这个时间会被拉长到十几分钟。
还有一个必须提前接受的代价:排队就是延迟。队列里稳定停留 20 万条、出队 2 万 QPS,平均停留时间就是 10 秒。用户点完支付到订单状态更新,会多出这 10 秒。削峰填谷从来不是"免费把峰值变平",是拿延迟换系统稳定。
换个角度算收益,会更清楚该在哪一层花力气:如果峰值无法承接,拒掉 4 万 QPS,按 40 秒算就是 160 万次支付失败;如果全部塞进本地队列,需要 4.3GB 堆内存,且延迟涨到几十秒。而把 MQ 写入能力从 6 万提到 8 万,多出来的 2 万 QPS 就能把峰值削掉一半——扩 MQ 产能的性价比,远高于扩应用内存。 这就是为什么削峰的主力永远在 MQ 侧。
四、两级缓冲怎么落地
设计原则四句话:本地队列有界、溢出立刻可见、投递批量、停机必 drain。
4.1 本地队列:有界 + 明确的溢出动作
private final BlockingQueue<PayCallback> buffer =
new ArrayBlockingQueue<>(200_000); // 有界,容量按 5 秒峰值算
public boolean accept(PayCallback cb) {
if (!buffer.offer(cb)) { // 满了就立刻返回失败,不阻塞网关线程
rejected.increment(); // 计数 + 打点,这是最重要的信号
return false; // 由网关侧返回 429,让用户重试
}
return true;
}
三个点必须做到:用 ArrayBlockingQueue 而不是 LinkedBlockingQueue(后者默认无界,等于把 OOM 写进了代码);用 offer 而不是 put(put 会阻塞网关线程,一台机器卡住就会拖垮整条入口);拒绝必须计数并打点,队列满不是异常,是容量到了。
4.2 批量投递:把"每条一次网络往返"改成"每批一次"
@Scheduled(fixedDelay = 20)
public void drainToKafka() {
List<PayCallback> batch = new ArrayList<>(500);
buffer.drainTo(batch, 500); // 一次最多取 500 条
if (batch.isEmpty()) return;
kafkaTemplate.send("pay-callback", batch); // 批量发送,降低请求数
}
批量大小不是越大越好:500 条 × 1.2KB ≈ 600KB,单次请求还在合理范围;调到 5,000 条会撞上 max.request.size,还会让单次失败的重试代价变大。
这个循环还有个隐藏风险:如果 drainToKafka 的执行速度长期低于灌入速度,队列会一直处于满的状态。必须给队列水位加监控,持续高于 80% 就说明下游产能不足,该限流而不是加机器。
水位指标至少要看三个:当前 size()、最近一分钟的入队速率、拒绝总数。只看 size() 会误判——队列在满和空之间快速震荡时,采样很容易都落在低位,看起来"很健康",实际已经在疯狂拒绝了。
4.3 停机必须 drain
@PreDestroy
public void shutdown() {
long deadline = System.currentTimeMillis() + 30_000;
while (!buffer.isEmpty() && System.currentTimeMillis() < deadline) {
drainToKafka(); // 反复投递,直到清空或超时
sleep(50);
}
if (!buffer.isEmpty()) {
log.error("shutdown with {} messages left", buffer.size()); // 必须告警
}
}
这段代码的重点不是"清空",而是清不空的时候要留下证据。停机超时后还剩多少条、这些消息的业务主键范围是什么,都要打出来,否则第二天对账只能看到"少了 3.7 万条",连补哪一段都不知道。生产环境更稳的做法是把剩余消息落盘成本地文件,下次启动时重放。
五、验证与避坑清单
验证分三段,缺一段都不算测过:
第一段压稳态,8,000 QPS 跑 10 分钟,看队列水位是否稳定在低位——这一段的目的是排除"平时就在慢慢积压"。
第二段压峰值,9.8 万 QPS 打 40 秒,观察三件事:队列是否短暂冲高后回落、拒绝数是否符合预期(约 4 万)、Kafka 写入是否稳定在 6 万。如果队列满了但拒绝数是 0,说明溢出被静默吞掉了。
第三段最容易被跳过:峰值刚结束时立刻 kill -9,验证重启后有多少消息丢失、日志里有没有留下痕迹。这一段不过,前面两段都是纸面成绩。
补一句怎么验证"补数能补回来":把队列内剩余消息的 callbackId 落盘,重启后拿这份清单和 Kafka 的实际写入做差集,对不上的那部分走人工或定时任务重放。重放接口必须幂等——支付回调重放一次,下游不能重复扣款,这是比削峰更硬的要求。
| 方案 | 抗毫秒抖动 | 削峰上限 | 数据可靠性 | 端到端延迟 | 进程重启影响 |
|---|---|---|---|---|---|
| 同步直写数据库 | 无 | 无 | 高 | 最低 | 无 |
| 仅本地队列 | 强 | 受堆内存限制(约 5 秒) | 低,重启即丢 | 低 | 丢失队列内全部消息 |
| 仅 MQ | 弱(写入仍是同步) | 高(磁盘级) | 高 | 中 | 无 |
| 本地队列 + MQ | 强 | 高 | 高 | 中 | 仅丢未投递部分 |
| MQ + 消费端批量拉取 | 中 | 高 | 高 | 中高 | 无 |
避坑清单:
- 本地队列必须设置容量上限,无界队列等于把 OOM 写进代码。
- 队列满要用
offer快速失败,不要用put阻塞入口线程。 - 停机必须 drain 并留痕,清不空就把剩余消息落盘,否则无法补数。
- 本地队列只放"可重试、可丢弃"的消息,支付、扣款这类不可丢的一律直接进 MQ。
- 削峰能力按"能扛几秒"算,不按"峰值总量"算,分钟级峰值只能靠 MQ 的磁盘。
收尾
本地队列削的是毫秒,MQ 削的是分钟,数据库只配当落点——把这三层混用,峰值迟早会从最薄的那一层漏出去。
你们入口那层用的是 LinkedBlockingQueue 还是 ArrayBlockingQueue?发布重启时算过队列里还剩多少条吗?
关注我,每周拆一个真实生产故障。
标题:3.7 万条支付回调,丢在一次发布重启里
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/05/1793799516825.html
公众号:服务端技术精选
评论