压测报告写着 10 万 QPS 通过,上线 3 万就挂了
引言
大促前两周,压测报告出来:混合场景峰值 10 万 QPS,P99 82ms,错误率 0.01%。评审会上所有人都在点头,容量评估表上写着"满足大促 2.5 倍峰值"。
上线首日,真实流量到 3 万 QPS 时,P99 冲到 2 秒,错误率 8%,网关开始 429。
同一条链路,两个数字差了 3 倍。复盘时我们把压测报告和线上监控逐项对齐,发现三处"通过"都是假的:
- 压测环境下游 RPC 是 mock 的,真实链路里那一段占了 40% 的耗时
- 压测数据只有 100 万条,缓存命中率 99.2%;线上 2 亿条,命中率 88%
- JMeter 单机实际只发出去 3.2 万 QPS,"10 万"是把四台发压机的数字直接相加得来的
先给结论:全链路压测的"全"字最容易造假——只要有一层被 mock、有一份数据不真实、有一台发压机能力不够,报告上的数字就不是容量,是幻觉。
一、第一反应:先怀疑发压端,而不是被测系统
看到"压测 10 万、线上 3 万就挂",第一反应往往是"线上环境配置差"。但更常见的原因在发压侧。
JMeter 单机能力有个粗略的天花板:8 核 16G、256 线程、简单 HTTP 请求,大约 3 万 QPS。想要 10 万,至少 4 台发压机,且总吞吐不是线性相加——每台都要走网络、每台都有调度开销,实际损耗 10%~20%。
更隐蔽的是 coordinated omission:JMeter 默认是"闭模型",一个线程发完再发下一个。如果服务端在这一刻变慢,线程也跟着等,于是发压端自动降速,把一个本应压出问题的尖峰抹平了。报告上的 P99 很好看,因为最慢的那批请求压根没被发出去。
用 -R(远程发压)时还要注意:jmeter -n -t plan.jmx -R 10.0.0.11,10.0.0.12 只是下发任务,聚合报告在 master 上汇总,master 自身的 CPU 会成为瓶颈。我们的报告就是汇总时丢了 30% 的样本。
还有一点常被混为一谈:闭模型测的是"固定并发下的吞吐",开模型测的是"固定速率下的延迟"。大促是开模型——用户不管你系统多慢,到点就是那么多人涌进来。用闭模型压出来的"10 万 QPS",本质是"256 并发下服务端能处理多少",换算成大促的"每秒涌入 10 万人"完全是两件事。要测后者,就得用 wrk2 -R 或 k6 的 constant-arrival-rate 执行器。
还有一个不该忽略的差异:压测环境往往比生产环境"更干净"。生产上跑着定时任务、对账、日志采集、监控 agent,这些在压测环境里通常没有;JVM 也刚刚启动,JIT 还没热,压测跑 30 分钟恰好跳过了最慢的前 5 分钟。压测环境要尽量复刻生产的"噪声",否则测出来的是一条理想曲线。
二、三个"通过"是怎么造出来的
2.1 短路:mock 掉的那一段,正好是瓶颈
为了"隔离变量",压测时把下游的积分、风控、推荐都 mock 成固定 1ms 返回。真实环境里,这三个 RPC 的 P99 分别是 120ms、80ms、200ms,并且共享同一个连接池。
压测测的是"订单服务自己的能力",不是"整条链路的容量"。 这两件事在容量评估里必须分开写:单服务容量可以用来判断要不要扩容,全链路容量才决定大促能不能扛住。
如果下游确实没法压(比如第三方支付),正确做法是"录制回放":把生产上真实调用录下来,按原样的 RT 分布和错误率回放,而不是返回一个固定值。挡板(mock)要模拟的是"慢"和"偶尔失败",不是一个完美的 1ms 成功。
2.2 假数据:100 万条撑出了 99.2% 的命中率
压测数据用脚本批量生成,user_id 连续、商品只有 200 个 SKU。于是热 key 特别集中,本地缓存 + Redis 命中率 99.2%,数据库几乎没被打到。
线上是 2 亿用户、3,000 万 SKU,长尾分布,命中率 88%。这 11 个百分点的差距,全部转化成对数据库的读请求——10 万 QPS × 11% = 1.1 万,正好是 4 个库的读容量上限。
命中率这个指标本身也有陷阱:它算的是"缓存命中次数 / 总请求次数",如果压测脚本反复请求同一批 200 个 SKU,命中率会趋近 100%,但这只证明"脚本写得好",不证明"缓存扛得住"。看命中率要同时看"缓存穿透到数据库的 QPS 绝对值",后者才是数据库的压力。
数据构造的原则是"分布要像生产,量级要接近生产"。至少要做到:用户 ID 随机且覆盖全量区间、SKU 按真实销量分布(头部集中 + 长尾)、历史订单量级不低于线上的 60%。
2.3 发压端:10 万是四台机器加出来的
四台发压机,每台报告 2.5~3.2 万,加起来 11 万。但压测期间发压机的 CPU 使用率都在 90% 以上,netstat 显示大量 TIME_WAIT——发压端已经到极限了,测出来的不是服务端容量,是发压端的天花板。
判断发压端是否成为瓶颈有个简单办法:在压测中把并发再提高 30%,如果 QPS 不涨、RT 涨,说明瓶颈在发压端。我们补测时就是这么确认的。
发压机的位置也有影响:跨机房、过专线、走公网都会引入额外延迟和丢包,测出来的 RT 里混着网络成本,和"服务端处理时间"对不上。发压机要和被测集群同机房、同网段,否则看监控时永远分不清是应用慢还是网络慢。
三、全链路压测的正解
3.1 流量染色:让压测流量可识别、可隔离
全链路压测的前提是"压测流量走真实代码路径,但数据落到隔离的地方"。做法是在入口打标,全链路透传:
// 网关/入口:给压测请求打标
String tag = request.getHeader("X-Load-Test"); // "true" 表示压测流量
TrafficContext.set(new TrafficTag("true".equals(tag), traceId));
// 数据源层:压测流量路由到影子库
DataSource route() {
return TrafficContext.isLoadTest()
? shadowDataSource : prodDataSource;
}
压测标必须用 TransmittableThreadLocal 或显式透传,因为跨线程池会丢。标丢了比没打标更危险——压测流量会真的写进生产库,这是全链路压测最常见的事故。
透传要覆盖四个出口:线程池(@Async 和自定义池)、MQ 消息头、RPC 上下文(Dubbo 的 RpcContext 或 Feign 的 RequestInterceptor)、异步回调。任何一个出口漏了,那条链路就退化成"真写生产"。我们后来加了一条硬规则:影子库连接上做白名单校验,非压测流量写影子库直接报错,压测流量写生产库也直接报错——靠代码自觉不如靠连接层兜底。
3.2 影子表:压测数据不碰真实业务
-- 影子库同构,表结构一致,只是数据隔离
CREATE TABLE shadow_order LIKE prod_order;
CREATE TABLE shadow_stock LIKE prod_stock;
-- 压测前按线上分布灌入基础数据,压测后整库清理
MQ 同理:压测消息发到 order-events-shadow,消费组单独起一组。第三方支付、短信必须 mock,但要按真实 RT 和错误率 mock,不能用 1ms 的假实现——那等于把 3.1 的坑再挖一遍。
影子库还有个运维细节:压测产生的 binlog 也会参与主从复制,如果影子库和生产主库在同一个实例上,压测写入会污染主从延迟。影子库要么物理独立,要么至少独立实例,别只靠"不同表名"隔离。
3.3 发压:先测发压端能力,再梯度加压
# 1. 先空跑:只打到网关一个静态页,确认发压端能到目标 QPS
jmeter -n -t smoke.jmx -l smoke.jtl -e -o smoke-report
# 2. 梯度加压:每档稳定 5 分钟,记录 QPS / P99 / 错误率
# 10k → 20k → 30k → 40k → 50k → 60k ...
jmeter -n -t fullchain.jmx -R 10.0.0.11,10.0.0.12,10.0.0.13,10.0.0.14 \
-l run-30k.jtl -e -o report-30k
梯度加压的目的不是"证明能到 10 万",而是找到拐点:QPS 还能涨、RT 开始明显上升的那一档,就是容量边界。
判读拐点有个经验做法:看"每增加 1 万 QPS,P99 上涨多少"。从 1 万涨到 2 万,P99 从 80ms 到 85ms,这是有余量;从 3 万涨到 3.5 万,P99 从 90ms 直接跳到 400ms,这就是拐点。曲线图上形似"膝盖"的折点,比任何单点数字都可靠。
四、容量水位:不是一个 QPS 数字,是一条线
压测给出的应该是一张水位表,而不是一个"最大 QPS"。
| 组件 | 压测拐点 | 建议水位(70%) | 扩容阈值(85%) | 依据 |
|---|---|---|---|---|
| 网关 | 12 万 QPS | 8.4 万 | 10.2 万 | 连接数与 429 比例 |
| 订单应用 | 单个 Pod 3.5 万 | 2.4 万 | 3 万 | CPU 70% + RT 拐点 |
| Redis | 单分片 9 万 | 6.3 万 | 7.6 万 | 单分片 QPS 与热 key |
| MySQL(写) | 单库 2,600 TPS | 1,800 | 2,200 | 行锁等待 + IO util |
| Kafka | 单分区 4.5 万 | 3.1 万 | 3.8 万 | 消费 Lag 与 ISR |
水位线的算法是:拐点 × 0.7 作为日常告警线,× 0.85 作为限流线。留 15% 不是余量,是给"突发尖峰 + 单实例故障"的缓冲——3 个实例挂 1 个,剩下 2 个要能接住原流量。
大促系数不能拍脑袋。我们的做法是用历史三场大促的峰值 QPS 拟合:日常峰值 × 系数 = 预测峰值,系数取过去最高值再上浮 20%。压测通过的标准是"预测峰值 ≤ 水位线的 70%",不是"能跑出 10 万"。
水位表要落到人头上:每个组件指定一个 owner,水位告警直接发给他,而不是发到"大促保障群"。没有 owner 的水位线,等于没有水位线——真到 80% 的时候,所有人都在看,没人动手。
还有一条容易被漏掉的:水位是动态的。加了一台实例、换了索引、改了缓存 TTL,拐点都会变。所以压测不是一次性的,每次重大变更后都要重跑一轮梯度加压,至少跑到原拐点的 80%。
五、避坑清单
- mock 的每一层都要按真实 RT 和错误率配置,1ms 的假下游会把瓶颈藏起来。
- 压测数据量级不低于线上的 60%,分布要长尾,否则缓存命中率必然虚高。
- 先测发压端能力,并发 +30% 而 QPS 不涨就是发压端瓶颈。
- 压测标用 TTL 或显式透传,标丢了会写脏生产库。
- 容量结论要按组件出水位表,一个总 QPS 数字无法指导扩容。
- 压测前先定"通过标准",比如"预测峰值 ≤ 水位线 70%",不然永远是"再压一轮看看"。
- 压测窗口要避开业务高峰,影子库和真库共用的实例在压测时也会拖慢生产。
收尾
压测报告的价值不在"跑到多少 QPS",而在"哪个组件先到拐点、留了多少余量"——没有水位表的压测,只是给评审会提供了一份好看的数字。
你们的压测是全链路还是只压单个服务?报告里有没有出过组件级的水位表?
关注我,每周拆一个真实生产故障。
标题:压测报告写着 10 万 QPS 通过,上线 3 万就挂了
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/08/1794146014993.html
公众号:服务端技术精选
评论