QPS 1 万、RT 100ms,就是 1,000 个请求同时压在你身上

引子:我答了 20 分钟,他只要三个数

“讲讲你对高并发的理解。”

我把准备好的内容全倒了出来:Redis 缓存、Kafka 削峰、分库分表、Sentinel 限流、多级缓存。讲了 20 分钟,面试官打断我:“你们那个下单接口,QPS 峰值多少?P99 多少?第一个被打满的组件是什么?”

三个问题,我一个都答不上来。我知道我用了什么,但不知道它在哪里到顶。

那次之后我重新捋了一遍。高并发其实只回答三个连续问题:量有多大、哪一层先到顶、为了扛住愿意放弃什么。前两个是算术题,第三个是取舍题。中间件是取舍之后的结果,不是答案本身。

先给结论:本文不教组件,只把“高并发”变成一个能回答的问题。读完你能带走三样东西:一个把 QPS 换算成真实压力的公式、一张各层天花板的量级表、三个决定架构走向的边界条件。

先说个反常识:并发数不是 QPS

“我们系统支持 10 万并发。”这句话在面试里是减分的,因为并发数是此刻有多少请求在系统里,QPS 是每秒新进来多少,两者之间差一个 RT。

有人觉得这是名词之争,扛得住不就行了。问题在于,这两个数对应两套完全相反的动作。QPS 高,你可以加机器、可以削峰,把请求挪到别的时间点;并发高,你只能压 RT——每个请求都占着一条线程在等下游,加机器只是多摆几把椅子,人还是卡在门口。搞错对象,扩容永远扩不到点子上。

换算只有一行:并发 = QPS × RT。QPS 1 万、RT 100ms,系统里实时就有 1000 个请求。反过来的算法更吓人:200 个 Tomcat 线程、RT 100ms,吞吐上限就是 2000 QPS——这时候 CPU 可能才 40%,慢的不是计算,是线程都在等。

我们遇到过一次典型的:QPS 一点没涨,下游某个接口 RT 从 80ms 涨到 400ms,Tomcat 排队线程从 0 爬到 900,成功率掉到 71%。流量没杀死系统,延迟自己把自己压死了——RT 变长直接压低吞吐上限,重试再把这个洞捅大一圈。

每一层都有自己的天花板,系统只会在最薄那层断

系统不会整体变慢。某一层先到顶,这个“等”就沿着调用链往上游传,最后表现为“全站都慢”。要找的是最薄的那块板,不是平均值。

应用层:线程数先于 CPU 到顶

我们 4C8G、JDK 21、Spring Boot 3.2 的服务,纯 JSON 接口大概 5000 QPS;加一次 MySQL 点查掉到 900 左右,加一次 Redis 读在 2500 上下。三次 CPU 都没满,卡的是 200 个 Tomcat 线程和 Hikari 那 20 条连接。看瓶颈先看线程状态和连接池等待数,别盯着 CPU。

缓存层:热点 key 先于总容量到顶

Redis 单实例简单命令 8 万到 10 万 QPS,三主三从的 Cluster 二十多万。但只要一个 key 落在单个分片上,几万 QPS 就能把那一个分片打满,整条链路跟着塌。我们之前一个 200MB 的 Hash 就是这么把集群拖住的——容量远没到顶,是单点先到顶。

存储层:连接数和单表行数先于磁盘到顶

4C16G、SSD 的 MySQL,点查 1000 上下,写入 1000 到 1500 TPS,先到顶的通常是连接池和行锁,不是 IO。单表过 5000 万行之后,索引选得再准,执行计划也开始抖。

三档 QPS 的真实差别,差在要多付什么

“3 万用单库、10 万就分库”这种说法没意义,数字本身不构成方案。真正要看的是每一档要多付什么代价。

峰值 QPS应用层缓存存储异步/削峰最先到顶
1 万以下2~4 台 4C8G本地 Caffeine + Redis 单实例单库,单表 < 5000 万行可有可无慢 SQL、连接池
3 万8~12 台,网关限流Redis 主从 + 两级缓存1 主 2 从读写分离写链路削峰主库写入、从库延迟
10 万20~30 台Cluster 3 主 3 从8 库 32 表必须,核心链路异步热点 key、跨库事务
50 万按用户维度单元化多副本,本地命中率 >95%分片 + 读写分离全链路异步跨单元调用、带宽
100 万就近接入、多活多级 + CDN / 静态化100+ 分片,最终一致异步 + 批处理成本、运维复杂度

看最后一列就够了。1 万以内是配置问题,改慢 SQL、调连接池就能过去;3 万前后是主库写入和从库延迟,得动读写分离;到 10 万,热点 key、跨库事务、缓存一致性会同时冒出来,复杂度直接跳一个台阶;50 万往上,成本曲线比 QPS 曲线更陡——同样扛到百万,单元化之后运维投入是 3 万时代的数倍。

真实的 QPS 不能拿接口调用次数估,要从存储侧反推,因为它包含了重试、定时任务和没走缓存的那些请求:

-- 间隔 1 秒采两次,Questions 的差值就是这一秒的真实 QPS
SHOW GLOBAL STATUS WHERE Variable_name IN
  ('Questions','Com_select','Com_insert','Com_update','Com_delete');
-- Threads_running 才是"此刻正压在你身上"的请求数,比 QPS 更能反映排队
SHOW GLOBAL STATUS WHERE Variable_name IN
  ('Threads_connected','Threads_running','Max_used_connections');

注意 Questions 会把存储过程内部的语句也算进去,略偏大;要更准就用 Com_* 之和。这个数字和网关统计对不上时,差额就是你没想到的那部分流量。

取舍:一致性、成本、复杂度,你只能保住两条

架构分歧真正发生的地方只有一处:为了扛住,你放弃什么。

拿库存扣减说。数据库行锁加事务,单 SKU 上限大概 1000 TPS,强一致,代码简单。改成 Redis 扣减、MQ 异步落库,能到 2 万 TPS,代价是可能超卖,得加冻结、加对账兜底,运维复杂度上一个台阶。我们当时选了后者,理由不是“Redis 快”,而是 90% 的 SKU 库存大于 1000,本来就撞不到一起;剩下 10% 的热门 SKU 单独走强一致链路。

这不是技术选型,是业务判断。所以面试官听到“我们用了 Redis 扣库存”,下一句一定是“超卖怎么办”——他要的不是你有没有用 Redis,是你知不知道自己放弃了什么。

真正拉开差距的,是三个边界条件

同一个 10 万 QPS,边界不同,架构会完全不同。

峰值是均值的几倍。大促 8 到 10 倍,秒杀瞬时能到 100 倍。这个倍数决定你要不要削峰,而不是决定买几台机器。

读多还是写多。读写比 10:1 以上,堆缓存是对的;接近 1:1 时缓存几乎不解决问题,命中率再高也挡不住写入压力,该做的是把写异步化。

能不能接受最终一致。余额不能,库存、积分、流水可以。这条线划在哪里,架构上限就在哪里。划不清这条线,“高并发方案”就只能停在背组件。

最后:5 个坑,和一句话的答案

  1. 把并发数当 QPS 报——“支持 10 万并发”,追问 RT 就露馅。
  2. 只报均值不报峰值——大促峰值是均值 10 倍,均值没有意义。
  3. 只扩应用不扩存储——应用加了 10 台,Hikari 还是 20 条连接,DB 照样被压死。
  4. 缓存当存储用——写多读少也硬上缓存,最后全是一致性问题。
  5. 所有接口按最高档设计——日均 3000 QPS 的后台系统按 10 万做分库分表,成本翻倍,收益为零。

高并发不是把中间件堆上去,是算清三个数、找到最先崩的那层、再决定放弃什么。

你们生产上第一个被打满的组件是什么——Tomcat 线程、Hikari 连接池,还是某个 Redis 热点 key?说说当时是怎么发现的。

关注我,每周拆一个真实生产故障。


标题:QPS 1 万、RT 100ms,就是 1,000 个请求同时压在你身上
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/10/1794147910265.html
公众号:服务端技术精选
    评论
    0 评论
avatar

取消