QPS 1 万、RT 100ms,就是 1,000 个请求同时压在你身上
引子:我答了 20 分钟,他只要三个数
“讲讲你对高并发的理解。”
我把准备好的内容全倒了出来:Redis 缓存、Kafka 削峰、分库分表、Sentinel 限流、多级缓存。讲了 20 分钟,面试官打断我:“你们那个下单接口,QPS 峰值多少?P99 多少?第一个被打满的组件是什么?”
三个问题,我一个都答不上来。我知道我用了什么,但不知道它在哪里到顶。
那次之后我重新捋了一遍。高并发其实只回答三个连续问题:量有多大、哪一层先到顶、为了扛住愿意放弃什么。前两个是算术题,第三个是取舍题。中间件是取舍之后的结果,不是答案本身。
先给结论:本文不教组件,只把“高并发”变成一个能回答的问题。读完你能带走三样东西:一个把 QPS 换算成真实压力的公式、一张各层天花板的量级表、三个决定架构走向的边界条件。
先说个反常识:并发数不是 QPS
“我们系统支持 10 万并发。”这句话在面试里是减分的,因为并发数是此刻有多少请求在系统里,QPS 是每秒新进来多少,两者之间差一个 RT。
有人觉得这是名词之争,扛得住不就行了。问题在于,这两个数对应两套完全相反的动作。QPS 高,你可以加机器、可以削峰,把请求挪到别的时间点;并发高,你只能压 RT——每个请求都占着一条线程在等下游,加机器只是多摆几把椅子,人还是卡在门口。搞错对象,扩容永远扩不到点子上。
换算只有一行:并发 = QPS × RT。QPS 1 万、RT 100ms,系统里实时就有 1000 个请求。反过来的算法更吓人:200 个 Tomcat 线程、RT 100ms,吞吐上限就是 2000 QPS——这时候 CPU 可能才 40%,慢的不是计算,是线程都在等。
我们遇到过一次典型的:QPS 一点没涨,下游某个接口 RT 从 80ms 涨到 400ms,Tomcat 排队线程从 0 爬到 900,成功率掉到 71%。流量没杀死系统,延迟自己把自己压死了——RT 变长直接压低吞吐上限,重试再把这个洞捅大一圈。
每一层都有自己的天花板,系统只会在最薄那层断
系统不会整体变慢。某一层先到顶,这个“等”就沿着调用链往上游传,最后表现为“全站都慢”。要找的是最薄的那块板,不是平均值。
应用层:线程数先于 CPU 到顶
我们 4C8G、JDK 21、Spring Boot 3.2 的服务,纯 JSON 接口大概 5000 QPS;加一次 MySQL 点查掉到 900 左右,加一次 Redis 读在 2500 上下。三次 CPU 都没满,卡的是 200 个 Tomcat 线程和 Hikari 那 20 条连接。看瓶颈先看线程状态和连接池等待数,别盯着 CPU。
缓存层:热点 key 先于总容量到顶
Redis 单实例简单命令 8 万到 10 万 QPS,三主三从的 Cluster 二十多万。但只要一个 key 落在单个分片上,几万 QPS 就能把那一个分片打满,整条链路跟着塌。我们之前一个 200MB 的 Hash 就是这么把集群拖住的——容量远没到顶,是单点先到顶。
存储层:连接数和单表行数先于磁盘到顶
4C16G、SSD 的 MySQL,点查 1000 上下,写入 1000 到 1500 TPS,先到顶的通常是连接池和行锁,不是 IO。单表过 5000 万行之后,索引选得再准,执行计划也开始抖。
三档 QPS 的真实差别,差在要多付什么
“3 万用单库、10 万就分库”这种说法没意义,数字本身不构成方案。真正要看的是每一档要多付什么代价。
| 峰值 QPS | 应用层 | 缓存 | 存储 | 异步/削峰 | 最先到顶 |
|---|---|---|---|---|---|
| 1 万以下 | 2~4 台 4C8G | 本地 Caffeine + Redis 单实例 | 单库,单表 < 5000 万行 | 可有可无 | 慢 SQL、连接池 |
| 3 万 | 8~12 台,网关限流 | Redis 主从 + 两级缓存 | 1 主 2 从读写分离 | 写链路削峰 | 主库写入、从库延迟 |
| 10 万 | 20~30 台 | Cluster 3 主 3 从 | 8 库 32 表 | 必须,核心链路异步 | 热点 key、跨库事务 |
| 50 万 | 按用户维度单元化 | 多副本,本地命中率 >95% | 分片 + 读写分离 | 全链路异步 | 跨单元调用、带宽 |
| 100 万 | 就近接入、多活 | 多级 + CDN / 静态化 | 100+ 分片,最终一致 | 异步 + 批处理 | 成本、运维复杂度 |
看最后一列就够了。1 万以内是配置问题,改慢 SQL、调连接池就能过去;3 万前后是主库写入和从库延迟,得动读写分离;到 10 万,热点 key、跨库事务、缓存一致性会同时冒出来,复杂度直接跳一个台阶;50 万往上,成本曲线比 QPS 曲线更陡——同样扛到百万,单元化之后运维投入是 3 万时代的数倍。
真实的 QPS 不能拿接口调用次数估,要从存储侧反推,因为它包含了重试、定时任务和没走缓存的那些请求:
-- 间隔 1 秒采两次,Questions 的差值就是这一秒的真实 QPS
SHOW GLOBAL STATUS WHERE Variable_name IN
('Questions','Com_select','Com_insert','Com_update','Com_delete');
-- Threads_running 才是"此刻正压在你身上"的请求数,比 QPS 更能反映排队
SHOW GLOBAL STATUS WHERE Variable_name IN
('Threads_connected','Threads_running','Max_used_connections');
注意 Questions 会把存储过程内部的语句也算进去,略偏大;要更准就用 Com_* 之和。这个数字和网关统计对不上时,差额就是你没想到的那部分流量。
取舍:一致性、成本、复杂度,你只能保住两条
架构分歧真正发生的地方只有一处:为了扛住,你放弃什么。
拿库存扣减说。数据库行锁加事务,单 SKU 上限大概 1000 TPS,强一致,代码简单。改成 Redis 扣减、MQ 异步落库,能到 2 万 TPS,代价是可能超卖,得加冻结、加对账兜底,运维复杂度上一个台阶。我们当时选了后者,理由不是“Redis 快”,而是 90% 的 SKU 库存大于 1000,本来就撞不到一起;剩下 10% 的热门 SKU 单独走强一致链路。
这不是技术选型,是业务判断。所以面试官听到“我们用了 Redis 扣库存”,下一句一定是“超卖怎么办”——他要的不是你有没有用 Redis,是你知不知道自己放弃了什么。
真正拉开差距的,是三个边界条件
同一个 10 万 QPS,边界不同,架构会完全不同。
峰值是均值的几倍。大促 8 到 10 倍,秒杀瞬时能到 100 倍。这个倍数决定你要不要削峰,而不是决定买几台机器。
读多还是写多。读写比 10:1 以上,堆缓存是对的;接近 1:1 时缓存几乎不解决问题,命中率再高也挡不住写入压力,该做的是把写异步化。
能不能接受最终一致。余额不能,库存、积分、流水可以。这条线划在哪里,架构上限就在哪里。划不清这条线,“高并发方案”就只能停在背组件。
最后:5 个坑,和一句话的答案
- 把并发数当 QPS 报——“支持 10 万并发”,追问 RT 就露馅。
- 只报均值不报峰值——大促峰值是均值 10 倍,均值没有意义。
- 只扩应用不扩存储——应用加了 10 台,Hikari 还是 20 条连接,DB 照样被压死。
- 缓存当存储用——写多读少也硬上缓存,最后全是一致性问题。
- 所有接口按最高档设计——日均 3000 QPS 的后台系统按 10 万做分库分表,成本翻倍,收益为零。
高并发不是把中间件堆上去,是算清三个数、找到最先崩的那层、再决定放弃什么。
你们生产上第一个被打满的组件是什么——Tomcat 线程、Hikari 连接池,还是某个 Redis 热点 key?说说当时是怎么发现的。
关注我,每周拆一个真实生产故障。
标题:QPS 1 万、RT 100ms,就是 1,000 个请求同时压在你身上
作者:jiangyi
地址:http://jiangyi.space/articles/2026/11/10/1794147910265.html
公众号:服务端技术精选
评论