# 第 34 章：过载：限流与降级

> 有人写了个脚本，每秒往 500 人的徒步群里发 100 条。网关扛得住，可别的群的未读数和通知开始晚好几分钟。来的比扛得住的多时，该在哪里说“不”，先丢什么？

深入理解 IM 系统 · https://im.liko.page/zh/overload/

周六晚上，徒步群里有人的账号被盗，一个脚本开始每秒往群里发 100 条广告。

群里 500 人的手机一起响。过了几分钟，别的群也出了怪事：未读数不动了，离线的人收不到通知，和那个群一点关系也没有。

这一章的问题：**来的比扛得住的多时，在哪里说“不”，先丢什么？**

## 1. 先算哪里扛不住

一条消息进来，要做的事乘上了群的人数：

> 每秒 100 条 × 500 人 × 每人 1.5 台设备 = **每秒 75,000 次投递**，是 v3 全站高峰 139,000 的 54%

听起来很吓人，可这些设备分散在 20 台网关上，每台只多 3,750 次。加上平时的 6,950 次，是它推送能力（每秒 5 万次）的 21%。网关不是瓶颈。

瓶颈在会话记录。第 11 章定过：每条消息，要给每个成员改一行会话记录（贴版本号、更新最新 seq）。每秒 100 条，就是每秒 50,000 次小事务；每次改两行（这个人的版本号和会话那一行，第 11 章），是每秒 10 万行，5 台存储的写入能力（一台每秒写 2 万行）。

第 29 章里，这件事由消息日志后面的“会话记录”消费者来做。一个群的消息都在日志的同一段（分区）里，由一个消费者按顺序读。假设它每秒能做 10,000 次这样的更新，那它只跟得上实际速度的五分之一，每秒欠下 4 万次：

> 脚本跑 10 分钟，欠下 2,400 万次；10 分钟只做完 2 分钟的量，这个分区落后 **8 分钟**

同一个分区里还有成千上万别的会话。它们的会话记录、未读数（第 14 章），以及挂在会话记录后面的离线通知（第 17 章），都排在这 2,400 万次没做完的更新后面。这就是开头那些“和它没关系”的群。

被骚扰的还有人：750 台设备，每台每秒收 100 条，10 分钟 6 万条。

## 2. 入口限流：限在状态本来就在的地方

要在消息被乘上 500 之前挡住它。挡两道：

**按设备，在网关上。** 每台设备每秒最多发 5 条。网关从登录令牌（第 25 章）就知道这是谁的哪台设备，计数放在这条连接上，不用问任何人。

脚本从每秒 100 条降到 5 条：投递从 75,000 次降到 3,750 次，记录更新降到 2,500 次。

用**令牌桶**：桶里每秒补 5 个令牌，最多存 20 个，发一条拿一个。Ana 一下转发 9 张照片，桶里有存货，全部通过；要是规定“任意一秒最多 5 条”，就会拒掉 4 张。正常人偶尔一阵快，脚本是一直快，令牌桶分得开这两种。

**按会话，在它的消息服务器上。** 一道按设备的限制挡不住 20 个账号一起来：20 × 5 又是每秒 100 条。可每个会话本来就只归一台消息服务器管（第 28 章），这个会话每秒来了多少，它一看就知道。

限的不是条数，是 **条数 × 成员数**：每个会话每秒最多送给 5,000 人次。每人次是一次会话记录更新，按第 11 章写两行，就是每秒 1 万行，正好是第 11 章算过的“半台存储”（一台每秒 2 万行）。这样：

| 会话 | 每秒最多 |
|---|---|
| 两人单聊 | 由按设备的 5 条管 |
| 50 人的群 | 100 条 |
| 500 人的徒步群 | 10 条 |

被拒的消息不丢。消息服务器回一个“慢一点，N 毫秒后再试”，消息还在手机的发件箱里（第 3 章），到时间再发。发的人看到的是“发送中”，而不是“已发送”之后谁也收不到。

## 3. 入口后面：每个队列都有上限

限流挡住的是可以预见的量。挡不住的，比如一个可用区挂了，剩下 10 台网关每台每秒要推 13,900 次；13,900 是晚高峰，全天平均只有它的三分之一；第 29 章那样的突发是平均的 10 倍，每台就是 46,300 次，离上限 50,000 只差一点。这时候，先丢什么，得事先定好。

规则：**每个队列都有上限，满了按优先级丢。**

以每条连接的推送队列为例：每条连接最多攒 64 KB，300 多条消息。一台网关平时 5 万条连接，最坏也就 3.2 GB；丢一个可用区、每台 10 万条时是 6.4 GB，也装得下（第 22 章给连接留了 16 GB）。没有上限的话，一台收得慢的手机就能让网关的内存一直涨。

满了，按这个顺序丢：

1. **“正在输入”这类提示**：过一秒就没用了。
2. **在线状态**（第 21 章）：全站高峰每秒约 3,500 个。丢了一次变化，手机下次报屏幕上有谁时，服务器会回最新的状态。
3. **已读回执**（第 15 章）：读到哪记在服务器上，下次同步会带上。
4. **消息的推送**，但不丢消息：消息已经在日志里，推送只是提醒（第 2 章）。网关丢掉这条连接排着的推送，换成一帧“有没推到的，去同步”，手机按第 11 章同步一次，自己拉。

前三样丢了没人发现；第四样只是晚一点。没有哪一样会让消息从此不见。

## 4. 算一下

- **没限流**：每秒 75,000 次投递，每台网关只多 3,750；记录每秒 50,000 次，分区 10 分钟落后 8 分钟。
- **按设备每秒 5 条**：每秒 3,750 次投递，2,500 次记录。
- **按会话每秒 5,000 人次**：徒步群最多每秒 10 条，记录 5,000 次，是一个消费者的一半。
- **推送队列**：每条连接 64 KB，一台网关最坏 3.2 GB（丢一个可用区时 6.4 GB）。

## 5. 代价

- **限错了，挡的是真人。** 一个 500 人的群，10 条/秒在抢红包、跨年倒数时可能真的不够；限额要能按会话调，调了要有人看。
- **一个群的额度会被占满。** 20 个账号一起刷，额度用完，群里的真人也发不出去。限流只能让损害停在这个群里；把号封掉，要靠举报和审核。
- **拒绝要客户端配合。** 旧版本的 App 不认识“N 毫秒后再试”，只会按第 3 章的退避重发（第 31 章）。
- **降级的代码平时不跑。** 丢在线状态、换成“去同步”，只在坏日子里走。SRE 书说：“从来不用的代码路径，往往就是不工作的那条。”它建议定期让一小部分服务器跑在接近过载的状态，让降级一直被走到（[Addressing Cascading Failures](https://sre.google/sre-book/addressing-cascading-failures/)）。演练是第 38 章。
- **限的是量，不是内容。** 一个每秒只发 1 条的广告号，限流不管。垃圾检测、内容安全要在发送路径上另做，比如发送前回调（第 44 章）。

## 6. 其他答案

- **按群固定一个数，超了悄悄丢。** 腾讯云 IM 每个群默认每秒 40 条；超了先送高优先级的（红包、礼物），被频率控制挡下的消息“不下发、不存历史，但给发送者返回成功”（[腾讯云 IM 消息类型文档](https://tencentcloud.com/document/product/1047/33526)）。对直播间合适：少一条点赞没人在意（第 41 章）。对徒步群不合适：Ana 以为发出去了。
- **按调用方限，告诉它何时再来。** Slack 的接口规定应用“每个频道每秒不超过一条消息”，允许短时间超出；超了返回 HTTP 429 和 `Retry-After`（[Rate limits](https://docs.slack.dev/apis/web-api/rate-limits/)）。Telegram 的公开 API 也是这样：同一个方法、同样的参数调得太多，返回错误 420 `FLOOD_WAIT_X`，X 是要等的秒数（第 24 章，[Error handling](https://core.telegram.org/api/errors)）。
- **给请求分等级，过载时先拒低的。** Google 把请求分成四级，从 `CRITICAL_PLUS` 到 `SHEDDABLE`；客户端发现自己的请求被拒得多了，会先在本地拒掉一部分，不再打过去（[Handling Overload](https://sre.google/sre-book/handling-overload/)）。和第 3 节按优先级丢是一个意思，放在了调用的两端。
- **忙的群整个改成“通知 + 拉”。** 不推消息，只推“有新消息”，手机自己拉。上万人的群和直播间用得上（第 40、41 章）；500 人的群，每秒 10 条推得动，用不着。

## 7. 这一章的决定

**决策卡**

- 问题：一个脚本每秒往 500 人的群发 100 条。网关扛得住，扛不住的是给每个成员改一行的会话记录：每秒 5 万次更新，这个群所在的分区 10 分钟落后 8 分钟，同分区的会话的未读数和通知都跟着晚。
- 选择：入口限流，限在状态本来就在的地方：每台设备在网关上每秒 5 条（令牌桶，存 20 个）；每个会话在它的消息服务器上每秒最多送 5,000 人次；超了明说“N 毫秒后再试”，消息留在发件箱。入口后面每个队列都有上限，满了按优先级丢：输入提示、在线状态、回执；消息只丢推送，换成“去同步”。
- 代价：限错了会挡住真人；旧 App 不认识“再试”；降级路径平时不跑，要演练；限流不管内容，垃圾和内容安全另做。
- 什么时候重新考虑：依赖变慢时的超时和熔断（第 36 章）；演练降级路径（第 38 章）；上万人的群和直播间改成通知加拉（第 40、41 章）。
- 其他答案：每群固定上限、超了悄悄丢并返回成功（腾讯云 IM）；按调用方限并告诉它等多久（Slack 的 Retry-After、Telegram 的 FLOOD_WAIT）；请求分级、客户端自我节流（Google）；忙的群改通知加拉。

限流管的是来的太多。可网关自己也要升级：一台网关重启，5 万台设备一起断开。下一章：不断线的发布。
