# 第 24 章：重连风暴

> 一个可用区的网关全停了，50 万台手机同时断开、同时回来。剩下的网关每秒能握手 2 万次，25 秒就该连完，为什么一半人要等一两分钟？

深入理解 IM 系统 · https://im.liko.page/zh/reconnect-storms/

第 22 章把 v3 的 20 台网关分在两个可用区（电源和网络互相独立的两组机房），每区 10 台，一个区整个停了，另一个区也装得下所有人。

某天下午，一个区停了。那 10 台网关上的 50 万台手机同时断开，同时回来，压向另外 10 台。这一章要回答：装得下，为什么连不上；怎么让它们尽快、有序地回来。

## 1. 先看一台：不是风暴

按全书假设，一台网关每秒能做 2,000 次完整的 TLS 握手（第 2 章）。平时它连着 5 万台设备（第 22 章），一起回来要 25 秒。

可 v3 有了接入调度（第 20 章）：手机先问它该连哪台，它把这 5 万台分给另外 19 台网关，每台约 2,600 台，**1.3 秒**就连完了。一台网关重启，用不着别的办法。

要是都回到原来那台（没有接入调度，或者调度看它最空，又把人都分给它），5 万台挤 1 台，和下面一个区的情形一模一样，只是小十倍。

## 2. 一个区：风暴

50 万台手机，剩下 10 台网关，每秒共 2 万次握手，最快也要 **25 秒**。

现在的客户端，是第 3 章那样的：连接一断马上重连；失败了按 1、2、4、8 秒……翻倍的退避再试，每次等待加随机抖动。这里再假设两个数：握手 10 秒没完成，手机就算失败；退避最长等 32 秒。

网关这边，来一条连接就接一条（接受连接很便宜），握手都排着等 CPU，不设上限：这是大多数服务端的默认样子，比如 Go 里每条连接一个 goroutine。模型里按先来后到一个个做；真实的服务端让所有握手轮流用 CPU，每个都更慢。

结果：

- **退避不加随机**：一半手机 87 秒才连上，全部要 132 秒；平均每台手机握手 4.4 次。
- **退避加随机**（第 3 章的客户端）：反而更慢，一半要 121 秒，全部 150 秒；每台握手 5.3 次。

两种都比 25 秒慢了好几倍，网关一直满负荷在忙。忙什么？

## 3. 在给走了的人干活

前 10 秒，10 台网关做完了 20 万次握手。另外 30 万台手机等满 10 秒，放弃了，准备重试。

可它们的连接请求还在网关的队列里。网关不知道对方已经走了：手机发来的第一个握手包早就在缓冲区里，网关照样读出来，做最贵的那一步签名运算（网关用证书的私钥签一下，证明自己是真的服务器，第 2 章），回过去才发现连接已经关了。接下来 15 秒，网关全在做这种白工。

重试的手机，排在这些白工后面；它们等不到 10 秒，又放弃了，又留下一批白工。一个区的风暴里，每台手机平均握手 4.4 到 5.3 次，只有最后一次有用，网关这样白做了约 170 万到 220 万次握手。

这也是加随机反而更慢的原因：这里模拟的随机（第 3 章的抖动），是在 0 到这次的退避时间之间随便挑一刻，所以一部分手机比不加随机时更早回来，正好排进一个还满是白工的队列。随机本身没错，它把重试错开了；错在网关还在做白工。

## 4. 准入控制：做不完的，立刻说不

办法在网关上：**只接自己来得及做的。**

1. **握手队列设上限**：每台网关最多排 5 秒的量（每秒 2,000 次，就是 1 万个），是手机 10 秒超时的一半，排进来的都能在手机放弃之前做完。
2. **多出来的，立刻关掉连接**，在 TLS 握手之前。这一步不做加密运算，几乎不花钱。
3. **被拒的手机**，按第 3 章的退避加随机再来。客户端不用改。

同一个区停掉：一半手机 **12.4 秒**连上，99% 38 秒，全部 **43 秒**；每台手机只握手一次，一次白工也没有。网关拒绝了约 160 万次，平均每台手机 3 次，每次只是接起来、马上挂掉。

要不要把第一次重连也打散，比如在 0 到 10 秒里随机挑一刻？图上也试了：一个区停掉时，结果差不多；一台网关重启时，原本 1.3 秒的事变成 10 秒。它让每一次断线都慢，所以不加。

## 5. 网关后面还有别人

连上只是第一步。每台连上的手机马上要同步（第 6、11 章）：拉会话记录的变化，再问一遍 200 个会话的最新 seq（每个会话里消息的连续序号，第 5 章）。

v3 平时高峰，每秒约 6,900 次同步（每天 2 亿次打开 App，高峰按平均的 3 倍）。一台网关的设备分给 19 台时，5 万台在 1.3 秒里连上，每秒约 3.8 万台，就是平时高峰的 **5.5 倍**；一个区停掉时，10 台网关每秒连上 2 万台，是 2.9 倍。握手扛住了，压力就往后传。

所以准入的上限不只看握手，要看后面最慢的那个；而且要看总数，不是每台各自的数。每台网关的上限加起来，才是后面要接的量：网关一多，总数就跟着变大。比如每台网关每秒放进 2,000 台，一个区停掉时剩下 10 台，后面每秒要接 2 万次同步；哪天这个区扩成 20 台、每台的上限没改，后面就要接 4 万次，可同步服务没有跟着变大。

Discord 在 2026 年 3 月的一次故障就是这样：一次配置变更停掉了 17% 的会话，客户端一起重连；限流还没按迁移后的新架构重新调，机器数比以前多，“每台机器的上限放进来更多”，那个可用区所有网关节点的内存都冲了上去，开始耗尽（[Discord 的复盘](https://discord.com/blog/behind-the-scenes-of-the-3-25-26-voice-outage)）。

## 6. 算一下

- **一台网关**：5 万台 ÷ 每秒 2,000 次 = 25 秒；分给另外 19 台，每台约 2,600 台，1.3 秒。
- **一个区**：50 万台 ÷ 每秒 2 万次 = 至少 25 秒；手机 10 秒就放弃，所以第一轮只有 20 万台赶得上。
- **准入以后**：全部 43 秒，每台握手 1 次；不准入，每台 4 到 5 次。
- **后面**：重连时每秒的同步是平时高峰的 2.9 到 5.5 倍。

## 7. 代价

- **有人比必要的等得久。** 能力 25 秒就够，最后一台却要 43 秒：被拒的手机在退避里睡着，网关有时反而闲着。
- **又多一个要调的数。** 每台的上限、加起来的总数，机器数一变就得重算；Discord 那次就是迁移后还没重算。
- **拒绝也有成本**：160 万次接起来又挂掉，量大，但每次很便宜（这是假设：不做 TLS 的拒绝，远比一次握手便宜）。

计划内的重启用不着风暴：先把设备一批批引走，再重启。那是第 35 章的事。

## 8. 其他答案

- **限制一段时间里开始几个会话**：Discord 的网关告诉每个应用 `max_concurrency`，即每 5 秒允许几个新会话开始（[网关文档](https://docs.discord.com/developers/events/gateway)）。和这一章按时间限排队是一个意思。
- **只靠客户端的退避加随机**：Marc Brooker 那篇文章比较过几种退避：不加随机最差，又慢又多做工；加了随机的几种里，“全随机”做的工最少（[AWS 架构博客，2015](https://aws.amazon.com/blogs/architecture/exponential-backoff-and-jitter/)）。它能把重试错开，可像第 3 节那样，服务端还在做白工时，只靠它不够。Ably 也建议重连用随机的指数退避，服务端快过载时拒掉一部分新连接（[Ably](https://dev.to/ably/challenges-of-scaling-websockets-3493)）。
- **让握手更便宜**：TLS 会话恢复跳过最贵的签名（第 2 章），网关每秒能接的更多，机制不变。
- **服务端告诉客户端“N 秒后再来”**：拒绝时带上一个等待时间，能把 43 秒往 25 秒拉近；可拒绝发生在 TLS 之前，还没有加密的通道能把这个数告诉手机，协议上就得另想办法。Telegram 的公开 API 两种都有：连上以后，某个调用太频繁，回 [`FLOOD_WAIT_X`](https://core.telegram.org/api/errors)，X 就是要等的秒数；而在 MTProto 的传输层，同一个 IP 短时间里连得太多，服务器只回一个 4 字节的错误码 -429（[transport flood](https://core.telegram.org/mtproto/mtproto-transports)），里面没有等多久。
- **后面的冷启动**：Slack 2021 年 1 月 4 日的故障复盘里写道，假期后第一天“客户端缓存是冷的，第一次连上时拉的数据比平时多”（[Slack](https://slack.engineering/slacks-outage-on-january-4th-2021/)）。重连之后的同步，同样是这笔账。

## 9. 这一章的决定

**决策卡**

- 问题：一个区的 10 台网关停了，50 万台手机同时回来。握手 10 秒没完成手机就放弃重试，可网关还在给已经走了的手机做握手，一半手机要等一两分钟。
- 选择：网关做准入控制：握手队列最多排 5 秒的量（手机超时的一半），多的在 TLS 之前立刻关掉；被拒的手机按第 3 章的退避加随机再来；上限按网关后面最慢的部分定总数。第一次重连不打散。
- 代价：最后一台要 43 秒，比能力所需的 25 秒长；一个区停掉时约 160 万次拒绝；上限要随机器数重算。
- 什么时候重新考虑：计划内的重启先引走设备（第 35 章）；丢掉整个数据中心（第 37 章）；连上之后的同步和后面的服务过载（第 34、36 章）。
- 其他答案：限制每 5 秒开始的会话数（Discord 的 max_concurrency）；只靠客户端退避加随机；TLS 会话恢复；拒绝时告诉客户端何时再来。

现在网关决定了谁能先进门。可进门的是谁？网关怎么知道这台手机真的是 Ana，又不用每次都去问 App 的登录服务？下一章：账号。
