深入理解 IM 系统

第 24 章

重连风暴

一个可用区的网关全停了,50 万台手机同时断开、同时回来。剩下的网关每秒能握手 2 万次,25 秒就该连完,为什么一半人要等一两分钟?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

第 22 章把 v3 的 20 台网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看分在两个可用区(电源和网络互相独立的两组机房),每区 10 台,一个区整个停了,另一个区也装得下所有人。

某天下午,一个区停了。那 10 台网关上的 50 万台手机同时断开,同时回来,压向另外 10 台。这一章要回答:装得下,为什么连不上;怎么让它们尽快、有序地回来。

1. 先看一台:不是风暴

按全书假设,一台网关每秒能做 2,000 次完整的 TLS 握手(第 2 章)。平时它连着 5 万台设备(第 22 章),一起回来要 25 秒。

可 v3 有了接入调度接入调度locator告诉设备该连哪台网关的服务。设备先问它,再去连网关。在术语表里查看(第 20 章):手机先问它该连哪台,它把这 5 万台分给另外 19 台网关,每台约 2,600 台,1.3 秒就连完了。一台网关重启,用不着别的办法。

要是都回到原来那台(没有接入调度,或者调度看它最空,又把人都分给它),5 万台挤 1 台,和下面一个区的情形一模一样,只是小十倍。

2. 一个区:风暴

50 万台手机,剩下 10 台网关,每秒共 2 万次握手,最快也要 25 秒。

现在的客户端,是第 3 章那样的:连接一断马上重连;失败了按 1、2、4、8 秒……翻倍的退避再试,每次等待加随机抖动。这里再假设两个数:握手 10 秒没完成,手机就算失败;退避最长等 32 秒。

网关这边,来一条连接就接一条(接受连接很便宜),握手都排着等 CPU,不设上限:这是大多数服务端的默认样子,比如 Go 里每条连接一个 goroutine。模型里按先来后到一个个做;真实的服务端让所有握手轮流用 CPU,每个都更慢。

结果:

  • 退避不加随机:一半手机 87 秒才连上,全部要 132 秒;平均每台手机握手 4.4 次。
  • 退避加随机(第 3 章的客户端):反而更慢,一半要 121 秒,全部 150 秒;每台握手 5.3 次。

两种都比 25 秒慢了好几倍,网关一直满负荷在忙。忙什么?

3. 在给走了的人干活

前 10 秒,10 台网关做完了 20 万次握手。另外 30 万台手机等满 10 秒,放弃了,准备重试。

可它们的连接请求还在网关的队列里。网关不知道对方已经走了:手机发来的第一个握手包早就在缓冲区里,网关照样读出来,做最贵的那一步签名运算(网关用证书的私钥签一下,证明自己是真的服务器,第 2 章),回过去才发现连接已经关了。接下来 15 秒,网关全在做这种白工。

重试的手机,排在这些白工后面;它们等不到 10 秒,又放弃了,又留下一批白工。一个区的风暴里,每台手机平均握手 4.4 到 5.3 次,只有最后一次有用,网关这样白做了约 170 万到 220 万次握手。

这也是加随机反而更慢的原因:这里模拟的随机(第 3 章的抖动),是在 0 到这次的退避时间之间随便挑一刻,所以一部分手机比不加随机时更早回来,正好排进一个还满是白工的队列。随机本身没错,它把重试错开了;错在网关还在做白工。

4. 准入控制:做不完的,立刻说不

办法在网关上:只接自己来得及做的。

  1. 握手队列设上限:每台网关最多排 5 秒的量(每秒 2,000 次,就是 1 万个),是手机 10 秒超时的一半,排进来的都能在手机放弃之前做完。
  2. 多出来的,立刻关掉连接,在 TLS 握手之前。这一步不做加密运算,几乎不花钱。
  3. 被拒的手机,按第 3 章的退避加随机再来。客户端不用改。

同一个区停掉:一半手机 12.4 秒连上,99% 38 秒,全部 43 秒;每台手机只握手一次,一次白工也没有。网关拒绝了约 160 万次,平均每台手机 3 次,每次只是接起来、马上挂掉。

要不要把第一次重连也打散,比如在 0 到 10 秒里随机挑一刻?图上也试了:一个区停掉时,结果差不多;一台网关重启时,原本 1.3 秒的事变成 10 秒。它让每一次断线都慢,所以不加。

5. 网关后面还有别人

连上只是第一步。每台连上的手机马上要同步(第 6、11 章):拉会话记录的变化,再问一遍 200 个会话的最新 seq(每个会话里消息的连续序号,第 5 章)。

v3 平时高峰,每秒约 6,900 次同步(每天 2 亿次打开 App,高峰按平均的 3 倍)。一台网关的设备分给 19 台时,5 万台在 1.3 秒里连上,每秒约 3.8 万台,就是平时高峰的 5.5 倍;一个区停掉时,10 台网关每秒连上 2 万台,是 2.9 倍。握手扛住了,压力就往后传。

所以准入的上限不只看握手,要看后面最慢的那个;而且要看总数,不是每台各自的数。每台网关的上限加起来,才是后面要接的量:网关一多,总数就跟着变大。比如每台网关每秒放进 2,000 台,一个区停掉时剩下 10 台,后面每秒要接 2 万次同步;哪天这个区扩成 20 台、每台的上限没改,后面就要接 4 万次,可同步服务没有跟着变大。

Discord 在 2026 年 3 月的一次故障就是这样:一次配置变更停掉了 17% 的会话,客户端一起重连;限流还没按迁移后的新架构重新调,机器数比以前多,“每台机器的上限放进来更多”,那个可用区所有网关节点的内存都冲了上去,开始耗尽(Discord 的复盘)。

6. 算一下

  • 一台网关:5 万台 ÷ 每秒 2,000 次 = 25 秒;分给另外 19 台,每台约 2,600 台,1.3 秒。
  • 一个区:50 万台 ÷ 每秒 2 万次 = 至少 25 秒;手机 10 秒就放弃,所以第一轮只有 20 万台赶得上。
  • 准入以后:全部 43 秒,每台握手 1 次;不准入,每台 4 到 5 次。
  • 后面:重连时每秒的同步是平时高峰的 2.9 到 5.5 倍。

7. 代价

  • 有人比必要的等得久。 能力 25 秒就够,最后一台却要 43 秒:被拒的手机在退避里睡着,网关有时反而闲着。
  • 又多一个要调的数。 每台的上限、加起来的总数,机器数一变就得重算;Discord 那次就是迁移后还没重算。
  • 拒绝也有成本:160 万次接起来又挂掉,量大,但每次很便宜(这是假设:不做 TLS 的拒绝,远比一次握手便宜)。

计划内的重启用不着风暴:先把设备一批批引走,再重启。那是第 35 章的事。

8. 其他答案

  • 限制一段时间里开始几个会话:Discord 的网关告诉每个应用 max_concurrency,即每 5 秒允许几个新会话开始(网关文档)。和这一章按时间限排队是一个意思。
  • 只靠客户端的退避加随机:Marc Brooker 那篇文章比较过几种退避:不加随机最差,又慢又多做工;加了随机的几种里,“全随机”做的工最少(AWS 架构博客,2015)。它能把重试错开,可像第 3 节那样,服务端还在做白工时,只靠它不够。Ably 也建议重连用随机的指数退避,服务端快过载时拒掉一部分新连接(Ably)。
  • 让握手更便宜:TLS 会话恢复跳过最贵的签名(第 2 章),网关每秒能接的更多,机制不变。
  • 服务端告诉客户端“N 秒后再来”:拒绝时带上一个等待时间,能把 43 秒往 25 秒拉近;可拒绝发生在 TLS 之前,还没有加密的通道能把这个数告诉手机,协议上就得另想办法。Telegram 的公开 API 两种都有:连上以后,某个调用太频繁,回 FLOOD_WAIT_X,X 就是要等的秒数;而在 MTProto 的传输层,同一个 IP 短时间里连得太多,服务器只回一个 4 字节的错误码 -429(transport flood),里面没有等多久。
  • 后面的冷启动:Slack 2021 年 1 月 4 日的故障复盘里写道,假期后第一天“客户端缓存是冷的,第一次连上时拉的数据比平时多”(Slack)。重连之后的同步,同样是这笔账。

9. 这一章的决定

现在网关决定了谁能先进门。可进门的是谁?网关怎么知道这台手机真的是 Ana,又不用每次都去问 App 的登录服务?下一章:账号。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。