深入理解 IM 系统

第 34 章

过载:限流与降级

有人写了个脚本,每秒往 500 人的徒步群里发 100 条。网关扛得住,可别的群的未读数和通知开始晚好几分钟。来的比扛得住的多时,该在哪里说“不”,先丢什么?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

周六晚上,徒步群里有人的账号被盗,一个脚本开始每秒往群里发 100 条广告。

群里 500 人的手机一起响。过了几分钟,别的群也出了怪事:未读数不动了,离线的人收不到通知,和那个群一点关系也没有。

这一章的问题:来的比扛得住的多时,在哪里说“不”,先丢什么?

1. 先算哪里扛不住

一条消息进来,要做的事乘上了群的人数:

每秒 100 条 × 500 人 × 每人 1.5 台设备 = 每秒 75,000 次投递,是 v3 全站高峰 139,000 的 54%

听起来很吓人,可这些设备分散在 20 台网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看上,每台只多 3,750 次。加上平时的 6,950 次,是它推送能力(每秒 5 万次)的 21%。网关不是瓶颈。

瓶颈在会话记录。第 11 章定过:每条消息,要给每个成员改一行会话记录(贴版本号、更新最新 seq)。每秒 100 条,就是每秒 50,000 次小事务;每次改两行(这个人的版本号和会话那一行,第 11 章),是每秒 10 万行,5 台存储的写入能力(一台每秒写 2 万行)。

第 29 章里,这件事由消息日志消息日志message log持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。在术语表里查看后面的“会话记录”消费者来做。一个群的消息都在日志的同一段(分区)里,由一个消费者按顺序读。假设它每秒能做 10,000 次这样的更新,那它只跟得上实际速度的五分之一,每秒欠下 4 万次:

脚本跑 10 分钟,欠下 2,400 万次;10 分钟只做完 2 分钟的量,这个分区落后 8 分钟

同一个分区里还有成千上万别的会话。它们的会话记录、未读数(第 14 章),以及挂在会话记录后面的离线通知(第 17 章),都排在这 2,400 万次没做完的更新后面。这就是开头那些“和它没关系”的群。

被骚扰的还有人:750 台设备,每台每秒收 100 条,10 分钟 6 万条。

2. 入口限流:限在状态本来就在的地方

要在消息被乘上 500 之前挡住它。挡两道:

按设备,在网关上。 每台设备每秒最多发 5 条。网关从登录令牌(第 25 章)就知道这是谁的哪台设备,计数放在这条连接上,不用问任何人。

脚本从每秒 100 条降到 5 条:投递从 75,000 次降到 3,750 次,记录更新降到 2,500 次。

用令牌桶:桶里每秒补 5 个令牌,最多存 20 个,发一条拿一个。Ana 一下转发 9 张照片,桶里有存货,全部通过;要是规定“任意一秒最多 5 条”,就会拒掉 4 张。正常人偶尔一阵快,脚本是一直快,令牌桶分得开这两种。

按会话,在它的消息服务器上。 一道按设备的限制挡不住 20 个账号一起来:20 × 5 又是每秒 100 条。可每个会话本来就只归一台消息服务器管(第 28 章),这个会话每秒来了多少,它一看就知道。

限的不是条数,是 条数 × 成员数:每个会话每秒最多送给 5,000 人次。每人次是一次会话记录更新,按第 11 章写两行,就是每秒 1 万行,正好是第 11 章算过的“半台存储”(一台每秒 2 万行)。这样:

会话 每秒最多
两人单聊 由按设备的 5 条管
50 人的群 100 条
500 人的徒步群 10 条

被拒的消息不丢。消息服务器回一个“慢一点,N 毫秒后再试”,消息还在手机的发件箱里(第 3 章),到时间再发。发的人看到的是“发送中”,而不是“已发送”之后谁也收不到。

3. 入口后面:每个队列都有上限

限流挡住的是可以预见的量。挡不住的,比如一个可用区挂了,剩下 10 台网关每台每秒要推 13,900 次;13,900 是晚高峰,全天平均只有它的三分之一;第 29 章那样的突发是平均的 10 倍,每台就是 46,300 次,离上限 50,000 只差一点。这时候,先丢什么,得事先定好。

规则:每个队列都有上限,满了按优先级丢。

以每条连接的推送队列为例:每条连接最多攒 64 KB,300 多条消息。一台网关平时 5 万条连接,最坏也就 3.2 GB;丢一个可用区、每台 10 万条时是 6.4 GB,也装得下(第 22 章给连接留了 16 GB)。没有上限的话,一台收得慢的手机就能让网关的内存一直涨。

满了,按这个顺序丢:

  1. “正在输入”这类提示:过一秒就没用了。
  2. 在线状态(第 21 章):全站高峰每秒约 3,500 个。丢了一次变化,手机下次报屏幕上有谁时,服务器会回最新的状态。
  3. 已读回执(第 15 章):读到哪记在服务器上,下次同步会带上。
  4. 消息的推送,但不丢消息:消息已经在日志里,推送只是提醒(第 2 章)。网关丢掉这条连接排着的推送,换成一帧“有没推到的,去同步”,手机按第 11 章同步一次,自己拉。

前三样丢了没人发现;第四样只是晚一点。没有哪一样会让消息从此不见。

4. 算一下

  • 没限流:每秒 75,000 次投递,每台网关只多 3,750;记录每秒 50,000 次,分区 10 分钟落后 8 分钟。
  • 按设备每秒 5 条:每秒 3,750 次投递,2,500 次记录。
  • 按会话每秒 5,000 人次:徒步群最多每秒 10 条,记录 5,000 次,是一个消费者的一半。
  • 推送队列:每条连接 64 KB,一台网关最坏 3.2 GB(丢一个可用区时 6.4 GB)。

5. 代价

  • 限错了,挡的是真人。 一个 500 人的群,10 条/秒在抢红包、跨年倒数时可能真的不够;限额要能按会话调,调了要有人看。
  • 一个群的额度会被占满。 20 个账号一起刷,额度用完,群里的真人也发不出去。限流只能让损害停在这个群里;把号封掉,要靠举报和审核。
  • 拒绝要客户端配合。 旧版本的 App 不认识“N 毫秒后再试”,只会按第 3 章的退避重发(第 31 章)。
  • 降级的代码平时不跑。 丢在线状态、换成“去同步”,只在坏日子里走。SRE 书说:“从来不用的代码路径,往往就是不工作的那条。”它建议定期让一小部分服务器跑在接近过载的状态,让降级一直被走到(Addressing Cascading Failures)。演练是第 38 章。
  • 限的是量,不是内容。 一个每秒只发 1 条的广告号,限流不管。垃圾检测、内容安全要在发送路径上另做,比如发送前回调发送前回调before-send callbackIM 在保存一条消息之前,先调用业务方的服务问“这条能发吗”,按回答放行、拒绝或改写。规则总是最新的,代价是每条消息多等一个来回,业务方出故障时只能一律放行或一律拒绝(分支:IM 作为平台)。在术语表里查看(第 44 章)。

6. 其他答案

  • 按群固定一个数,超了悄悄丢。 腾讯云 IM 每个群默认每秒 40 条;超了先送高优先级的(红包、礼物),被频率控制挡下的消息“不下发、不存历史,但给发送者返回成功”(腾讯云 IM 消息类型文档)。对直播间合适:少一条点赞没人在意(第 41 章)。对徒步群不合适:Ana 以为发出去了。
  • 按调用方限,告诉它何时再来。 Slack 的接口规定应用“每个频道每秒不超过一条消息”,允许短时间超出;超了返回 HTTP 429 和 Retry-After(Rate limits)。Telegram 的公开 API 也是这样:同一个方法、同样的参数调得太多,返回错误 420 FLOOD_WAIT_X,X 是要等的秒数(第 24 章,Error handling)。
  • 给请求分等级,过载时先拒低的。 Google 把请求分成四级,从 CRITICAL_PLUS 到 SHEDDABLE;客户端发现自己的请求被拒得多了,会先在本地拒掉一部分,不再打过去(Handling Overload)。和第 3 节按优先级丢是一个意思,放在了调用的两端。
  • 忙的群整个改成“通知 + 拉”。 不推消息,只推“有新消息”,手机自己拉。上万人的群和直播间用得上(第 40、41 章);500 人的群,每秒 10 条推得动,用不着。

7. 这一章的决定

限流管的是来的太多。可网关自己也要升级:一台网关重启,5 万台设备一起断开。下一章:不断线的发布。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。