深入理解 IM 系统

第 35 章

不断线的发布

网关也要发新版本。一台网关重启,它上面的 5 万台设备一起断线。怎样换掉 20 台网关的程序,让用户什么也感觉不到,坏了的版本也到不了所有人那里?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

第 20 章把逻辑从网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看里拆了出去,逻辑一周发布两次,谁也不断线。可网关自己也要发新版本:修它自己的 bug、升级 TLS 库。全书假设一个月一次。

v3 有 20 台网关,平时每台 5 万台设备(第 22 章)。一台网关的进程一退出,它的连接全断。

这一章的问题:怎样换掉网关的程序,让用户什么也感觉不到;万一新版本有问题,也只有少数人碰到?

1. 先想到的:一台一台重启

最常见的做法是滚动重启:重启一台,等它起来,再下一台,每台之间隔 30 秒。

先说它做对了什么。一台网关的 5 万台设备,接入调度接入调度locator告诉设备该连哪台网关的服务。设备先问它,再去连网关。在术语表里查看把它们分给另外 19 台,每台约 2,600 台;一台网关每秒能握手 2,000 次,1.3 秒就握手完了。第 24 章算过:这不是风暴。

可它还有两个问题。

每个人都断一次。 每台设备会看到一下“连接中”:重连 0.6–0.8 秒,再同步一次。断开的那一刻,推给它们的提醒丢了,靠同步补;正在发的消息,从发件箱重发(第 3 章)。一次发布,全站 100 万次被迫重连。

坏版本 10 分钟到所有人。 20 台、每台隔 30 秒,10 分钟就全换完了。新版本要是有个 bug,让 0.05% 的推送晚到,10 分钟里谁也看不出来。等看出来,已经在每一台上了。

2. 先发一台:灰度

先只换 1 台,让它跑一阵,和另外 19 台比。这叫灰度(canary,金丝雀)。Google 的 SRE 手册把它定义为“对服务的一次部分的、有时限的变更,加上对它的评估”,并建议用 SLI 来评估(Canarying Releases)。

评估用第 33 章的两样仪器:

  • 探针:每秒一条经过这台网关。它要是一条也推不出去,几秒就看见。
  • 抽样:这台网关上 5 万台设备,占在线的 5%。第 33 章每 1,024 次投递抽 1 次,经过这台的抽样每秒约 7 次,一小时约 2.4 万次。

能多快看出问题,取决于问题有多大。按“抽样里晚了 10 次”算看出来。比如新 bug 让 0.5% 的推送晚到:每秒 7 次抽样里晚 0.035 次,5 分钟攒够 10 次;正常的版本同样 5 分钟只该晚 0.2 次,差得一眼就看出来:

新 bug 让多少推送晚到 多久能看出来 同样时间里,正常版本晚几次
0.5% 5 分钟 0.2 次
0.05% 49 分钟 2 次

所以灰度至少看一小时,最好跨过晚上的高峰:SRE 手册也提醒,性能问题往往只在高负载下出现。看的时候和另外 19 台比,不和昨天比。

3. 排空:先搬走,再重启

灰度管的是“坏版本到不了所有人”。“每个人都断一次”要靠另一件事:重启以前,先把设备一台台搬走。这叫排空(drain):

  1. 不再接新的。 接入调度不再把新设备分给这台网关。
  2. 请设备搬家。 网关给自己的设备发一帧“请换一台”,每秒 1,000 台。
  3. 先连新的,再断旧的。 手机收到这一帧,问接入调度该连哪台,连上、验令牌、同步完,再关掉旧连接。中间没有一刻是断着的。
  4. 空了就重启。 5 万台,每秒 1,000 台,50 秒排空。新版本起来以后,它又开始接设备。

第 3 步有一段时间,手机同时连着两台网关。它会不会收两遍、或者漏一条?

  • 在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看:新连接登记时覆盖旧的那一行;旧连接关闭时,按第 20 章的规则,只有连接号对得上才删,所以删不掉新的那一行。
  • 两条连接上都可能来同一条推送:手机的本地数据库按“发送者 + 消息 ID”只存一份(第 7 章)。
  • 两条之间漏掉的:同步按记录版本补齐(第 11 章)。

为什么是每秒 1,000 台?搬一台就是一次同步。高峰时全站每秒约 6,900 次同步,排空多加 1,000 次,是 14%,后面扛得住。搬得更快,同步也跟着涨。所以能搬多快,不看网关握手有多快,看它后面最慢的那一环,这里是同步:第 24 章定准入上限也是这个道理。

旧版本的 App 不认识“请换一台”这一帧:它连上时没报这项能力,按第 31 章的规矩,网关就不发给它。排空的最后,网关把剩下的连接关掉,它们像平常断线一样重连。

网关这一边也有同样的事:发“请换一台”的,是正在被排空的旧版本。所以这一帧得在上一个版本里就有;第一次加上它的那次发布,只能按第 1 节的老办法一台台重启。

4. 往哪搬

排空 20 台,要一台接一台地做。搬走的设备去哪,有讲究。

要是接入调度把它们平均分给另外 19 台,就会有很多设备落在还没排空的网关上,轮到那台时再搬一次。按模型算,平均每台设备搬 1.7 次;越排到后面,剩下的网关越满,最满的一台到了 13 万,超过第 22 章定的每台 10 万的上限。

办法很简单:分给连接最少的那台。刚升级完的那台是空的,正好接下一台搬出来的设备,每秒 1,000 台,是它握手能力的一半。这样只有第一台的 5 万台要搬两次,平均每台 1.05 次,最满的一台也只有 5.3 万。

灰度也是这样开始的:第一台升级完是空的,排空第二台,它的 5 万台设备正好搬进来,然后才开始看那一小时。

5. 两个版本同时在线

从灰度开始到最后一台换完,一个多小时里,新旧两个版本的网关同时在跑。所以:

  • 网关和后面逻辑之间的协议,两个版本都要认得,跟第 31 章新旧 App 是一个道理。
  • 灰度看出问题,要能退回去:退回也是一次排空,方向反过来。

消息服务器也有状态了(第 28 章),它们发布时一台台来,每台按第 28 章“计划内的交接”把会话交出去:旧主人先不再接这个会话的新消息,把手上的写完再放手,新主人才接过去。先交出去再重启,和网关的排空是同一个思路。

6. 算一下

  • 直接重启一台:5 万台断线,分给 19 台各约 2,600,1.3 秒握完;一次发布 100 万次重连。
  • 灰度:1 台,5% 的在线设备;0.5% 的问题 5 分钟看出来,0.05% 的要 49 分钟。
  • 排空:每秒 1,000 台,每台 50 秒,20 台约 17 分钟;同步多 14%。
  • 往哪搬:平均分,每台设备搬 1.7 次、最满 13 万;分给最少的,1.05 次、最满 5.3 万。

7. 代价

  • 慢。 灰度一小时,加上排空 17 分钟;直接重启只要 10 分钟。
  • 两个版本同时在线,协议要两边都认,退回也要排空一遍。
  • 手机要多会一件事:收到“请换一台”,先连新的再断旧的。旧 App 做不到,还是会断一次。
  • 排空的路径一个月才走一次,不常走的路容易坏(第 38 章演练)。

8. 其他答案

  • 热升级:把打开的连接交给新进程。 一条连接也不断,可 TLS 的密钥、序号和协议的状态都要一起交过去,最难写对。Envoy 的热重启交的只是监听端口:新进程接过端口接新连接,“热重启不会把已有的连接转给新进程”,旧进程在排空期里把它们慢慢关掉(Envoy hot restart)。
  • 旧进程留着慢慢等。 Slack 用 HAProxy 时,重新加载后让旧进程“再跑好几个小时,让长连接的 websocket 自己排空”;换到 Envoy 以后,写的是热重启“不断开任何连接”(Slack):旧进程在排空期里继续服务已有的连接,所以重启那一刻谁也不断。
  • 服务端叫客户端重连,并且恢复会话。 Discord 的网关有一个 Reconnect 事件,意思是“服务器要走了,客户端应当重连并恢复会话”;恢复时带上会话 ID 和最后收到的序号,网关按顺序补发漏掉的事件(Gateway,Gateway Events)。这一章的“请换一台”加同步,是同一个意思。
  • QUIC 的连接迁移。 它让连接在客户端换网络时活下来;可规范写明“只有客户端能迁移”,也不支持在连接中途换到另一个服务器地址(RFC 9000 第 1、9.6 节)。换网关帮不上忙。

9. 这一章的决定

发布可以不打扰人了。可要是网关好好的,后面的存储从 5 毫秒慢到了 500 毫秒呢?什么都没挂,什么都在变慢。下一章:依赖变慢的时候。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。