# 第 35 章：不断线的发布

> 网关也要发新版本。一台网关重启，它上面的 5 万台设备一起断线。怎样换掉 20 台网关的程序，让用户什么也感觉不到，坏了的版本也到不了所有人那里？

深入理解 IM 系统 · https://im.liko.page/zh/deploy-without-disconnects/

第 20 章把逻辑从网关里拆了出去，逻辑一周发布两次，谁也不断线。可网关自己也要发新版本：修它自己的 bug、升级 TLS 库。全书假设一个月一次。

v3 有 20 台网关，平时每台 5 万台设备（第 22 章）。一台网关的进程一退出，它的连接全断。

这一章的问题：**怎样换掉网关的程序，让用户什么也感觉不到；万一新版本有问题，也只有少数人碰到？**

## 1. 先想到的：一台一台重启

最常见的做法是滚动重启：重启一台，等它起来，再下一台，每台之间隔 30 秒。

先说它做对了什么。一台网关的 5 万台设备，接入调度把它们分给另外 19 台，每台约 2,600 台；一台网关每秒能握手 2,000 次，1.3 秒就握手完了。第 24 章算过：这不是风暴。

可它还有两个问题。

**每个人都断一次。** 每台设备会看到一下“连接中”：重连 0.6–0.8 秒，再同步一次。断开的那一刻，推给它们的提醒丢了，靠同步补；正在发的消息，从发件箱重发（第 3 章）。一次发布，全站 100 万次被迫重连。

**坏版本 10 分钟到所有人。** 20 台、每台隔 30 秒，10 分钟就全换完了。新版本要是有个 bug，让 0.05% 的推送晚到，10 分钟里谁也看不出来。等看出来，已经在每一台上了。

## 2. 先发一台：灰度

先只换 1 台，让它跑一阵，和另外 19 台比。这叫**灰度**（canary，金丝雀）。Google 的 SRE 手册把它定义为“对服务的一次部分的、有时限的变更，加上对它的评估”，并建议用 SLI 来评估（[Canarying Releases](https://sre.google/workbook/canarying-releases/)）。

评估用第 33 章的两样仪器：

- **探针**：每秒一条经过这台网关。它要是一条也推不出去，几秒就看见。
- **抽样**：这台网关上 5 万台设备，占在线的 5%。第 33 章每 1,024 次投递抽 1 次，经过这台的抽样每秒约 7 次，一小时约 2.4 万次。

能多快看出问题，取决于问题有多大。按“抽样里晚了 10 次”算看出来。比如新 bug 让 0.5% 的推送晚到：每秒 7 次抽样里晚 0.035 次，5 分钟攒够 10 次；正常的版本同样 5 分钟只该晚 0.2 次，差得一眼就看出来：

| 新 bug 让多少推送晚到 | 多久能看出来 | 同样时间里，正常版本晚几次 |
|---|---|---|
| 0.5% | 5 分钟 | 0.2 次 |
| 0.05% | 49 分钟 | 2 次 |

所以灰度至少看一小时，最好跨过晚上的高峰：SRE 手册也提醒，性能问题往往只在高负载下出现。看的时候和另外 19 台比，不和昨天比。

## 3. 排空：先搬走，再重启

灰度管的是“坏版本到不了所有人”。“每个人都断一次”要靠另一件事：重启以前，先把设备一台台搬走。这叫**排空**（drain）：

1. **不再接新的。** 接入调度不再把新设备分给这台网关。
2. **请设备搬家。** 网关给自己的设备发一帧“请换一台”，每秒 1,000 台。
3. **先连新的，再断旧的。** 手机收到这一帧，问接入调度该连哪台，连上、验令牌、同步完，再关掉旧连接。中间没有一刻是断着的。
4. **空了就重启。** 5 万台，每秒 1,000 台，**50 秒**排空。新版本起来以后，它又开始接设备。

第 3 步有一段时间，手机同时连着两台网关。它会不会收两遍、或者漏一条？

- 在线路由表：新连接登记时覆盖旧的那一行；旧连接关闭时，按第 20 章的规则，只有连接号对得上才删，所以删不掉新的那一行。
- 两条连接上都可能来同一条推送：手机的本地数据库按“发送者 + 消息 ID”只存一份（第 7 章）。
- 两条之间漏掉的：同步按记录版本补齐（第 11 章）。

为什么是每秒 1,000 台？搬一台就是一次同步。高峰时全站每秒约 6,900 次同步，排空多加 1,000 次，是 14%，后面扛得住。搬得更快，同步也跟着涨。所以能搬多快，不看网关握手有多快，看它后面最慢的那一环，这里是同步：第 24 章定准入上限也是这个道理。

旧版本的 App 不认识“请换一台”这一帧：它连上时没报这项能力，按第 31 章的规矩，网关就不发给它。排空的最后，网关把剩下的连接关掉，它们像平常断线一样重连。

网关这一边也有同样的事：发“请换一台”的，是正在被排空的旧版本。所以这一帧得在上一个版本里就有；第一次加上它的那次发布，只能按第 1 节的老办法一台台重启。

## 4. 往哪搬

排空 20 台，要一台接一台地做。搬走的设备去哪，有讲究。

要是接入调度把它们平均分给另外 19 台，就会有很多设备落在还没排空的网关上，轮到那台时再搬一次。按模型算，平均每台设备搬 **1.7 次**；越排到后面，剩下的网关越满，最满的一台到了 13 万，超过第 22 章定的每台 10 万的上限。

办法很简单：**分给连接最少的那台**。刚升级完的那台是空的，正好接下一台搬出来的设备，每秒 1,000 台，是它握手能力的一半。这样只有第一台的 5 万台要搬两次，平均每台 **1.05 次**，最满的一台也只有 5.3 万。

灰度也是这样开始的：第一台升级完是空的，排空第二台，它的 5 万台设备正好搬进来，然后才开始看那一小时。

## 5. 两个版本同时在线

从灰度开始到最后一台换完，一个多小时里，新旧两个版本的网关同时在跑。所以：

- 网关和后面逻辑之间的协议，两个版本都要认得，跟第 31 章新旧 App 是一个道理。
- 灰度看出问题，要能退回去：退回也是一次排空，方向反过来。

消息服务器也有状态了（第 28 章），它们发布时一台台来，每台按第 28 章“计划内的交接”把会话交出去：旧主人先不再接这个会话的新消息，把手上的写完再放手，新主人才接过去。先交出去再重启，和网关的排空是同一个思路。

## 6. 算一下

- **直接重启一台**：5 万台断线，分给 19 台各约 2,600，1.3 秒握完；一次发布 100 万次重连。
- **灰度**：1 台，5% 的在线设备；0.5% 的问题 5 分钟看出来，0.05% 的要 49 分钟。
- **排空**：每秒 1,000 台，每台 50 秒，20 台约 17 分钟；同步多 14%。
- **往哪搬**：平均分，每台设备搬 1.7 次、最满 13 万；分给最少的，1.05 次、最满 5.3 万。

## 7. 代价

- **慢。** 灰度一小时，加上排空 17 分钟；直接重启只要 10 分钟。
- **两个版本同时在线**，协议要两边都认，退回也要排空一遍。
- **手机要多会一件事**：收到“请换一台”，先连新的再断旧的。旧 App 做不到，还是会断一次。
- **排空的路径一个月才走一次**，不常走的路容易坏（第 38 章演练）。

## 8. 其他答案

- **热升级：把打开的连接交给新进程。** 一条连接也不断，可 TLS 的密钥、序号和协议的状态都要一起交过去，最难写对。Envoy 的热重启交的只是监听端口：新进程接过端口接新连接，“热重启不会把已有的连接转给新进程”，旧进程在排空期里把它们慢慢关掉（[Envoy hot restart](https://www.envoyproxy.io/docs/envoy/latest/intro/arch_overview/operations/hot_restart)）。
- **旧进程留着慢慢等。** Slack 用 HAProxy 时，重新加载后让旧进程“再跑好几个小时，让长连接的 websocket 自己排空”；换到 Envoy 以后，写的是热重启“不断开任何连接”（[Slack](https://slack.engineering/migrating-millions-of-concurrent-websockets-to-envoy/)）：旧进程在排空期里继续服务已有的连接，所以重启那一刻谁也不断。
- **服务端叫客户端重连，并且恢复会话。** Discord 的网关有一个 Reconnect 事件，意思是“服务器要走了，客户端应当重连并恢复会话”；恢复时带上会话 ID 和最后收到的序号，网关按顺序补发漏掉的事件（[Gateway](https://docs.discord.com/developers/events/gateway)，[Gateway Events](https://docs.discord.com/developers/events/gateway-events)）。这一章的“请换一台”加同步，是同一个意思。
- **QUIC 的连接迁移。** 它让连接在客户端换网络时活下来；可规范写明“只有客户端能迁移”，也不支持在连接中途换到另一个服务器地址（[RFC 9000](https://www.rfc-editor.org/rfc/rfc9000.html) 第 1、9.6 节）。换网关帮不上忙。

## 9. 这一章的决定

**决策卡**

- 问题：网关也要发布。一台台直接重启不会引起风暴，可每个用户都断一次（一次发布 100 万次重连），有问题的版本 10 分钟就到了所有网关上。
- 选择：先发一台当灰度，用第 33 章的探针和抽样与另外 19 台比，至少看一小时；然后一台台排空：接入调度不再分新设备给它，网关每秒请 1,000 台设备换一台，手机先连上连接最少的网关、同步完，再关旧连接；空了再重启。
- 代价：一次发布一个多小时（灰度一小时，排空 17 分钟）；新旧版本同时在线，协议要两边都认；手机要会“先连新的再断旧的”，旧 App 还会断一次；排空一个月才走一次，要演练。
- 什么时候重新考虑：依赖慢下来时（第 36 章）；整个机房的设备一起搬（第 37 章）；演练排空和回退（第 38 章）。
- 其他答案：热升级，把连接交给新进程；旧进程留着慢慢排空（Slack 用 HAProxy 时）；服务端叫客户端重连并恢复会话（Discord）；QUIC 连接迁移帮不上换服务器。

发布可以不打扰人了。可要是网关好好的，后面的存储从 5 毫秒慢到了 500 毫秒呢？什么都没挂，什么都在变慢。下一章：依赖变慢的时候。
