# 第 20 章：拆出网关

> 一百万台设备同时在线，一台服务器装不下；复制几台，每次发布还是会断开所有人。连接和逻辑怎么分开？

深入理解 IM 系统 · https://im.liko.page/zh/split-the-gateway/

App 长到了 1,000 万日活用户，高峰时 100 万台设备同时在线。这就是 v3。

到 v2 为止，服务端是一个程序：它握着每一条长连接，也跑着全部的逻辑：去重、取 seq（消息在会话里的序号）、写会话记录、推送。100 万条连接，一台机器装不下。最顺手的办法是多开几台，可那样每次发布，所有人还是一起断线。

这一章决定：持有连接的部分，和逻辑分开。

## 1. 先想到的：复制几台

把 v2 的服务器原样复制 20 台，前面放一个负载均衡，每台持有二十分之一的连接。这是合理的第一步，很多系统就是这样起步的。

它确实装得下：每台 5 万条连接，按每条 30 KB 算是 1.5 GB 内存（每台放多少，这里先假设，第 22 章细算）。新出的问题也好解决：Ana 连在第 3 台，Ben 连在第 7 台，第 3 台收下 Ana 的消息以后，要知道 Ben 在哪台。这张表下面第 4 节再说，拆不拆都要有。

复制解决不了的，是发布。

## 2. 发布会断开所有人

逻辑改得勤：修 bug、加消息类型、改规则，全书假设一周发布两次。每发布一次，20 台服务器要一台台重启；进程一退出，它握着的连接全断。

> 一周 2 次 × 100 万条连接 = **每周 200 万次重连**

论次数这不算多：每次打开 App 本来就要新建一次连接，一天 2 亿次（第 26 章）。贵在两点：

- **断的是正在用的人。** 正在聊天的 Ana，屏幕上闪一下“连接中”，和她自己的网络无关，只因为服务端在发布。重新建连要 0.6–0.8 秒（第 2 章），断线那几秒的推送，靠重连后的同步补回来。
- **它们一起来。** 重启一台，它的 5 万台设备同时连回来；按一台每秒 2,000 次握手（第 2 章），光握手就要 25 秒，还要再做 5 万次同步。

逻辑出错也一样。一种新消息类型让解析代码崩了，进程退出，这一台的 5 万条连接跟着断。逻辑里的 bug，变成了连接的事故。

还有一点：两边长大的方式不一样。连接吃内存，一条空闲连接也占着 30 KB；逻辑吃 CPU，跟着消息量走，高峰每秒 13,900 条。复制一台，两样一起买。

## 3. 拆开：网关只管连接

把程序切成两半：

- **网关**：只持有连接。收到一帧，按类型转给后面的逻辑；后面要推下来的帧，写进对应的连接。它不看消息内容。
- **逻辑**：消息层、分发层、业务层，都在网关后面，自己部署。它们不持有连接，重启一台，网关把请求转给别的那几台，手机什么也感觉不到。

网关有好几台，手机连哪台？连之前先问接入调度，它按各台网关的负载回一个地址。

哪些放进网关，哪些不放，标准只有一个：**会不会常改**。

| 放进网关 | 不放 |
|---|---|
| TLS、拆帧（第 2 章、旁支“拆包与组帧”） | 去重、取 seq（第 4、5 章） |
| 心跳，发现死掉的连接（第 23 章） | 群成员、谁能发给谁（业务层） |
| 检查登录令牌（第 25 章） | 消息类型、消息内容 |
| 连得太快时排队（第 24 章） | 会话记录、未读数 |
| 在路由表里登记、注销；连接断开时告诉后面 | |

左边几年也改不了几次；右边一周改两次。只要右边一样也不进网关，加一种消息类型就不用发布网关。网关自己还是要发布（修它自己的 bug、升级 TLS 库），只是少得多。假设一个月一次：每月因发布而起的重连，从约 860 万次（一个月约 4.3 周，每周 200 万）降到 100 万次（网关发布一次，100 万条连接各断一次）。

## 4. 推送要找人：在线路由表

网关一多，就有两种往下发的东西，找连接的方式不一样：

- **回复**：Ana 发消息，确认要回给她。请求是从哪条连接进来的，网关记着，回复原路返回，不用查任何表。
- **推送**：Ben 什么也没问，服务端主动找他。这要知道他的每台设备连在哪台网关。

所以多一张表，在线路由表：

> 人、设备 → 网关、连接号、连上的时间

设备连上时，网关写一行（有旧的就覆盖）；断开时删掉。分发层推送前，按人查一次，就拿到他在线的每台设备和各自的网关，再把帧交给那几台网关。查不到，就当他不在线，走系统推送（第 17 章）。

这张表不大，但很忙：

- **大小**：100 万行，每行按 64 字节算，约 64 MB。
- **写**：每次打开 App 连一次、退出断一次，各写一次，高峰每秒约 13,900 次。
- **读**：一条消息到几个人就查几次。高峰每秒 13,900 条，每条平均到 6.67 人（每条到 10 台设备，每人平均 1.5 台，第 6 章），约 **92,700 次**，假设一台缓存节点每秒能查 100 万次（流水线批量查询），是它能力的 9% 左右。

## 5. 一件要做对的事：删之前核对连接号

断开时删掉这一行，听起来简单。看 Ben 的手机：

| 时间 | 发生了什么 | 表里 Ben 的手机 |
|---|---|---|
| 19:00 | 在家里的 Wi-Fi 上连到网关 3，连接 c1 | 网关 3，c1 |
| 19:05 | 出门，Wi-Fi 悄悄断了；手机换到 4G，连到网关 7，连接 c2 | 网关 7，c2 |
| 19:17 | 网关 3 在 c1 上 12 分钟没收到任何东西（3 个心跳周期，第 23 章），关掉 c1，按设备删掉这一行 | **没有了** |

手机明明连在网关 7 上，表里却查不到它。之后发给 Ben 的消息都不推了，要等他下次重连、同步时才看到。旧连接死得悄无声息，网关要过十几分钟才发现，正好让晚到的删除，删掉了新的那一行。

办法是删除时带上连接号：**这一行还是 c1，才删**。

```sql
DELETE FROM online_routes WHERE device = 'ben-phone' AND conn = 'c1'
```

19:17 那次删除什么也不改，网关 7 的那一行留着。用缓存存这张表时也一样：比较和删除要一步完成。要是分两步，先读出“还是 c1”，再删，网关 7 正好在这两步之间写入 c2，删掉的就是 c2。

网关整台挂掉时，它的 5 万行也一起失效。往那台推送会失败；这些设备很快会连到别的网关，覆盖自己那一行（第 24 章）；不再回来的，推送失败一次就当离线处理。

## 6. 算一下

- **一台装不下**：100 万条连接 × 30 KB = 30 GB，一台网关给连接留 16 GB；高峰每秒 139,000 次推送，一台推 50,000 次，光推送就要 2.8 台。假设每台平时放 5 万条，要 20 台网关（第 22 章再算这个数：两个可用区各 10 台，坏一个区时剩下的每台 10 万条）。
- **发布**：拆之前每周 200 万次重连；拆之后逻辑发布一次也不断，网关一个月发布一次，每月 100 万次。
- **多一跳**：网关到逻辑在机房里，一个来回按 0.5 毫秒算；手机到网关是 200 毫秒，只多 0.25%。

## 7. 代价

- **多一跳，多一个服务。** 帧要在网关和逻辑之间再走一次网络，中间也会超时；路由表每次推送都要读，它慢了，推送就慢。
- **表会过时。** 网关挂掉、连接悄悄断掉时，表里的行要过一阵才对；删除必须核对连接号。
- **网关发布还是会断线。** 少了，但没有消失。网关怎样先把连接慢慢迁走再重启，是第 35 章的事。

## 8. 其他答案

- **一层长连接给很多业务共用，不懂任何业务。** 百度公开过这样一个统一长连接服务（百度Geek说，glstr，“千万级高性能长连接Go服务架构实践”，[即时通讯网转载](http://www.52im.net/thread-4623-1-1.html)）：接入层管连接；路由层记“设备标识 → 连接标识”，业务指定设备推送；下行支持单播、批量单播、广播。文章总结的经验里有一句：“坚持长连接服务不深入介入业务逻辑这个原则”。
- **网关按频道订阅。** Slack 的网关服务器记着每个连接订阅了哪些频道；消息先到按一致性哈希分好的频道服务器，再发给所有订阅了这个频道的网关（[Real-time Messaging](https://slack.engineering/real-time-messaging/)）。网关要知道频道，不再只是“设备 → 连接”。
- **不要路由表，发给每一台。** Socket.IO 的 Redis 适配器：发给一群人的包，先发本机的连接，再发布到 Redis，别的服务器都收到，各自发给自己身上对得上的连接（[Redis adapter](https://socket.io/docs/v4/redis-adapter/)）。台数少时最省事；按第 22 章两个可用区共 20 台网关，每条消息都要发给 20 台，每秒 278,000 帧，而且每台网关都得知道每个群有谁。
- **热升级。** 发布网关时，把打开的连接交给新进程，一条也不断。省掉重连，代价是这段代码很难写对。

## 9. 这一章的决定

**决策卡**

- 问题：100 万条连接一台装不下；复制整台服务器装得下，可逻辑每周发布两次，每次断开所有人（每周 200 万次重连），逻辑里的 bug 也会断连接。
- 选择：网关只持有连接、转发帧，不懂业务，很少发布；逻辑在后面自己部署。推送按在线路由表（人、设备 → 网关、连接号）找网关，回复原路返回；删除表项时核对连接号。
- 代价：多一跳、多一个每次推送都要读的服务（高峰每秒约 92,700 次）；表会过时；网关自己发布时仍会断线。
- 什么时候重新考虑：每台网关放多少连接（第 22 章）；网关重启的重连风暴（第 24 章）；登录令牌在网关上检查（第 25 章）；消息层分成多台（第 28 章）。
- 其他答案：多业务共用、不懂业务的长连接层（百度）；网关按频道订阅（Slack）；不要路由表、发给每一台（Socket.IO Redis 适配器）；热升级。

在线路由表知道每台设备连在哪。那它是不是也该告诉 Ana：Ben 现在在线？告诉谁、告诉多少人，下一章：在线状态。
