# 第 32 章：v3：百万在线

> 一百万台设备同时在线，每一层要几台机器？一台网关突然挂了，会发生什么？

深入理解 IM 系统 · https://im.liko.page/zh/v3-million-online/

v3 开始时，App 有 1,000 万日活用户，高峰 100 万人在线，每秒 13,900 条消息。v2 的做法是一台服务器装下所有连接和所有逻辑：它装不下 100 万条连接，而且每发布一次，所有人都掉线（第 20 章）。

这一章不做新的决定。它做四件事：画出 v3 的全图，跟着一条消息走一遍；把十二个决定放进一张表；按层把账从 v2 重算到 v3；最后让一台网关挂掉，看整个系统怎么接住。

## 1. v3 的全图

和 v2 比，服务器从一台主要变成了五类：

- **网关**：只管连接、心跳、鉴权和转发帧，不懂消息（第 20、22–25 章）。
- **在线路由表**：每台在线设备连在哪台网关、哪条连接上（第 20 章）。
- **消息服务器**：每个会话归一台，认重复、取 seq（第 28 章）。
- **消息日志**：写进去就回确认，后面的消费者各追各的（第 29 章）。
- **存储**：消息、会话记录、读到哪。

Ana 在徒步群里发“周六几点集合”，走的路是：

1. Ana 的手机连在 7 号网关上；消息从这里进来。
2. 网关按会话 ID 找到徒步群的消息服务器，把帧转过去。
3. 消息服务器认重复、取 seq 4,823，追加到日志，回确认。
4. 日志后面：最近消息缓存先写下这条，更新最新 seq；推送去在线路由表查每个成员的设备在哪台网关，推过去；会话记录给 500 个成员各改一行；存储慢一点写进去。
5. Ben 的手机连在 12 号网关上，收到 4,823。

## 2. v3 的十二个决定

| 章 | 决定 | 代价 | 什么时候重新考虑 |
|---|---|---|---|
| [20 拆出网关](/zh/split-the-gateway/) | 网关只持有连接、转发帧，不懂业务，很少发布；逻辑在后面自己部署；推送按在线路由表（设备 → 网关、连接号）找网关，删表项时核对连接号 | 多一跳；路由表每次推送都要读（高峰每秒约 92,700 次）；表会过时；网关自己发布仍会断线 | 网关重启（第 24 章）；不断线的发布（第 35 章） |
| [21 在线状态](/zh/presence/) | 只告诉正在看的人：设备把屏幕上的人整份报上，变了才推；订阅跟着连接，重连时重发；下线先等一会儿再算 | 每次换屏幕发一份名单（高峰每秒约 27,800 份）；下线显示得晚 | 办公 IM 整个名单的状态（第 39 章） |
| [22 百万连接](/zh/million-connections/) | 在第 22 章假设的机器上，每台网关最多 10 万条（由突发时的推送和一次重启断开多少人定，不是内存），平时 5 万条：两个可用区共 20 台；先不为省内存改代码 | 机器多、平时很闲；上限要自己量 | 推送能力上去、想把网关做大时 |
| [23 心跳](/zh/heartbeats/) | 客户端 4 分钟没发过东西就发心跳，短于 NAT 的 5 分钟；10 秒没回就重连；网关 12 分钟听不到就关、删路由 | 死连接最长 12 分钟才被网关发现；NAT 超时是猜的 | 网络不同、间隔不同时 |
| [24 重连风暴](/zh/reconnect-storms/) | 网关准入：握手最多排 5 秒的量，多的在 TLS 之前就关掉；被拒的手机退避加随机再来；第一次重连不打散 | 一个区停掉时最后一台要 43 秒；约 160 万次拒绝 | 计划内的重启先引走设备（第 35 章）；丢机房（第 37 章） |
| [25 账号](/zh/accounts/) | App 的服务端签 1 天的令牌，网关用公钥验，不调用任何人；IM 自己的用户 ID 加映射；吊销靠每人一个时间戳；游客用临时身份 | 私钥最要紧；令牌要续期；吊销只在连接时检查；注销要传到 IM 的历史 | 一个 IM 服务多个 App（第 44 章） |
| [26 App 的生命周期](/zh/app-lifecycle/) | 由系统事件驱动的连接状态机：去后台先告诉服务端、改走系统推送，再关连接；回前台连上就同步；网络一变马上重连 | 每次打开都建连和同步；规矩按平台、厂商变 | 新的系统版本改了后台规则时 |
| [27 网页端](/zh/web-client/) | 整个浏览器是一台设备：一条连接、一个本地库，一个标签页领头；看得见才报已读；服务端发 ping；长轮询兜底 | 选领头的新代码；后台标签页靠不住时间；网页多半是另一套代码 | 网页是主要客户端的产品（第 39、43 章） |
| [28 把会话分出去](/zh/message-owners/) | 每个会话一个主人，按一致性哈希环分；计数器和最近消息 ID 在主人内存里；交接靠租约，新主人接着最后的 seq 发 | 消息层有了状态，交接时停顿；多一个协调服务；热会话只在一台上；seq 可能有空号 | 一个群热到一台扛不住（第 40、41 章） |
| [29 存储前的队列](/zh/queue-before-storage/) | 写进按会话分区的日志就回确认；缓存、推送、会话记录、存储各自消费；先能取到再通知；换主人时从缓存接着数 | 多一套日志集群；确认时消息可能还不在存储里，高峰时会话记录落后几分钟；消费者要能重做 | 消息到底送到没有（第 33 章）；存储变慢（第 36 章） |
| [30 一套 SDK，多个平台](/zh/sdk-architecture/) | 连接、发送、同步、本地数据库写成一个核心，编进每个原生 App；平台层只放离不开系统的 | 每个平台一次构建；每次调用跨边界；App 变大 | 网页端（第 27 章）；端到端加密（第 42 章） |
| [31 旧 App，新服务器](/zh/compatibility/) | 旧 App 不认识的照样存、显示后备文字；连接时报版本和能力；低于最低版本拒绝登录 | 协议背着旧东西好几年；服务器按版本分路径 | 发布时新旧版本同时在线（第 35 章） |

按层看：连接层五章（20、22–25），消息层两章（28、29），分发层一章（21），客户端四章（26、27、30、31）。

## 3. v3 的账

两列用同一套假设：v2 是一台服务器、1 万人在线、高峰每秒 139 条消息；v3 是 100 万人在线、每秒 13,900 条。每条消息平均送到 10 台设备、6.67 个人。

**服务器（高峰）**

| 层 | 资源 | v2 | v3 |
|---|---|---|---|
| **网关** | 台数 | 1 台，和逻辑在一起 | 20 台，每台 5 万条连接；10 台就装得下，另一半留给一个可用区挂掉（第 22 章） |
| | 内存 | 1 万 × 30 KB = 0.3 GB | 每条 30 KB，共 30 GB，每台 1.5 GB；不用为省内存改代码（第 22 章） |
| | 推送 | 每秒 1,390 次 | 每秒 139,000 次，每台 6,950，上限 5 万 |
| | 心跳 | 每秒 42 次 | 每秒约 4,170 次，每台 208（第 23 章） |
| | 新连接（TLS 握手） | 每秒 69 次 | 每秒约 6,940 次（每次打开连一次，第 26 章），每台 347，上限 2,000 |
| | 网络 | 推送约 2.2 Mbit/s | 每台约 11 Mbit/s，包量每秒约 14,000 个 |
| | 发布 | 每次发布 1 万人全掉线，一周 2 次 | 逻辑发布不断任何人；照 v2 的做法，一周会是 200 万次重连（第 20 章） |
| **消息服务器** | 台数 | 同一台 | 每个会话一个主人，4 台：假设每台每秒 5,000 条，3 台够高峰，多 1 台备着坏；每台约 3,480 条（第 28 章） |
| | seq | 存储里每个会话一行计数器（第 5 章） | 主人内存里发；换主人时从最近消息缓存接着数（第 28、29 章） |
| | 最近的消息 ID | 32 秒约 4,400 个，142 KB（第 4 章） | 5 分钟（含新年那一分钟）约 611 万个，196 MB，分在各台上（第 29 章） |
| **在线路由表** | 条目 | 进程里的一张表，1 万条 | 100 万行 × 64 字节 = 64 MB（第 20 章） |
| | 写 | 每秒约 139 次（连上、断开） | 每秒约 13,900 次 |
| | 读 | 每秒 927 次（每条消息每个收件人查一次） | 每秒约 92,700 次 |
| **消息日志** | 追加 | 没有（待办是消息事务里的一行） | 每秒 13,900 条；新年那一分钟 46,300 条（第 29 章） |
| | 磁盘 | — | 每天 80 GB；留 3 天、存 3 份，720 GB |
| **存储** | 写入（行/秒） | 消息和计数器 278；会话记录 1,853；读到哪、单聊回执最多各 1,853。共约 5,800，一台的三成（第 19 章） | 消息 13,900；会话记录约 185,000；读到哪、单聊回执最多各约 185,000。共约 57 万，约 28.5 台存储的写入能力，得分片 |
| | 容量 | 文字每天 0.8 GB；会话记录 2,000 万行 × 51 字节，约 1 GB | 文字每天 80 GB，一年 29 TB，存 3 份；会话记录 20 亿行，约 102 GB；照片每天 4 TB |
| | 同步 | 每秒 69 次，每次只读变了的记录（第 11 章） | 每秒约 6,940 次 |

最大的一笔不在消息上，在**会话记录和读到哪**：每条消息要给 6.67 个人各改一行，每读一次又改一行，单聊还要改发的人那一行（第 15 章）。v3 存储的写入，九成多是这几样。这是 v2 选的“用写换读”（第 19 章）在 v3 规模下的账；成员上万的群不走这条路（第 40 章）。

**Ben 的手机（一天）**

| 资源 | v2 | v3 |
|---|---|---|
| 连接 | 每次打开连一次，20 次；每次发布再被断开一次，一周 2 次 | 每次打开连一次，20 次；逻辑发布不再断开；连接时带 token（第 25 章）和版本、能力，约 10 字节（第 31 章） |
| 流量 | 每次同步约 500 字节：十几行变了的记录，每行 39 字节（第 19 章） | 同上；屏幕上有谁，才订阅谁的在线状态（第 21 章） |
| 电量 | 后台怎么办没有定 | 心跳只在前台，4 分钟没发过东西才发，一小时最多 15 次；整天在后台保持连接，就是 360 次、约 1 小时无线电（第 23 章），所以后台断开（第 26 章） |
| 后台 | 靠系统推送叫醒（第 17 章） | 同上；网络一变，约 2 秒就连回、同步完，而不是靠心跳，平均两分多钟才发现（第 26 章） |
| 存储 | 本地数据库（第 7 章） | 同上，外加 SDK 核心本身（第 30 章）；不认识的消息按原样存着，升级后再显示（第 31 章） |

一句话：v3 的服务器多出来的，大多是“把东西拆开”的代价：多一跳、多一张路由表、多一条日志、多一份缓存。手机几乎没有变重，变的是规则：什么时候连、什么时候断、不认识的怎么办。

## 4. 一台网关挂了

晚上 8 点，高峰。7 号网关所在的机器突然断电。

1. **5 万台设备没了连接。** 进程退出时，系统会替它关掉连接，手机马上知道；可这次是断电，什么也没发出来。手机要等下一次心跳没有回音才发现：最长 4 分钟，加上等回音的那几秒（第 23 章）。
2. **这期间，推给它们的改走系统推送。** 分发层按路由表把推送交给 7 号网关，每秒约 6,950 次，都失败了。按第 20 章，推送失败一次，就当这台设备离线，改发系统推送（第 17 章）。消息本身都在日志和存储里，晚的只是提醒。
3. **它们发的消息还在发件箱里。** 7 号网关上的设备每秒约发 695 条。刚发出、还没等到确认的，等重新连上后用同一个消息 ID 重发；其中已经进了日志的，消息服务器认出是重复，回原来的 seq（第 3、4 章）。
4. **重连，自然就散开了。** 发现断了的手机，先问接入调度该连哪台。第一次重连不打散（第 24 章），可断电时每台手机是在自己下一次心跳才发现的，5 万台本来就散在 4 分钟里：5 万 ÷ 240 秒，每秒约 208 台，分给 19 台网关，每台每秒只多十来次握手。就算同时涌来，剩下 19 台各分到约 2,600 台，1.3 秒就握完，没到第 24 章准入的上限（每台排 1 万个），没人被拒。
5. **验令牌，登记位置。** 新网关在本地验签，不调用 App 的登录服务（第 25 章）；把“这台设备 → 我、新的连接号”写进路由表，覆盖指向 7 号的旧行。
6. **补齐。** 每台设备带着记录版本同步一次，拿变了的会话记录，约 500 字节；跳了号的会话再补洞（第 5、11 章）。5 万台一共约 25 MB。
7. **在线状态晚一点，但不闪。** 断电时没人报“断开”，这 5 万人在联系人眼里一直是“在线”；几分钟内他们各自连回来，也就没有“下线”过（第 21 章）。真回不来的（比如正好没了网络），就多挂几分钟“在线”。

没有一条消息丢了，因为没有一样东西只存在网关上。代价是晚：断电的那几分钟里，这 5 万人只收到系统推送的提醒，回来以后才补上消息。

## 5. v3 之后

v3 做到了一件事：**同一个产品，从 1 万人在线长到 100 万，而发布、扩容、坏一台机器，都不会让所有人掉线。**

可“能跑”和“一直跑着”是两回事。100 万人同时在线，任何一次故障、发布、过载都有人看见。接下来的六章不再长新功能，只问系统健不健康：

- 消息到底送到了没有：我们怎么知道（第 33 章）；
- 来的比扛得住的多时，先丢什么（第 34 章）；
- 网关自己发布，也不断开（第 35 章）；
- 存储慢了、系统推送挂了，慢怎么不扩散（第 36 章）；
- 丢掉一整个机房（第 37 章）；
- 演练和复盘（第 38 章）。

再往后，这套 v3 按产品分出去：办公 IM、万人社区、直播间、私密通讯、客服、IM 作为平台（第 39–44 章），每一章都从 v3 的决定出发，留下、改掉或者扔掉；最后一章把它们放在一张表里比（第 45 章）。

下一章，第 33 章：用户说“我的消息没收到”。它穿过了七跳，每台服务器的面板都是绿的。消息到底在哪？
