# 第 19 章：v2：十万用户的群聊

> 一条消息发进 500 人的群，Ana 在电脑上发、Ben 的手机关着、几台设备要一致、发错了还能撤回。v2 在 v1 上加了什么？每一样花了多少？

深入理解 IM 系统 · https://im.liko.page/zh/v2-groups/

v1 结束时，两个人之间的一条消息已经不丢、不重、不乱。从第 10 章起，问题换成了**人多了**：Ana 在新电脑上登录，会话列表从哪来（第 10 章）；她有 2,000 个会话，每次同步不能全拉（第 11 章）；群里有人进有人出（第 12 章），手机要有成员名单（第 13 章）；红点要准，几台设备要一样（第 14 章）；发的人想知道谁读了（第 15 章）；自己发的，另一台设备也要有（第 16 章）；App 关着也要知道有消息（第 17 章）；发错了能撤回（第 18 章）。

这一章和第 9 章一样，不做新的决定。它做四件事：跟着一条群消息把 v2 走一遍；把九个决定和代价放在一张表里；把服务器和手机的账从 v1 重算到 v2；最后说 v2 撑不住的是什么。

规模没有变：还是 10 万日活用户，高峰 1 万人在线，每秒 139 条消息。v2 没有多一个用户，多的是群、设备和状态。

## 1. 一条群消息，走一遍

周五晚上，Ana 在电脑上往徒步群发“周六改到 8 点集合”。Ben 的手机锁着屏，App 没开。

**服务端：消息层**

1. **发送检查在锁里做。** 和 v1 一样取 seq，锁着会话那一行；同时查 Ana 的成员区间：还在群里，才能发（第 12 章）。这条拿到 seq 4,930。
2. **一个事务写完。** 消息存一份；带上到这条为止的计数和 Ana 的流水号（第 14 章）；再记一行**待办**，一张写给后台的条子：“徒步群 4,930，改所有成员的会话记录”（第 11 章）。提交，回确认。

**服务端：分发层**

3. **推给区间含 4,930 的人的每台在线设备。** 区间是每人在群里的那一段 seq（第 12 章）；Ana 自己的手机也推，只跳过发出它的那条连接（第 16 章）。
4. **按待办改 500 行会话记录。** 每个成员的那一行写上最新 seq，贴上这个人的新记录版本，一人一个小事务；发消息的人不用等（第 11 章）。
5. **不在前台的，走系统推送。** 待办改完 Ben 的那一行，看他没有一台设备在前台，就经 APNs 或 FCM 发一条通知，角标是他的未读总数；同一个会话一分钟最多一条，屏幕上只留一条（第 17 章）。

**Ben 的设备**

6. **点开通知，同步一次。** 手机带着上次的记录版本去问，只拿回版本更大的那十几行，每行 39 字节，带着服务端算好的未读数（第 11、14 章）；落后的会话各拉最新一条（第 6 章）。
7. **打开群，名单不用重拉。** 手机带着群的成员版本，没变只回 4 字节（第 13 章）。
8. **在电脑上读完。** 读到哪只往上涨，涨了记录版本跟着涨；手机下次同步，红点就消了（第 14 章）。

**回到 Ana**

9. **谁读了。** Ana 点开这条，服务端这时才按成员的读到哪数出“k 人已读”和名单（第 15 章）。
10. **发错了，撤回。** 撤回占一个新的 seq，从第 1 步起走同一条路；Ben 锁屏上那条通知用同一个标识替换掉（第 18 章）。

十步里，第 9 章总结的 v1 规则一条没变：唯一键认重复，同一条消息来几次都落在一行上（第 4、7 章）；号码和它代表的东西在同一个事务里提交，号码的先后就是提交的先后（第 5–7 章）；推送只是提醒，丢了由按号码的拉取补上（第 6 章）。v2 只是多了几个号码。

## 2. 关掉一样，会回来什么

每一章的模拟器或估算都还在那一章里。下面是关掉其中一个决定时，那一章算出来的数：

| 关掉 | 回来的问题（那一章的模拟器或估算里） |
|---|---|
| 服务端建会话 | [第 10 章](/zh/fan-out/)：手机从只留 7 天的信箱里拼会话列表，2,000 个会话只拼出 **380 个** |
| 记录版本 | [第 11 章](/zh/conversation-sync/)：Ana 每次下载所有会话的最新 seq，一天 **480 KB**；按版本 6.7 KB |
| 成员区间 | [第 12 章](/zh/group-membership/)：成员表只记在不在，Cara 多看到 **4,836 条**进群以前的，Ben 多看到他不在时的 64 条 |
| 成员版本 | [第 13 章](/zh/group-sync/)：每次打开都拉整份名单，一天 **524 KB**；按版本约 0.5 KB |
| 读到哪 | [第 14 章](/zh/unread/)：换成计数器，一小时里 62 个能对照的分钟有 **46 个**对不上 |
| 用读到哪算回执 | [第 15 章](/zh/read-receipts/)：每条消息一个回执，徒步群一天 **50 万个**；把每次读都推给全群，一天约 500 万次推送 |
| 推给自己的其他设备 | [第 16 章](/zh/many-devices/)：只推收件人，Ana 用手机发的那句，开着的电脑上要等这个会话的下一条才出现，开头那次等了 **20 分钟** |
| 按会话合并通知 | [第 17 章](/zh/offline-push/)：一条消息一个通知，徒步群一天给每人 **1,000 个**，手机关机时 FCM 超过 100 个就全丢；合并后 406 个 |
| 撤回占 seq | [第 18 章](/zh/recall-and-edit/)：在服务端改掉、只通知在线的，一分钟后撤回平均 **24 台**设备永远留着原文，一小时后 553 台 |

## 3. 三个号码

v2 几乎所有的事，都靠三个只往上涨的号码：

| 号码 | 按谁记 | 管什么 |
|---|---|---|
| seq | 每个会话 | 消息、入群退群（第 12 章）、撤回和编辑（第 18 章） |
| 记录版本 | 每个人 | 会话列表、群资料、我加入的群（第 11、13 章），读到哪（第 14 章），单聊里对方读到哪（第 15 章） |
| 成员版本 | 每个群 | 成员名单（第 13 章） |

每个号码都在写它代表的东西的那个事务里取。手机只记三样：每个会话的 seq、自己的记录版本、每个群的成员版本，回来时各问一句“比这个大的给我”。

反过来说：**一个变化既不占 seq、也不涨版本，同步就看不见它。** 第 18 章先想到的做法，在服务端直接改掉一条消息，就是这样漏掉的：Ben 的手机早就拿到了那条，游标在它后面；改动没占 seq，他再怎么同步也拉不到。

## 4. v2 的全图

和 v1 比，盒子还是在一台服务器上，多了两样：**分发层**成了自己的一块，按待办去改每个成员的会话记录，再给不在前台的设备发系统推送；**业务层**在消息的路旁边：谁在群里、谁能发、多久以内能撤回。

## 5. v2 的九个决定

| 章 | 决定 | 代价 | 什么时候重新考虑 |
|---|---|---|---|
| [10 会话谁来建](/zh/fan-out/) | 会话在服务端，每人每个会话一行会话记录；设备照抄，本地的列表只是副本 | 新设备第一次登录要拿全部会话（Ana 2,000 个，约 472 KB） | 每次同步问所有会话（第 11 章） |
| [11 会话同步](/zh/conversation-sync/) | 每来一条消息，按待办给每个成员的那一行写上最新 seq、贴上新记录版本；手机只拿版本更大的 | 每条消息又要给每个成员写一次（高峰每秒约 927 次）；记录比消息晚一点；每人取号的那一行是热点 | 待办换成消息日志（第 29 章）；成员上万的群（第 40 章） |
| [12 入群与退群](/zh/group-membership/) | 入群、退群占会话的一个 seq；每人每进一次群一行 min_seq、max_seq；发给谁、能翻到哪都按区间算 | 进退群变成一条发给全群的消息；成员检查挪进锁里；退了的人那一行不能删 | 私聊谁能给谁发（分支）；超大群（第 40 章） |
| [13 群资料与群成员同步](/zh/group-sync/) | 每个群一个成员版本，每次成员变化加一、写在那个成员的行上；群名、头像、公告写进会话记录 | 多一列和一个索引；手机存名单；很旧的版本要整份重拉 | 超大群按需加载成员（第 40 章） |
| [14 读到哪与未读数](/zh/unread/) | 服务端数：每人每个会话一个读到哪，只往上涨；每条消息带到这条为止的计数和发送者流水号 | 读也是写（高峰每秒最多约 927 次）；每条消息多 8 字节；读时多两次查询 | 按条记已读（第 39 章） |
| [15 已读回执](/zh/read-receipts/) | 回执从读到哪算，不另记：单聊由待办把对方的读到哪写进发的人的会话记录；群里不推，点开一条时按“会话 + 读到哪”的索引数出几人已读和名单 | 单聊每次读多一次写；群里多一个随读而改的索引；说不出读的时间和跳着读的消息 | 办公 IM 按条记谁没读（第 39 章）；客服（第 43 章） |
| [16 多端同步](/zh/many-devices/) | 游标留在每台设备上；推给每个成员的每台在线设备，包括发的人自己的其他设备，只跳过发出它的那条连接；新设备拿全部会话记录和各会话最新一条，第一屏的会话多拉一页 | 每条消息多推约 5%；一张设备表；新设备一开始是浅的，本地搜不全 | 历史存储和搜索（第 39 章）；端到端加密的多设备（第 42 章） |
| [17 唤醒离线的手机](/zh/offline-push/) | 设备报前台、后台；一个人没有设备在前台，就经 APNs、FCM 或厂商通道发通知；按会话合并，一分钟最多一次；角标是 users 行上的未读总数，和会话记录同一个事务改 | 要接好几家通道；不保证到、不保证快；服务端多记令牌、前后台和上次通知的时间 | 前后台怎么判断（第 26 章）；端到端加密时通知里放什么（第 42 章） |
| [18 撤回与编辑](/zh/recall-and-edit/) | 撤回和编辑占会话的一个 seq，和标记原消息在同一个事务里；每台设备照收消息的路应用 | 历史只增不减；每个客户端要认得新类型；算未读多一次查询 | 老版本 App（第 31 章）；端到端加密（第 42 章） |

九个代价里，有三个是同一种账：**多写，换少读**。第 11 章每条消息给每个成员改一行，第 14 章读也是写，第 15 章单聊的读再写一次发的人的记录。第 6 章每次同步扫 200 个会话；v2 改成写的时候多改几行，同步时只拿变了的。

## 6. v2 的账

两列用同一套假设：v1 是第 9 章的那一列；v2 这一列的每个数，都来自括号里的那一章。

**服务器（1 万人在线，高峰）**

| 资源 | v1（第 9 章） | v2 |
|---|---|---|
| CPU | 每秒 69 次同步，每次从缓存读 200 个会话的最新 seq，共约 13,900 次 | 同步只读变了的记录：每次约 13 行，每秒约 900 行（第 11 章），每行多查一次有没有撤回（第 18 章）；新增待办的执行者：每秒约 927 个小事务改会话记录（第 11 章）；读的报告最多也是每秒 927 个，每个查两次（第 14 章）；打开群时查成员版本，每秒最多约 208 次，大多回“没变”（第 13 章） |
| 内存 | 1 万条连接约 300 MB | 有了电脑版，一个在线的人可能连着 1 到 1.5 台设备（假设）：300–450 MB |
| 网络带宽 | 推送约 2.2 Mbit/s；同步回复 200 × 12 字节，约 1.3 Mbit/s | 推送多约 5%，发的人自己的其他设备（第 16 章），约 2.3 Mbit/s；同步回复每次约 13 × 39 = 507 字节，约 0.3 Mbit/s；另有发给 APNs、FCM 的系统推送，合并前约每秒 1,251 个（第 17 章） |
| 网卡（包量） | 不丢包时每秒约 3,100 个 | 推送多约 5%；同步回复变小，多数一个包装得下 |
| 磁盘容量 | 会话记录 2,000 万行 × 24 字节 = 480 MB | 每行多了最新 seq 和第 14 章的读到哪、计数，51 字节，约 1.02 GB（没算第 15 章单聊多的 4 字节和第 17 章每人一个的未读总数，都很小）；成员表 500 万行，约 105 MB；每条消息多 8 字节，一天 32 MB |
| 磁盘 IO | 每秒约 139 次提交，每次写消息和会话两行 | 消息不变；会话记录每秒约 1,853 行（第 11 章），读的报告再 1,853 行（第 14 章），共约 3,707 行，一台存储写入能力的 18.5%；算上单聊回执的上限，约 27.8%（第 15 章） |

一句话：v2 让服务器把读的账换成了写的账。同步从每秒约 13,900 次缓存读降到约 900 行；换来的是每秒几千行的小事务，大约占一台存储的五分之一。

还有一笔表里看不出来：**热闹的群**。徒步群每秒说 10 条，光会话记录就是每秒 5,000 次改动，每次改两行（取版本的 users 行和会话记录），1 万行，一台存储的一半（第 11 章）。平均的账算得过来，一个群就能把它吃掉一半。

**Ben 的手机（一天）**

| 资源 | v1（第 9 章） | v2 |
|---|---|---|
| 请求 | 同步 20 次，每次一般两个请求；发 40 条 | 同步不变；读到新地方就报一次，假设每打开一个会话一次，最多 60 次；打开群时问一次成员版本；切到前台、后台各报一次，40 次（第 17 章） |
| 流量 | 每次同步下载 200 个最新 seq，一天 48 KB | 每次只拿变了的记录，一天约 10 KB；成员名单按版本，一天约 0.5 KB（第 13 章） |
| 电量 | 来一条推送唤醒一次 | 多了系统推送唤醒；合并以后，一个群热闹的一小时最多 60 次，徒步群一天 406 次（第 17 章） |
| 后台 | 没有东西能叫醒手机 | 系统推送能叫醒，角标是服务端算好的未读数（第 14、17 章） |
| 存储 | 文字一年约 34 MB | 多了打开过的群的名单（徒步群 20 KB）；会话记录 200 × 39 字节，约 7.8 KB |

Ana 的电脑是她的第二台设备：它自己同步、自己存一份。第一次登录拿全部 2,000 个会话和各自最新一条，约 478 KB（第 10 章算的是 472 KB，第 14 章给每行记录加了已读的字段）；第一屏的 20 个会话各多拉一页，再加 200 KB（第 16 章）。

## 7. v2 撑不住的

v2 还是一台服务器。在 10 万日活的规模，它装得下；到了 v3，1,000 万日活、100 万人同时在线，有两件事先撑不住：

- **一台服务器装不下所有连接。** 每条连接约 30 KB，100 万条就是 30 GB，超过一台机器能给连接的 16 GB。按第 22 章假设的机器，平时每台 5 万条，要 20 台。
- **每次发布都断掉所有人。** 连接和逻辑在同一个程序里，改一行逻辑也要重启。现在 1 万台设备重连，按每秒 2,000 次握手，要 5 秒；每台连上都同步一次，这 5 秒里每秒 2,000 次同步，是高峰（每秒 69 次）的 29 倍。

到了 v3，100 万台设备在一台服务器上光握手就要 500 秒。按每周发布两次算，每周 200 万次重连（第 20 章）。

存储也会跟着撑不住：v3 每秒 13,900 条消息，光会话记录就要每秒约 92,700 次改动，一台存储的 4.6 倍（第 10、11 章）。那是 v3 后面的事（第 28、29 章）。

下一章，第 20 章：把连接从逻辑里拆出来，让网关只管连接，逻辑自己发布。
