第 19 章
v2:十万用户的群聊
一条消息发进 500 人的群,Ana 在电脑上发、Ben 的手机关着、几台设备要一致、发错了还能撤回。v2 在 v1 上加了什么?每一样花了多少?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
v1 结束时,两个人之间的一条消息已经不丢、不重、不乱。从第 10 章起,问题换成了人多了:Ana 在新电脑上登录,会话列表从哪来(第 10 章);她有 2,000 个会话,每次同步不能全拉(第 11 章);群里有人进有人出(第 12 章),手机要有成员名单(第 13 章);红点要准,几台设备要一样(第 14 章);发的人想知道谁读了(第 15 章);自己发的,另一台设备也要有(第 16 章);App 关着也要知道有消息(第 17 章);发错了能撤回(第 18 章)。
这一章和第 9 章一样,不做新的决定。它做四件事:跟着一条群消息把 v2 走一遍;把九个决定和代价放在一张表里;把服务器和手机的账从 v1 重算到 v2;最后说 v2 撑不住的是什么。
规模没有变:还是 10 万日活用户,高峰 1 万人在线,每秒 139 条消息。v2 没有多一个用户,多的是群、设备和状态。
1. 一条群消息,走一遍
周五晚上,Ana 在电脑上往徒步群发“周六改到 8 点集合”。Ben 的手机锁着屏,App 没开。
服务端:消息层
- 发送检查在锁里做。 和 v1 一样取 seq,锁着会话那一行;同时查 Ana 的成员区间:还在群里,才能发(第 12 章)。这条拿到 seq 4,930。
- 一个事务写完。 消息存一份;带上到这条为止的计数和 Ana 的流水号(第 14 章);再记一行待办,一张写给后台的条子:“徒步群 4,930,改所有成员的会话记录”(第 11 章)。提交,回确认。
服务端:分发层
- 推给区间含 4,930 的人的每台在线设备。 区间是每人在群里的那一段 seq(第 12 章);Ana 自己的手机也推,只跳过发出它的那条连接(第 16 章)。
- 按待办改 500 行会话记录。 每个成员的那一行写上最新 seq,贴上这个人的新记录版本记录版本record version每人一个递增的号,会话记录每改一次加一;取号时锁住这个人在 users 里那一行,所以版本的先后就是提交的先后。手机记着自己拿到的版本,回来时问“这之后改了哪些”,被拉进的新群、来了消息的会话都在这里出现。在术语表里查看,一人一个小事务;发消息的人不用等(第 11 章)。
- 不在前台的,走系统推送。 待办改完 Ben 的那一行,看他没有一台设备在前台,就经 APNs 或 FCM 发一条通知,角标是他的未读总数;同一个会话一分钟最多一条,屏幕上只留一条(第 17 章)。
Ben 的设备
- 点开通知,同步一次。 手机带着上次的记录版本去问,只拿回版本更大的那十几行,每行 39 字节,带着服务端算好的未读数(第 11、14 章);落后的会话各拉最新一条(第 6 章)。
- 打开群,名单不用重拉。 手机带着群的成员版本成员版本号member version每个群一个递增的号:进群、退群、改群昵称、改角色都加一,并写在那个成员的行上。手机存着名单和它的版本号,打开群时带上,服务端没变就只回版本号,变了只回变了的行(第 13 章)。在术语表里查看,没变只回 4 字节(第 13 章)。
- 在电脑上读完。 读到哪只往上涨,涨了记录版本跟着涨;手机下次同步,红点就消了(第 14 章)。
回到 Ana
- 谁读了。 Ana 点开这条,服务端这时才按成员的读到哪数出“k 人已读”和名单(第 15 章)。
- 发错了,撤回。 撤回占一个新的 seq,从第 1 步起走同一条路;Ben 锁屏上那条通知用同一个标识替换掉(第 18 章)。
十步里,第 9 章总结的 v1 规则一条没变:唯一键认重复,同一条消息来几次都落在一行上(第 4、7 章);号码和它代表的东西在同一个事务里提交,号码的先后就是提交的先后(第 5–7 章);推送只是提醒,丢了由按号码的拉取补上(第 6 章)。v2 只是多了几个号码。
2. 关掉一样,会回来什么
每一章的模拟器或估算都还在那一章里。下面是关掉其中一个决定时,那一章算出来的数:
| 关掉 | 回来的问题(那一章的模拟器或估算里) |
|---|---|
| 服务端建会话 | 第 10 章:手机从只留 7 天的信箱里拼会话列表,2,000 个会话只拼出 380 个 |
| 记录版本 | 第 11 章:Ana 每次下载所有会话的最新 seq,一天 480 KB;按版本 6.7 KB |
| 成员区间 | 第 12 章:成员表只记在不在,Cara 多看到 4,836 条进群以前的,Ben 多看到他不在时的 64 条 |
| 成员版本 | 第 13 章:每次打开都拉整份名单,一天 524 KB;按版本约 0.5 KB |
| 读到哪 | 第 14 章:换成计数器,一小时里 62 个能对照的分钟有 46 个对不上 |
| 用读到哪算回执 | 第 15 章:每条消息一个回执,徒步群一天 50 万个;把每次读都推给全群,一天约 500 万次推送 |
| 推给自己的其他设备 | 第 16 章:只推收件人,Ana 用手机发的那句,开着的电脑上要等这个会话的下一条才出现,开头那次等了 20 分钟 |
| 按会话合并通知 | 第 17 章:一条消息一个通知,徒步群一天给每人 1,000 个,手机关机时 FCM 超过 100 个就全丢;合并后 406 个 |
| 撤回占 seq | 第 18 章:在服务端改掉、只通知在线的,一分钟后撤回平均 24 台设备永远留着原文,一小时后 553 台 |
3. 三个号码
v2 几乎所有的事,都靠三个只往上涨的号码:
| 号码 | 按谁记 | 管什么 |
|---|---|---|
| seq | 每个会话 | 消息、入群退群(第 12 章)、撤回和编辑(第 18 章) |
| 记录版本 | 每个人 | 会话列表、群资料、我加入的群(第 11、13 章),读到哪(第 14 章),单聊里对方读到哪(第 15 章) |
| 成员版本 | 每个群 | 成员名单(第 13 章) |
每个号码都在写它代表的东西的那个事务里取。手机只记三样:每个会话的 seq、自己的记录版本、每个群的成员版本,回来时各问一句“比这个大的给我”。
反过来说:一个变化既不占 seq、也不涨版本,同步就看不见它。 第 18 章先想到的做法,在服务端直接改掉一条消息,就是这样漏掉的:Ben 的手机早就拿到了那条,游标在它后面;改动没占 seq,他再怎么同步也拉不到。
4. v2 的全图
和 v1 比,盒子还是在一台服务器上,多了两样:分发层成了自己的一块,按待办去改每个成员的会话记录,再给不在前台的设备发系统推送;业务层在消息的路旁边:谁在群里、谁能发、多久以内能撤回。
5. v2 的九个决定
| 章 | 决定 | 代价 | 什么时候重新考虑 |
|---|---|---|---|
| 10 会话谁来建 | 会话在服务端,每人每个会话一行会话记录;设备照抄,本地的列表只是副本 | 新设备第一次登录要拿全部会话(Ana 2,000 个,约 472 KB) | 每次同步问所有会话(第 11 章) |
| 11 会话同步 | 每来一条消息,按待办给每个成员的那一行写上最新 seq、贴上新记录版本;手机只拿版本更大的 | 每条消息又要给每个成员写一次(高峰每秒约 927 次);记录比消息晚一点;每人取号的那一行是热点 | 待办换成消息日志(第 29 章);成员上万的群(第 40 章) |
| 12 入群与退群 | 入群、退群占会话的一个 seq;每人每进一次群一行 min_seq、max_seq;发给谁、能翻到哪都按区间算 | 进退群变成一条发给全群的消息;成员检查挪进锁里;退了的人那一行不能删 | 私聊谁能给谁发(分支);超大群(第 40 章) |
| 13 群资料与群成员同步 | 每个群一个成员版本,每次成员变化加一、写在那个成员的行上;群名、头像、公告写进会话记录 | 多一列和一个索引;手机存名单;很旧的版本要整份重拉 | 超大群按需加载成员(第 40 章) |
| 14 读到哪与未读数 | 服务端数:每人每个会话一个读到哪,只往上涨;每条消息带到这条为止的计数和发送者流水号 | 读也是写(高峰每秒最多约 927 次);每条消息多 8 字节;读时多两次查询 | 按条记已读(第 39 章) |
| 15 已读回执 | 回执从读到哪算,不另记:单聊由待办把对方的读到哪写进发的人的会话记录;群里不推,点开一条时按“会话 + 读到哪”的索引数出几人已读和名单 | 单聊每次读多一次写;群里多一个随读而改的索引;说不出读的时间和跳着读的消息 | 办公 IM 按条记谁没读(第 39 章);客服(第 43 章) |
| 16 多端同步 | 游标留在每台设备上;推给每个成员的每台在线设备,包括发的人自己的其他设备,只跳过发出它的那条连接;新设备拿全部会话记录和各会话最新一条,第一屏的会话多拉一页 | 每条消息多推约 5%;一张设备表;新设备一开始是浅的,本地搜不全 | 历史存储和搜索(第 39 章);端到端加密的多设备(第 42 章) |
| 17 唤醒离线的手机 | 设备报前台、后台;一个人没有设备在前台,就经 APNs、FCM 或厂商通道发通知;按会话合并,一分钟最多一次;角标是 users 行上的未读总数,和会话记录同一个事务改 | 要接好几家通道;不保证到、不保证快;服务端多记令牌、前后台和上次通知的时间 | 前后台怎么判断(第 26 章);端到端加密时通知里放什么(第 42 章) |
| 18 撤回与编辑 | 撤回和编辑占会话的一个 seq,和标记原消息在同一个事务里;每台设备照收消息的路应用 | 历史只增不减;每个客户端要认得新类型;算未读多一次查询 | 老版本 App(第 31 章);端到端加密(第 42 章) |
九个代价里,有三个是同一种账:多写,换少读。第 11 章每条消息给每个成员改一行,第 14 章读也是写,第 15 章单聊的读再写一次发的人的记录。第 6 章每次同步扫 200 个会话;v2 改成写的时候多改几行,同步时只拿变了的。
6. v2 的账
两列用同一套假设:v1 是第 9 章的那一列;v2 这一列的每个数,都来自括号里的那一章。
服务器(1 万人在线,高峰)
| 资源 | v1(第 9 章) | v2 |
|---|---|---|
| CPU | 每秒 69 次同步,每次从缓存读 200 个会话的最新 seq,共约 13,900 次 | 同步只读变了的记录:每次约 13 行,每秒约 900 行(第 11 章),每行多查一次有没有撤回(第 18 章);新增待办的执行者:每秒约 927 个小事务改会话记录(第 11 章);读的报告最多也是每秒 927 个,每个查两次(第 14 章);打开群时查成员版本,每秒最多约 208 次,大多回“没变”(第 13 章) |
| 内存 | 1 万条连接约 300 MB | 有了电脑版,一个在线的人可能连着 1 到 1.5 台设备(假设):300–450 MB |
| 网络带宽 | 推送约 2.2 Mbit/s;同步回复 200 × 12 字节,约 1.3 Mbit/s | 推送多约 5%,发的人自己的其他设备(第 16 章),约 2.3 Mbit/s;同步回复每次约 13 × 39 = 507 字节,约 0.3 Mbit/s;另有发给 APNs、FCM 的系统推送,合并前约每秒 1,251 个(第 17 章) |
| 网卡(包量) | 不丢包时每秒约 3,100 个 | 推送多约 5%;同步回复变小,多数一个包装得下 |
| 磁盘容量 | 会话记录 2,000 万行 × 24 字节 = 480 MB | 每行多了最新 seq 和第 14 章的读到哪、计数,51 字节,约 1.02 GB(没算第 15 章单聊多的 4 字节和第 17 章每人一个的未读总数,都很小);成员表 500 万行,约 105 MB;每条消息多 8 字节,一天 32 MB |
| 磁盘 IO | 每秒约 139 次提交,每次写消息和会话两行 | 消息不变;会话记录每秒约 1,853 行(第 11 章),读的报告再 1,853 行(第 14 章),共约 3,707 行,一台存储写入能力的 18.5%;算上单聊回执的上限,约 27.8%(第 15 章) |
一句话:v2 让服务器把读的账换成了写的账。同步从每秒约 13,900 次缓存读降到约 900 行;换来的是每秒几千行的小事务,大约占一台存储的五分之一。
还有一笔表里看不出来:热闹的群。徒步群每秒说 10 条,光会话记录就是每秒 5,000 次改动,每次改两行(取版本的 users 行和会话记录),1 万行,一台存储的一半(第 11 章)。平均的账算得过来,一个群就能把它吃掉一半。
Ben 的手机(一天)
| 资源 | v1(第 9 章) | v2 |
|---|---|---|
| 请求 | 同步 20 次,每次一般两个请求;发 40 条 | 同步不变;读到新地方就报一次,假设每打开一个会话一次,最多 60 次;打开群时问一次成员版本;切到前台、后台各报一次,40 次(第 17 章) |
| 流量 | 每次同步下载 200 个最新 seq,一天 48 KB | 每次只拿变了的记录,一天约 10 KB;成员名单按版本,一天约 0.5 KB(第 13 章) |
| 电量 | 来一条推送唤醒一次 | 多了系统推送唤醒;合并以后,一个群热闹的一小时最多 60 次,徒步群一天 406 次(第 17 章) |
| 后台 | 没有东西能叫醒手机 | 系统推送能叫醒,角标是服务端算好的未读数(第 14、17 章) |
| 存储 | 文字一年约 34 MB | 多了打开过的群的名单(徒步群 20 KB);会话记录 200 × 39 字节,约 7.8 KB |
Ana 的电脑是她的第二台设备:它自己同步、自己存一份。第一次登录拿全部 2,000 个会话和各自最新一条,约 478 KB(第 10 章算的是 472 KB,第 14 章给每行记录加了已读的字段);第一屏的 20 个会话各多拉一页,再加 200 KB(第 16 章)。
7. v2 撑不住的
v2 还是一台服务器。在 10 万日活的规模,它装得下;到了 v3,1,000 万日活、100 万人同时在线,有两件事先撑不住:
- 一台服务器装不下所有连接。 每条连接约 30 KB,100 万条就是 30 GB,超过一台机器能给连接的 16 GB。按第 22 章假设的机器,平时每台 5 万条,要 20 台。
- 每次发布都断掉所有人。 连接和逻辑在同一个程序里,改一行逻辑也要重启。现在 1 万台设备重连,按每秒 2,000 次握手,要 5 秒;每台连上都同步一次,这 5 秒里每秒 2,000 次同步,是高峰(每秒 69 次)的 29 倍。
到了 v3,100 万台设备在一台服务器上光握手就要 500 秒。按每周发布两次算,每周 200 万次重连(第 20 章)。
存储也会跟着撑不住:v3 每秒 13,900 条消息,光会话记录就要每秒约 92,700 次改动,一台存储的 4.6 倍(第 10、11 章)。那是 v3 后面的事(第 28、29 章)。
下一章,第 20 章:把连接从逻辑里拆出来,让网关只管连接,逻辑自己发布。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。