深入理解 IM 系统

第 45 章

同一个决策,不同的产品

社交 App、办公 IM、社区、直播间、隐私通讯、客服、IM 平台,都从同一套 v3 出发。同一个决定,在哪些产品里留下,在哪些产品里翻过来?为什么总是几个一起翻?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

主线做的是一个社交 App:好友单聊,群最多 500 人,记录归用户(第 1–38 章)。第 39–44 章把同一套 v3(第 32 章)拿去做了六个别的产品,每一章都一层层过主线的决定:留下、改掉,还是扔掉。

这一章不做新的决定,只把这六章的答案放在一起看。

1. 怎么读这张表

表很宽,分成四块。每一行是主线的一个决定,括号里是讲它的那一章;第一列“主线 · 社交”是主线的做法,后面每一列是一个分支产品,列头是讲它的那一章;每一格先写选择,括号里是为什么。分支的格子里用这些记号:

  • =:那一章留下了它,或者没动它(每个分支都从 v3 出发,没提到的就照旧)。“=”后面若还有话,说的是同一个做法在这个产品里怎么用。
  • 改、扔、加:那一章改了它、不要它,或者在旁边加了东西。可能改:那一章考虑改,还没定。
  • —:那一章没讲,也不好说照旧。

2. 消息怎么走

决定 主线 · 社交 办公 39 社区 40 直播 41 隐私 42 客服 43 平台 44
推给谁(2、16) 每个成员的每台在线设备,包括自己的其他设备;推只是提醒,缺了按 seq 拉 = 改:只推正在看这个社区的设备,其余的一分钟最多一帧(大多数人不在看) 改:一秒打一个包打包batching直播间里,把一秒内的消息打成一个包,每个连接每秒只推一次,再压缩。推送次数不再随房间里的消息数涨,代价是每条消息平均多等半秒。在术语表里查看,每人每秒最多 20 条(屏幕只放得下这么多) 改:发的人给每台设备各加密一份;群里用发送者钥匙,只传一份(每台设备钥匙不同) = 改:全员广播只给在线的推“去同步”,一分钟里匀着推(一千万人)
确认与重传(3) 存好才回 ACK,没收到就重发 = = —(推给观众的丢了就丢,发出去那一条的确认没讲) = = =
去重(4) 手机生成消息 ID,“发送者 + ID”唯一 = = = 改:收件的手机去重(ID 在密文里,服务器看不到) = 加:业务方自己的键,存 24 小时(它的重试是一次新调用)
顺序(5) 每个会话一个 seq,跳号就补 = =,一个频道一个 seq 扔,只留给礼物(晚了就没用) 改:每台设备一个信箱,按到达排(服务器不按会话存) =,转接、结束也占 seq =
限流(34) 每台设备每秒 5 条;每个会话每秒最多送 5,000 人;超了明说“再试” = = 改:每个观众每秒 20 条,超了按优先级悄悄丢 = = 改:每个租户租户tenant接进同一套 IM 服务的一个业务方,比如一家购物 App 或一个游戏。服务是共用的,每个租户的 ID、规则和额度各自分开,一家不能拖累别家。在术语表里查看的接口、广播、回调、队列各有额度(别让一家拖累别家)
跨城复制(37) 确认之后再复制;跨城切换可能丢已确认的消息 可能改:复制完再确认,每条慢约 30 毫秒(一条也不能丢) = = = = =

3. 存什么、写给谁

决定 主线 · 社交 办公 39 社区 40 直播 41 隐私 42 客服 43 平台 44
消息存几份(6、10) 每个会话一份 = =,每个频道一份 改:房间信箱只留最近的,给新来的人看一屏 改:每台设备一份密文,取走就删,最多留 30 天 = =,全员广播也只存一份
会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看(11) 每条消息给每个成员改一行 改:几千人的群不改,拉首屏时再算(每秒 10 条就是 3 台存储) 扔:只记加入了哪些社区(否则一条 10 万行) 扔(直播间不进会话列表) 扔:手机自己排(服务器读不懂) =(客服的工作台就是他的会话列表) 改:广播不写,同步时多问一个最新 seq
历史与新设备(6、16) 服务器一直存,归用户;新设备先拿最近的,往上翻再拉 改:归公司,存好几年,冷热分层;服务端搜索;保留、导出由管理员定 =,频道的全部历史 扔:断线期间的就没了 改:服务器不留;旧设备打包转给新设备(旧密文新设备打不开) 改:归顾客,一个会话一直用下去 =
进群退群(12) 占一个 seq;按成员区间成员区间membership range一个人在一个群里能看的那一段 seq:min_seq 是第一条,max_seq 是最后一条(还在群里就不设)。入群和退群像消息一样占会话的一个 seq,所以每条消息该发给谁、谁能翻到哪条历史,都按这一段算,和什么时候去算无关。全群也有一对:max_seq 是最新 seq,min_seq 以下谁都看不到(第 12 章)。在术语表里查看给历史 =;离职就是每个群退一次 改:只改成员表;能看什么按角色算 扔:进出只改网关上的连接组(每秒几千人进出) 改:有人退群,所有人换发送者钥匙(W4) 改:客服进出就是入群退群,min_seq 为 1,看得到全部历史;转接是一退一进 =;一个会话里只有同一个租户的人
成员名单(13) 手机存整份,带版本号 = 改:按屏、按搜索拿(整份 4 MB) 扔:人数是估的 = = =

4. 读、通知和撤回

决定 主线 · 社交 办公 39 社区 40 直播 41 隐私 42 客服 43 平台 44
未读数(14) 服务端数:读到哪已读游标read cursor每个人在每个会话里读到了哪一条。存在服务端,同一个人的几台设备共用,用来算未读数和已读回执。和同步游标不是一回事。在术语表里查看加每条消息带的计数,精确 改:留读到哪,再扣掉读过的段读过的段read ranges办公 IM 在读到哪之外另记的几段:跳过去读的消息记成一段,比如“4,900 到 4,930”,补上中间那段就并进读到哪。放在会话记录那一行里,只留几段。在术语表里查看 改:读了才建;只显示加粗和 @ 数 扔 改:手机数;读到哪加密发给自己的其他设备 = 改:广播的读到哪读了才写;角标要另算
已读回执(15) 从读到哪算;群里点开那条才数 改:加读过的段和已读流水已读流水read log只追加的一本记录:每次读写一行,谁、哪个会话、从哪条到哪条、几点几分。办公 IM 靠它回答“谁没读、别人几点读的”。在术语表里查看,查得到谁没读、几点读的(跳着读的人不能算没读) 扔 扔 — = =
离线通知(17) 每会话一分钟最多一个,带内容;角标是未读总数 = 改:默认只在有人 @ 我时发 扔 改:不带内容,只叫醒 App;角标手机算 = 改:广播的系统推送仍要一条条发,低优先级慢慢发
撤回与编辑(18) 占一个 seq,每台设备照收 =;搜索索引也跟着改 =(版主删消息是常事) — 改:收到的手机查是不是本人、过没过时限 = =

5. 连接和人

决定 主线 · 社交 办公 39 社区 40 直播 41 隐私 42 客服 43 平台 44
扇出(20) 网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看不懂业务;按在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看找每个成员的设备 = 改:照社区的订阅名单推,不再一个个查路由 改:网关记房间的连接组;房间路由房间路由room router直播间用的路由:每个房间只记哪几台网关上有观众,不记每个人。房间的消息交给它,它给这几台网关各发一帧,每台再推给自己连接组里的观众。在术语表里查看只记哪几台网关有观众 = = 改:网关按租户登记连接,连接数有上限
在线状态(21) 只告诉正在看的人 = =,只订阅屏幕上那一屏 — = = =
账号(25) App 的服务端签令牌;IM 自己的用户 ID 改:账号属于公司的通讯录;离职就吊销 = =;游客只能看这个房间 改:每台设备自己的钥匙,设备列表要对 改:访客 ID 长期有效,登录后交给账号 改:入口按(租户,用户)换算;每个租户一对钥匙
谁能给谁发(12) 群里:在群里才能发;私聊的规矩留给分支 改:按通讯录;外部的人要先加;建会话时查 改:角色加频道上的改写,算出来 — — 改:就是分配,只有被放进会话的那位 改:每个租户自己选:平台托管关系、写成会话状态、每条回调

6. 先看没变的

把四张表里分支产品的格子数一遍(用本章的 demo.py):六个分支、19 行,一共 114 格。

消息层几乎没动。 第 2 节那张表里,确认与重传,6 个产品里 5 个留下;跨城复制也是 5 个;去重、按会话的 seq,各 4 个。表外还有两样:每个会话一个主人(第 28 章),第 39、40、41 章都明说留下;存储前的消息日志(第 29 章),第 39、40 章明说留下。扔了 seq 的只有直播间,把存储换成每台设备一个信箱的只有隐私通讯。

动得多的在另外三处。

  • 分发:推给谁、会话记录、扇出。会话记录 6 个产品里只有客服留下。
  • 按人记的状态:未读、回执、历史。未读数也只有客服原样留下。
  • 业务层:账号、谁能给谁发。谁能给谁发,没有一个产品照搬主线。

按产品看,19 个决定里:

产品 留下(=) 改、加 扔 没讲(—)
客服 43 15 4 0 0
办公 39 12 7 0 0
社区 40 10 7 2 0
平台 44 10 9 0 0
隐私 42 6 10 1 2
直播 41 3 4 8 4

客服动得最少,4 处(历史、进群退群、账号、谁能给谁发)都出在“会话归顾客、由客服来回”上,消息怎么走一处没动;它对 IM 也不重,每秒 2.7 条,是 v3 高峰每秒 13,900 条的 0.019%。直播间扔得最多,8 个。隐私通讯改得最多,10 个。

7. 哪些一起翻,为什么

表里的“改”和“扔”不是一个个来的,总是几个一起。推着它们的是五件事。

一条消息给多少人。 主线里有一组决定,干的都是同一种活:每条消息、每个成员各做一次。给每个成员改会话记录,数精确的未读,手机存整份名单,进退群发给全体,推给每个成员的设备。徒步群 500 人,每一样都算得过来。人一多,照主线做就是下面这样。“台存储”按第 29 章一台每秒写 20,000 行算;直播间的“每一步”指推送、改会话记录这类每人做一次的活;平台的“限速”是第 34 章的每个会话每秒最多送 5,000 人。

产品 一条消息给多少人 照主线做会怎样
主线的徒步群 500 500 条,没问题
办公的全员群(39) 3,000 每秒 10 条时每秒 3 万次更新、6 万行,3 台存储
社区(40) 100,000 每秒 10 条时每秒 100 万次更新、200 万行,v3 全部会话记录写入的 10.8 倍
直播间(41) 1,000,000 每秒 100 条时每一步每秒 1 亿次,v3 全站高峰投递的 719 倍
平台的全员广播(44) 10,000,000 限速后最后一个人等 33 分钟,写两千万行同一句话

所以这一组总是一起翻,而且翻成同一个样子:消息只存一份,谁在看推给谁,谁打开谁来读(第 10 章的读扩散读扩散read fan-out消息只在会话的时间线里存一份,每个人读的时候自己去取。写得少、读得多,适合大群。v1、v2 的消息都这样存(第 6、10 章);它要求会话由服务端建、设备去同步。在术语表里查看)。社区先这样做;办公 IM 几千人的群照着用;平台的全员广播也是。直播间更进一步,连“谁在看”都交给网关自己记。

丢一些行不行。 主线的 seq、补洞、历史、未读,都是为了“一条也不少”。直播间里,晚了就没用,这一整组一起扔掉;热闹时屏幕放不下,一个观众只看到别人发言的约六分之一。可同一个直播间里,花了钱的礼物,给主播的那一份又走回主线的老路:存下来、带 seq、跳号就拉。办公 IM 往另一头走:一条都不该丢,所以第 39 章考虑跨城复制完再确认,每条慢约 30 毫秒。

数据归谁。 主线的记录归用户。换了主人,账号、谁能给谁发、历史留多久、新人看得到多少,会一起变:

  • 归公司(39):账号在公司的通讯录里,离职就吊销、退出每个群;历史存好几年,管理员定保留和导出。
  • 归顾客(43):会话跟着顾客,一直用下去;客服进来就看全部历史;访客登录后,会话交给她的账号。
  • 归租户(44):每个 ID 都带上租户;谁能给谁发,租户自己选。
  • 只在用户的设备上(42):服务器送达就删,历史在设备之间搬。

谁付钱。 付钱的人要什么,就多出什么。公司要“谁没读、几点读的”和好几年的记录,于是有了已读流水和冷热分层(39);店铺要人手够、顾客等得少,于是有了分配服务和每次咨询的时间(43);租户要自己的规则、不被邻居拖累,于是每个租户各有额度和连接数上限(44);直播间里送礼的观众,要主播一定看到,于是礼物有一条可靠的路(41)。这些多半是加在旁边的东西,主线的核心不用翻。

信不信服务器。 隐私通讯一列改得最多,原因和人数无关(它举的群只有 100 人)。凡是要服务器读内容的格子,一下全翻:推几份、存几份、去重、未读、通知、撤回、历史。服务器只剩每台设备一个信箱,其余的搬到了手机上。存的少了(送达就删),一年后只有主线的约 1/70;写的反而多了(每台设备放一份,取走再删一次),约 1.4 倍。

8. 一个产品,五个问题

把七个产品(主线加六个分支)放在这五件事上:

产品 一条给多少人 能丢吗 数据归谁 谁付钱、定规矩 信服务器吗
主线 · 社交 群最多 500 不能 用户 App 自己 信
办公 39 全员群 3,000 更不能 公司 公司,管理员定 信(要服务端搜索)
社区 40 10 万成员,约 1,000 人在看 不在看的人晚一分钟可以 社区,有权限就能翻 开社区的一方,按角色定 信
直播 41 100 万 可以,礼物除外 不存 送礼的观众 信
隐私 42 群 100 人 × 3 台设备 不能 只在用户的设备上 用户 不信
客服 43 顾客加一位客服 不能 顾客 店铺 信
平台 44 全员广播 1,000 万 不能;回调的规则只是“尽量” 租户 租户 信

遇到一个新产品,先回答这五个问题,再回到前面的四张表:答案和主线不一样的那一项,带动的那几行就是要改的。答案都一样的,就照主线做。

9. 这一章的决定

分支到这里讲完了。六个产品改得最多的,不是“消息怎么可靠地送到”,而是“送给谁、记给谁、归谁”。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。