深入理解 IM 系统

第 39 章

办公 IM(toB)

人事在 3,000 人的全员群里发了一条通知,要大家 10 点前确认。谁还没读?两年后有人问起,还查得到吗?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

主线的 App 是社交软件:用户自己注册,自己加好友,聊天记录是自己的。这一章把同一套 v3 系统卖给公司。

一家几千人的公司用它上班。早上 9 点,人事在 3,000 人的全员群里发了一条“@所有人 新的请假制度,请 10 点前确认”。10 点半,她想知道谁还没读,好挨个提醒。两年后,有人说“我从没收到过这个通知”,公司要查得到他当时读没读、几点读的。

这一章从 v3 出发(第 32 章),一层一层过主线的决定:留下、改掉,还是扔掉;再细讲办公 IM 新加的东西。

1. 办公 IM 要什么

社交 App(主线) 办公 IM
账号 自己注册 公司建,管理员管;人走了,账号停掉
能和谁聊 好友,群里的人 通讯录里的同事;外部的人要先加
已读 单聊“已读”;群里点开看几人已读(第 15 章) 每条消息谁没读、几点读的,还能催
群多大 最多 500 人 全员群几千人
历史 记录归用户 记录归公司,存好几年,能搜、能导出、按规定删

前四行改的是现有的决定,最后一行是新东西。办公 IM 有公开的例子:企业微信讲过它的消息系统,要支持万人群,每条消息记已读和未读的人,消息在云端最长存 180 天,有数百 TB(企业微信的 IM 架构,2021);钉钉讲过它的 DTIM(钉钉 DTIM,原文发在 InfoQ)。

2. 主线的决定,一层一层过

层 主线的决定 办公 IM
连接 网关、心跳、重连、准入(第 20–24 章) 留下
连接 App 的服务端签令牌,吊销靠时间戳(第 25 章) 留下;签令牌的换成公司的统一登录;吊销常用:每个离职的人都要
客户端 网页端(第 27 章)、旧 App(第 31 章) 留下;电脑和网页是主要设备;管理员能统一要求升级
消息 ACK、去重、seq、会话的主人、消息日志(第 3–5、28、29 章) 留下
消息 确认之后再复制到另一个城市(第 37 章);整个城市没了,最后约 1 秒确认过的消息会丢 可能改:公司的记录丢不得,复制完再确认,每条慢 30 毫秒,整个城市没了也一条不丢
分发 每条消息改每个成员的会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看(第 10、11 章) 几百人的群留下;几千人的群改(下面算)
存储 每人每个会话一个读到哪,算未读数(第 14 章) 留下
存储 已读回执从读到哪算(第 15 章) 改:第 4、5 节
存储 新设备只拉最近的;本地搜不全(第 16 章) 改:历史存好几年、冷热分层;服务端搜索(第 6、7 节)
业务 入群退群、成员同步(第 12、13 章) 留下;多了按部门建的群
业务 IM 的用户对应 App 的用户(第 25 章) 改:用户属于公司的通讯录(第 3 节)

几千人的群。 第 11 章里,群里每来一条消息,后台就给每个成员改一次会话记录(一个小事务,写两行:这个人的版本号和他的那一行)。3,000 人的群,两秒一条,就是每秒 1,500 次、3,000 行,一台存储(每秒约 2 万行,第 29 章)的 15%,还行;热闹起来每秒 10 条,就是每秒 3 万次、6 万行,三台存储。钉钉公开的做法是:大群发消息时不更新每个人的红点和最后一条消息,用户拉首屏时再实时算。这就是第 40 章社区的做法,几千人的群照着用。

剩下的“改”,下面一节一节说。

3. 账号属于公司

主线里,Ana 自己注册,IM 给她一个用户 ID(第 25 章)。办公 IM 里,账号是公司的:

  • 通讯录。 公司有部门、有成员,由管理员维护,或者从公司自己的人事系统同步过来。企业微信的通讯录接口就是这样:部门、成员能增删改,只有管理员能开通这个同步(通讯录管理)。IM 的用户 ID 对应的不再是“App 里的 ana_92”,而是“某公司的某个成员”。
  • 内部和外部。 同事是内部成员;客户、供应商是外部联系人。企业微信里,员工可以添加外部企业的联系人,外部联系人又分企业微信联系人和微信联系人两种(客户联系)。两种身份看到的不一样:外部的人看不到公司的通讯录;有外部的人在的群,是另一种群,保留和存档的规矩也可以不同。
  • 谁能给谁发。 跟着通讯录走:同一家公司的人,找到就能发;外部的人,要先加为联系人;管理员可以再加规矩,比如某些部门不能和外部聊。这些都在建会话的时候查。会话建好以后,发消息还是只查第 12 章的成员行,不用每条都去问通讯录。
  • 离职。 管理员把一个人标成离职,IM 要做三件事:用第 25 章的时间戳吊销他所有的令牌,关掉他开着的连接;把他从每个群里移出去(第 12 章,每个群一次退群);他和别人的单聊,对方照样看得到,名字旁边标上“已离职”。Slack 停用一个成员也是这样:他会被移出所有频道、在所有设备上退出登录,消息和文件都不删(Deactivate a member’s account)。他的客户要交给接手的人:企业微信有“离职继承”,把离职成员的客户分给另一个成员,24 小时后自动接替(分配离职成员的客户)。

记录归公司,人走了,记录还在。

4. 谁还没读:主线在全员群里

第 15 章的已读回执不另记东西,全从第 14 章的读到哪算:每人每个会话一个 seq(已读游标已读游标read cursor每个人在每个会话里读到了哪一条。存在服务端,同一个人的几台设备共用,用来算未读数和已读回执。和同步游标不是一回事。在术语表里查看),这个 seq 以前的都读了。第 s 条“谁没读”,就是这条发出时在群里的人里(第 12 章的成员区间成员区间membership range一个人在一个群里能看的那一段 seq:min_seq 是第一条,max_seq 是最后一条(还在群里就不设)。入群和退群像消息一样占会话的一个 seq,所以每条消息该发给谁、谁能翻到哪条历史,都按这一段算,和什么时候去算无关。全群也有一对:max_seq 是最新 seq,min_seq 以下谁都看不到(第 12 章)。在术语表里查看),读到哪还小于 s 的那些。

第 14 章还定了一条:点 @ 跳过去,读到哪不动。 跳过的那一段,她确实没看,不能算读了。在社交 App 里这是对的。在全员群里,它会出错。

通知发出的时候,很多人群里还有没看的。他们看到通知栏的提醒,或者红点旁的 @,一点就直接跳到通知,读了,回一句“收到”。可通知上面那一段(发通知前就没看的)他们跳过了,读到哪还停在那一段的开头。人事那边,他们都是“未读”。

按下面的假设跑一遍(种子 1):

  • 发通知时,30% 的人群里没有未读,其余的人有 1 到 200 条没看;
  • 两小时内 85% 的人读了,读的时刻在这两小时里均匀分布;
  • 读的人里,一半是点 @ 或通知跳过去的,一半是打开会话,从第一条未读一路看下来。

两小时后:

  • 2,569 人读了,431 人没读;
  • 按读到哪,显示没读的是 1,346 人:915 个读过的人被算成没读,占读过的人的 36%。人事要挨个去催他们。

用笔算:3,000 人 × 85% 读了 × 一半跳过去 × 70% 有未读 ≈ 892 人。换 200 个种子,平均 894 人,最多 947 人。

还有一个问题读到哪答不了:几点读的。 10 点前读了的有 1,301 人,可读到哪只有位置,没有时间。两年后要查“他 10 点前读了没有”,查不到。

这不是主线做错了:社交群里,“几人已读”只是看看;办公 IM 里,这个名单要用来催人、对账。

5. 办法:读过的段,加一本已读流水

不换掉读到哪,在它旁边加两样:

  1. 读过的段读过的段read ranges办公 IM 在读到哪之外另记的几段:跳过去读的消息记成一段,比如“4,900 到 4,930”,补上中间那段就并进读到哪。放在会话记录那一行里,只留几段。在术语表里查看(第 14 章在“其他答案”里提过的“记读过的区间”)。读到哪说的是“从头到这里都读了”。跳过去读的,另记成一段,比如“4,900 到 4,930”。往回看,补上中间那段,两段就并进读到哪。段放在会话记录那一行里,一般只有零到几段,最多留几段(比如 8 段)。
  2. 已读流水已读流水read log只追加的一本记录:每次读写一行,谁、哪个会话、从哪条到哪条、几点几分。办公 IM 靠它回答“谁没读、别人几点读的”。在术语表里查看。 每次读,追加一行:谁、哪个会话、从哪条到哪条、几点几分。只追加,不改。手机一秒报一次读到哪(第 14 章),同一分钟里连着的几次并成一行;钉钉也类似:客户端把一个会话里的多次已读合并成一次发给服务端,服务端把每条消息的已读请求合并处理,比如 1 分钟的请求合成 1 次。

于是:

  • 第 s 条谁没读:这条发出时在群里的人里,读到哪小于 s、读过的段也不包含 s 的。3,000 人,每人一个位置(12 字节)加几段,点开时读 36 KB 多一点。
  • 他几点读的:查他在这个会话里第一行包含 s 的流水。精确到分钟。
  • 未读数还用第 14 章的读到哪算,再扣掉读过的段里那些本该算进未读的消息。段里有几条,用第 14 章每条消息带的“到这条为止的计数”(会话里到这条为止有几条该算未读)一减就有。比如 Ana 读到 4,800,最新是 5,000,读过的段是 4,900 到 4,930:4,930 那条的计数减 4,899 那条的,是 31,未读数就从 200 变成 169(这里假设 4,800 以后都是该算未读的普通消息)。

上面的全员群:跳过去读的人里,915 个在通知前面有一段没看,就多记 915 段;流水一共 2,569 行,一人一行。显示没读的正好是那 431 人。200 个种子,一个也不错。10 点前读了的 1,301 人,从流水里查得到。

发消息的人怎么看到数字涨。 人事的手机开着这个群时,每条她发的消息下面显示“几人未读”。不必每有一人读就推一次:后台有个程序读已读流水(像第 29 章消息日志后面的消费者),攒一分钟,告诉她“这几条的数字变了”,她的手机再拉。

6. 存好几年:冷热分层

主线按 v3 的量算:每天 4 亿条消息,每条 200 字节。

  • 一天 80 GB,一年 29.2 TB,三个副本 87.6 TB;
  • 存 5 年,146 TB,三个副本 438 TB。

可大多数读只碰最近的消息。把历史分两层:

  • 热的:最近 30 天,2.4 TB,三个副本 7.2 TB,放在快盘上,和主线一样;
  • 冷的:更早的 143.6 TB,放在便宜的盘上,用纠删码纠删码erasure coding把数据切成块,再算出几块校验块,丢了不超过校验块数的任意几块都能恢复。比如 6 块数据配 3 块校验,只多存 50%,三个副本要多存 200%。适合放冷数据。在术语表里查看代替三个副本:比如每 6 块数据配 3 块校验,坏任意 3 块都能恢复,只多存 50%。143.6 TB × 1.5 ≈ 215 TB。

一共约 223 TB,是全放三副本的 51%。代价是冷的读得慢:翻到两年前,要等一会儿。企业微信也是这样,冷数据放到便宜的 SATA 盘上。

文字还是小头。照第 8 章的假设,5% 的消息是 200 KB 的图片,一天就是 4 TB,是文字的 50 倍,一年 1.46 PB;办公里的文件只会更大。它们在对象存储对象存储object storage按名字存取整个文件的存储服务(例如 S3),图片和文件放在这里,而不是消息表里。手机拿到一个限时的上传地址,直接传给它;下载通常再经过 CDN。在术语表里查看里,同样要分冷热,也同样受下面的保留规则管。

已读流水也要存这么久:一天约 6 亿行(1,000 万人,每人每天打开约 60 个会话,第 7 章的假设),每行 28 字节,一天 16.8 GB,约是文字的五分之一。

7. 搜索

第 16 章说过,新设备只拉了最近的,本地搜不全。历史存了好几年,就要服务端搜。

  • 从哪来:搜索索引是消息日志消息日志message log持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。在术语表里查看(第 29 章)后面的又一个消费者,跟着日志建索引。撤回、编辑(第 18 章)、按规定删的,也从这里改。
  • 多大:按索引和文字一样大算(假设),一天又是约 80 GB。
  • 谁能搜到什么:只能搜到自己在的会话,而且只在自己在群的那段时间里(第 12 章的成员区间)。不要给每个人建一份索引:一条消息平均到 6.67 个人(第 6 章的假设),每人一份就是一天 533 GB。索引按会话建,查的时候用“我在哪些会话、从哪条起”过滤。
  • 怎么分片:按公司分看着自然,可大公司会成热点。Slack 早先按工作区分库,大客户一个分片装不下,后来消息改成按频道分(Scaling Datastores at Slack with Vitess,2020)。主线本来就按会话分(第 28 章),留下。

8. 保留和导出

记录归公司,就由公司定存多久、给谁看。

  • 保留。 管理员选“一直留着”或者“N 天后删”。Slack 的付费版默认在工作区存在期间一直保留,可以改成到期自动删,删除每天跑一次(Customize data retention)。删,要删到每一份:热的、冷的、副本、搜索索引、已读流水、文件,还有每台设备的本地库(像第 18 章的撤回,发一个事件下去)。
  • 删也是写。 如果每家公司都只留一年,每天就要删 4 亿条,平均每秒 4,630 条,和写进来的一样多;挤在夜里 4 小时里,每秒约 2.8 万行,一台半存储,还没算索引和文件。所以冷数据最好按“公司 + 月份”放:到期整块扔掉,不用一行行删。
  • 导出。 公司为了合规,要导出全部对话。Slack 的 Business+ 版,所有频道和私信的导出要申请(Export your workspace data);企业微信有“会话内容存档”,企业设定存档哪些员工,通过接口取他们的工作沟通内容(会话内容存档)。导出也走第 7 节的权限:导出的人能看到什么,要记下来,能查。

9. 代价

  • 每次读多写一行流水。 一天约 16.8 GB,高峰每秒约 2 万行,一台存储;按条记(每条消息每个读者一行,每行 16 字节)是一天 42.7 GB、高峰每秒约 9.3 万行、4.6 台。
  • 读过的段让未读数更绕。 段里的消息要从未读里扣掉;段太多时只留最近的几段,更早的跳读只在流水里。
  • 时间只到分钟。 合并一分钟换来行数少。
  • 删要追到每一份(第 8 节),漏一处就是没删干净。
  • 离职的人的手机。 服务端只能在它连上来时叫它清掉本地库;一台再也不联网的手机,还留着它的那份。

10. 其他答案

  • 每条消息每个读者一行。 最直接,几点读的、跳着读的都有。代价是行数:一个 500 人、一天 1,000 条的群,一天 50 万行;每人一天打开 20 次,流水只要 1 万行。
  • 企业微信。 每个成员一份消息(写扩散写扩散write fan-out发消息时给每个接收人的信箱各写一条,读的时候只看自己的信箱。写得多、读得快,适合人数不多的会话。第 6 章拿它做比较;第 10 章说明它和端上建会话连在一起:手机要从信箱里拼出会话。v1、v2 都没有用它。在术语表里查看),说是为了回执和“只在自己这边删”这类 toB 需求;回执的已读列表存在发送者那一份里,有人读了,就追加一条指向原消息的新消息;客户端把多条消息一起确认已读,服务端也合并处理(同一个读者的一次确认算一次;经过队列,同一个发送者的也合并),线上高峰时一共省了 44% 的写入量;同一个账号的请求经队列串行处理,免得两个人的已读互相覆盖。
  • 钉钉 DTIM。 普通消息存一份,按人不同的(只给某人看的、某人删了的)另存在个人的收件箱里;消息入库时写已读状态;大群里的已读请求合并处理。
  • 每条消息一个位图。 群里每个成员一位,3,000 人的群一条 375 字节;说得出谁读了,说不出几点。
  • 只给小群,只留几天。 第 15 章提过,Telegram 的公开 API 里,“这条群消息谁读了、几点读的”(messages.getMessageReadParticipants)只对不超过一定人数的群开放(默认 100 人),回执也只存一段时间(默认 7 天),过期就删(方法说明、客户端配置)。社交产品可以这样省;办公 IM 的全员群有几千人,还要查两年,正好相反。
  • 照主线,只用读到哪。 接受跳读算没读、没有时间。社交产品够用。

11. 这一章的决定

办公 IM 把已读和历史做得更重。下一章反过来:一个社区 10 万人,大多数人很少来,怎样让每条消息做得更少?

评论

评论存在 GitHub Discussions,需要 GitHub 账号。