深入理解 IM 系统

第 44 章

IM 作为平台

同一套 IM 同时服务几十个 App:一家购物 App 要给一千万用户发通知,一个游戏的回调服务挂了,一家诊所只许医生和自己的病人说话。哪些东西要按业务方分开,哪些照旧共用?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

到第 38 章为止,这套 IM 只服务一个 App:Ana、Ben、徒步群,规则都是这个 App 定的。

现在它要同时服务很多个:一家购物 App、一个游戏、一家诊所的问诊 App。云 IM 服务(腾讯云 IM、融云、网易云信)就是这样卖的;大公司也常让自己的几个 App 共用一套 IM。每个接入的业务方,叫一个租户租户tenant接进同一套 IM 服务的一个业务方,比如一家购物 App 或一个游戏。服务是共用的,每个租户的 ID、规则和额度各自分开,一家不能拖累别家。在术语表里查看:像一栋楼里的住户,楼是共用的,门各关各的。

这一章的问题:同一套 IM 服务很多租户,哪些东西要按租户分开,哪些照旧共用?

先说结论:消息怎么存、怎么排、怎么同步,主线的做法都不用改。要动的是每个租户自己带进来的东西:它的 ID、发给所有人的通知、它的重试、它的规则,和它能占多少共用的资源。

1. 每个 ID 都带上租户

购物 App 有个用户叫 ana_92,游戏里也有一个 ana_92。他们不是一个人。

第 25 章已经有了一半答案:IM 给每个 App 用户发一个自己的 8 字节 ID,映射表的键是 (App, ana_92)。所以 IM 内部的 ID 本来就不会撞。要补的是入口:

  • 从外面来的每个调用都带着租户,平台在入口把 (租户, ana_92) 换成内部 ID。腾讯云 IM 的服务端接口每次都带 SDKAppID,“App 在即时通信 IM 控制台获取的应用标识”(REST API 简介)。
  • 外面不能直接写内部 ID。 否则购物 App 填一个游戏用户的内部 ID,就能给他发消息。
  • 会话和群也属于一个租户。 一个会话里只能有同一个租户的人。
  • 令牌用各自的钥匙签。 第 25 章的登录令牌由 App 的服务端用私钥签名,网关用公钥验;现在每个租户一对钥匙,网关按令牌里写的租户,找它的公钥来验。

2. 一条发给所有人的通知

晚上 8 点,购物 App 要给全部 10,000,000 个用户发一条“大促开始”。

主线会怎么做?把这些人当成一个会话的成员:消息只存一份,每个收件人的会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看改一行(第 10、11 章)。第 11 章算过,改一个人的会话记录是一个小事务,写两行:这个人的记录版本,和那条记录本身。

  • 一共 10,000,000 次记录更新,20,000,000 行。
  • 一台存储每秒写 20,000 行(第 29 章),要 1,000 秒;v3 存会话记录的 20 片(第 36 章;假设每片写得和一台存储一样快)一起写,也要 50 秒。高峰时聊天自己的记录更新已经占了它们的 46%(每秒 185,000 行,第 32 章)。

可主线不会这样被压垮:第 34 章给每个会话限了速,每秒最多送 5,000 人;一条发给一千万人的消息,这里理解为它的记录更新按每秒 5,000 人慢慢发出去。系统不坏。 坏的是别的:

  • 最后一个人要等 33 分钟(10,000,000 ÷ 5,000 = 2,000 秒)。最后一条“大促开始”8 点 33 分才到,也就没用了。
  • 这半个多小时一直占着半台存储(每秒 5,000 人 × 2 行 = 10,000 行),写的两千万行内容都一样。

公开的云 IM 也选了慢:

  • 腾讯云 IM 的全员推送默认存云端历史(叫“漫游”)和未读,“推送并发限制200人/秒”(全员/标签推送):一千万人要 13 小时 53 分钟。
  • 环信的全 App 广播写进服务端的会话列表,支持漫游、可以计入未读,每秒最多 1,000 个用户(环信文档):要 2 小时 47 分钟。

办法:只存一份,谁打开谁读

发给所有人的东西,换成第 10 章的读扩散读扩散read fan-out消息只在会话的时间线里存一份,每个人读的时候自己去取。写得少、读得多,适合大群。v1、v2 的消息都这样存(第 6、10 章);它要求会话由服务端建、设备去同步。在术语表里查看:

  • 每个租户一个广播会话广播会话broadcast conversation发给一个租户所有用户的通知放在这里,只存一份。它不写成员行,也不在谁的会话记录里;手机同步时顺带问它的最新 seq,比自己的新就拉。在术语表里查看。 租户的每个用户都算在里面,但不写成员行,也不写会话记录。“大促开始”是它里面的一条消息,写一次。
  • 同步时顺带问一下。 手机每次同步只拿版本号变大的会话记录(第 11 章);广播会话没有会话记录,不会在里面。所以同步时另外带上广播会话的最新 seq,服务端多读缓存里的一个数。广播会话的 seq 比手机上的新,就拉那一条;所有人拉的是同一条,放在缓存里。
  • 在线的人推一个“去同步”。 10% 在线,1,000,000 人;在一分钟里匀着推,每秒 16,667 次,是 20 台网关推送能力(每台每秒 50,000 次,共 1,000,000 次)的 1.7%。
  • 读到哪,读了才写。 和别的会话一样(第 14 章),他看了才记一行已读游标已读游标read cursor每个人在每个会话里读到了哪一条。存在服务端,同一个人的几台设备共用,用来算未读数和已读回执。和同步游标不是一回事。在术语表里查看;从不打开 App 的人,什么也不写。

网易云信的广播像是这个形状:“最多保留最近 10000 条离线广播消息”,广播“不支持推送、漫游和生成会话”(广播消息收发)。内部怎么存,文档没说。

发给一部分人。 比如一份 2,000 人的名单(人数是举例假设的),就像一个大群,照常写扩散写扩散write fan-out发消息时给每个接收人的信箱各写一条,读的时候只看自己的信箱。写得多、读得快,适合人数不多的会话。第 6 章拿它做比较;第 10 章说明它和端上建会话连在一起:手机要从信箱里拼出会话。v1、v2 都没有用它。在术语表里查看,但放进这个租户自己的低优先级队列,不和聊天抢。按标签(租户给用户打的标记,比如“上海”“会员”)发给几百万人,又回到广播:每个标签一个广播会话,或者广播上带个条件,同步时按这个人的标签过滤。

3. 业务方自己的重试

“您的订单已发货”这类通知,是业务方的服务端调 IM 的接口发的。调用超时了,它会重试;可第一次也许已经发出去了,只是回答没回来。

第 4 章的去重靠发送方生成的消息 ID消息 IDmessage ID客户端在发送之前给每条消息生成的唯一 ID,重发时不变。服务端靠它认出重发的消息。在术语表里查看,挡的是网络上的重发;业务方的重试是一次新的调用,在 IM 看来是两条消息。第 4 章的“实践中”讲过:这得靠业务自己的 ID。

腾讯云 IM 的单聊接口,用发送者、MsgSeq 和 MsgRandom(调用方填的两个数)、内容的校验和,拼成去重键,“该 Key 的有效期是120秒”(单发单聊消息)。两分钟内重试能认出来;任务五分钟后重跑,就认不出了。

平台的做法:服务端接口多收一个业务方自己的键,常叫幂等键幂等键idempotency key业务方的服务端发消息时带上的自己的键,比如订单号加通知类型。同一个键来几次,结果都和第一次一样:平台记住这个键发出的消息 ID,重试时返回它,不再发一条。在术语表里查看:同一个键来几次,结果都和第一次一样。比如订单号加通知类型。平台把 (租户, 键) → 消息 ID 存 24 小时,加唯一约束;同一个键再来,返回第一次的消息 ID,不再发。存多少?v3 一天 400,000,000 条消息,假设一成由服务端发,就是 40,000,000 条,每条 64 字节(键和消息 ID),一天 2.56 GB。

4. 谁能给谁发消息

群里谁能发言,第 12 章定了:在群里的人。私聊呢?每个租户规矩不同:社交 App 只让好友互发;购物 App 让下了单的买家找卖家;诊所只让病人找自己的医生;几乎都能拉黑。这些规则在租户那边(业务层业务层business layer账号、好友、群、权限和审核这些规则。它在消息路径旁边:各层需要时调用它,消息不从它这里流过。在术语表里查看),IM 自己不知道。

最直接的做法:每条消息存下之前,IM 先调用租户的服务问一句“能发吗”。平时是租户调 IM,这里反过来由 IM 调回租户,所以叫回调;这一种叫发送前回调发送前回调before-send callbackIM 在保存一条消息之前,先调用业务方的服务问“这条能发吗”,按回答放行、拒绝或改写。规则总是最新的,代价是每条消息多等一个来回,业务方出故障时只能一律放行或一律拒绝(分支:IM 作为平台)。在术语表里查看。每条多等一个来回,比如 20 毫秒;租户一出故障,IM 只能二选一:等满超时就放行,或者一律拒绝。

下面是两分钟里发给 Ana 的私聊:Cara 是好友,Ben 在 0:20 被拉黑,还有一个陌生人(Ana 只收好友的)。1:00 到 1:30,租户的服务挂了:

业务方挂了Ana 拉黑 BenCara好友Ben0:20 被拉黑陌生人Ana 只收好友的0:000:301:001:302:00

该发,发了不该发,拒了不该发,却发了该发,却拒了

12 条不该发的发给了 Ana。 问了业务方 64 次;平时每条多等 20 毫秒,挂了的那半分钟里每条等满 2 秒才有结果。

  • 超时放行:挂掉的半分钟里,Ben 和陌生人的 12 条全发进来了。
  • 超时拒绝:没有漏的,可 Cara 的 5 条被拒了。
  • 两种都一样:每条都要等租户,挂掉的半分钟里每条都等满 2 秒。按 v2 高峰每秒 139 条算,这样卡住的有 139 × 30 = 4,170 条。

谁能和谁说话其实很少变,消息却一直在发。所以可以把判断挪到关系变的那一刻(选图里的“查 IM 自己的状态”):

  • 关系变了,租户当时写进 IM。 两人成了好友,租户调服务端接口建一个私聊会话;下单时建买家和卖家的会话;Ana 拉黑 Ben,就把他们私聊会话里 Ben 的成员行标成“不能发”。写完了,才回 Ana“已拉黑”。
  • 发消息只查 IM 自己。 发消息的事务本来就锁着会话那一行、查发送者是不是成员(第 12 章),顺手看他的成员行上是不是写着“不能发”。拉黑改那一行时也先锁它:Ben 正在发的那条,要么排在拉黑前,要么被拒。

平台上,这件事没有一个对所有租户都对的答案,所以三种都提供,每个租户自己选:

  • 平台托管好友和黑名单。 好友和黑名单存在平台上,发消息时平台自己查。社交 App 用着方便;买家和卖家、病人和医生这类关系,平台不知道。腾讯云 IM 就有这项托管,但发单聊消息“默认不检查好友关系”,要在控制台打开(好友管理):在线客服这类产品,总不能让用户先加客服为好友。
  • 租户把关系写成会话状态:上面的办法。不依赖租户在线,代价是两边各存一份,要对账。
  • 每条回调:规则天天变、要看内容时用。

5. 发送前、发送后的回调

回调有两种。发送前:同步等租户回答,可以放行、拒绝,或者改内容(比如替换敏感词)。发送后:消息已经发了,通知租户一声,让它记录、同步到自己的系统;OpenIM 的文档说,发送后的回调是异步的,它的回答改变不了结果(Webhooks 概览)。

发送前回调超时了怎么办?几家公开的默认值:

超时 超时以后
腾讯云 IM 2 秒;发消息前的回调,这个值不能改 默认照常下发,控制台可改成不下发;不重试
网易云信 默认 2 秒,可以设 默认放行,可以设成不放行
融云 5 秒 再试 3 次,仍失败默认下发;短时间大面积超时,暂停回调 1 分钟
OpenIM(开源,自己部署) 配置文件里 5 秒 自带配置 failedContinue: true,失败照常发

出处:腾讯云 IM 回调说明,网易云信 第三方回调配置,融云 消息回调服务,OpenIM webhooks.yml。

四家默认都放行:租户的服务挂了,不该让它的用户连天都聊不了。代价是,放在回调里的规则只是“尽量”。

回调还会把一个租户的故障传给别人。假设一个大租户高峰每秒 1,000 条(为举例取的整数),每条都要回调。按第 36 章的利特尔法则,同时在等的个数 = 每秒来的个数 × 每个等多久:平时每条 20 毫秒,同时 1,000 × 0.02 = 20 个在等;它的服务卡住,每条等满 2 秒,同时就有 1,000 × 2 = 2,000 个发送在等。和别的租户共用一个池子,大家都跟着慢。所以:

  • 每个租户的回调有自己的名额(第 36 章的隔舱):同时最多有几个在等;满了,新来的就按它选的默认处理(放行或拒绝),不排队。
  • 超时多了就先不问(熔断),过一阵再试。融云的“暂停回调 1 分钟”就是这个。

Telegram 的 Bot API 也是平台回调第三方:有发给机器人的新消息,就推到机器人设好的地址,像发送后的回调,不拦消息。名额由机器人自己填:同时最多几条连接,1 到 100;回的不是 2xx,Telegram 重试一定次数后放弃(setWebhook)。

6. 额度,和共用的连接

租户能发起的每件事,都有它自己的额度,也就是上限:每秒、每天最多几次。公开的例子:

  • 服务端接口的调用频率:腾讯云 IM 单聊接口默认每秒 200 次。
  • 广播的次数:腾讯云每天 100 次、两次间隔大于 1 秒;网易云信每分钟 10 次;环信每 30 分钟 1 次、每天 3 次。
  • 机器人发消息:Telegram 让机器人在一个聊天里每秒别超过 1 条,在一个群里每分钟最多 20 条,群发每秒约 30 条;付费开通后群发每秒最多 1,000 条(Bots FAQ)。

回调的名额、队列的长度也各有上限。最大的几个租户,给它们单独的队列和消息日志分区(第 29、34 章):它积压了,只有它自己晚。

连接层所有租户共用。 网关按令牌里的租户登记连接,往后转发时按租户分开,每个租户的连接数也有上限。一家公司内部也这样:百度Geek说的一篇文章写道,“如果每个业务都维护自身的长连接服务,一方面有较大的重复开发和维护成本”,所以让消息、直播、PUSH 等业务“共用一条长连接”(52im 转载,原题《千万级高性能长连接Go服务架构实践》)。

7. 代价

  • 广播不在任何人的会话记录里。 第 17 章的角标是 users 行上记的一个总数,每改一次会话记录就跟着加减;广播会话没有会话记录,Ana 打开 App 以前,这个总数里没有那条“大促开始”。要让关着 App 时的角标算上它,得另外拿广播会话的最新 seq,把她没读的那几条加上去。
  • 系统推送省不掉。 要让一千万台关着 App 的手机都弹出通知,还是要发一千万次系统推送;只能放低优先级、慢慢发。
  • 额度要人定。 定小了租户发不出去,定大了挡不住吵闹的邻居:一个租户占满共用的资源,别的租户跟着慢。
  • 每一行代码都要带着租户。 漏一处,就可能把一个租户的数据给了另一个。

8. 其他答案

  • 广播也写扩散,但限速。 第 2 节里腾讯云 IM(默认)、环信的做法:广播进每个人的历史和未读数,一千万人要几个小时。
  • 最大的租户单独部署一套。 隔离最彻底,成本也最高,适合少数几个大客户。
  • 插件代替回调。 自己部署的 IM 可以把规则写成插件,跑在 IM 进程里,不走网络。turms 的插件放在 plugins 目录,服务启动时加载(turms 插件文档)。
  • IM 里放一份关系副本,异步同步。 租户的关系变了发个事件,IM 慢慢跟上;不用等 IM,可拉黑要过几秒才生效。

9. 这一章的决定

到这里,六个分支都走完了。同一个决策,换一个产品,答案就可能反过来;最后一章把它们放进一张表。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。