深入理解 IM 系统

第 16 章

多端同步

Ana 用手机回了 Ben 一句,桌上开着的电脑却没有这一句。她新买了平板,第一次登录,聊天记录该下载多少?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

Ana 坐在电脑前,桌面版开着和 Ben 的单聊。她拿起手机,回了 Ben 一句“七点楼下见”。抬头看电脑:这一句不在。

过了二十分钟,Ben 回了“好”。电脑上这才同时冒出两句:她的,和 Ben 的。

这一章要定的是:一个人有几台设备时,每台怎么拿到该有的消息,包括她自己从别的设备发的;一台新设备第一次登录,要拿多少。 读到哪、未读数在几台设备上一致,第 14 章已经解决了。

1. 先看产品要什么

做法 例子 服务端要做什么
一个账号只一台设备 新设备登录,旧的被踢下线 路由表每人一条连接
每类设备一台 手机一台、电脑一台,同类的互踢 登录时按设备类型踢
好几台,各自独立 手机关机,电脑照样收发 每台设备都要收到每条消息
好几台,端到端加密 WhatsApp 的多设备 发的人给每台设备各加密一份(第 42 章)

主线是第三种:Ana 有手机和电脑,全书平均每人 1.5 台,每台自己连服务端、自己补齐,不靠别的设备在线。

2. 离线回来:已经没问题

先看离线的那台。Ana 的电脑合了一晚上,早上打开,它怎么知道缺了什么?

从第 6 章起,同步游标同步游标sync cursor设备记着的“我已经拿到哪了”。本书里是两样:会话记录的版本号,和每个会话最后的 seq。设备回来时,先问版本号之后变了什么、各会话最新的 seq,再拉落后的。在术语表里查看就记在每台设备上:一个记录版本记录版本record version每人一个递增的号,会话记录每改一次加一;取号时锁住这个人在 users 里那一行,所以版本的先后就是提交的先后。手机记着自己拿到的版本,回来时问“这之后改了哪些”,被拉进的新群、来了消息的会话都在这里出现。在术语表里查看(她的会话记录每改一行就涨的号),加上每个会话最后的 seq序号(seq)会话里每条消息的编号,由负责这个会话的消息服务连续分配。它决定会话里的顺序,也让客户端发现缺了哪一条;手机回来时,也按它判断哪个会话落后了。在术语表里查看(会话里连续的消息编号)。电脑带着自己的版本去问“这之后改了什么”,再拉落后的会话;手机带的是手机的。服务端不用为每台设备记“它拿到了哪”。

Ana 自己发的消息也在里面。第 11 章里,每来一条消息,分发层就把这个会话每个成员的会话记录改成新的最新 seq,发的人也在内。Ana 的版本涨了,电脑下次同步看到这个会话落后,就把她用手机发的那句拉回来。

所以“每台设备一个游标”,v1 已经有了。

3. 在线的那一刻:漏了自己

问题在电脑开着的时候。在线的设备不靠同步,靠推送(第 2 章)。可第 2 章的推送是这样写的:“查到 Ben 的每一条连接,把消息写进去。”推给收件人,不推给发的人,因为发的人自己手上有。

只有一台设备时,这没错。有两台时,Ana 的电脑没发这条,却也跟着“发的人”被跳过了。它要等到:

  • 这个会话的下一条消息推过来,seq 跳了号,去拉中间缺的(第 5 章);
  • 或者下一次同步(重新连上、切回前台)。

开头那二十分钟,就是在等 Ben 的下一句。安静的会话,可能要等很久。

这不是新问题。开放协议 XMPP 为它专门写了一份扩展,Message Carbons:用户换一台设备接着聊,对话的一部分却落在另一台上。它的办法是把收发的消息都抄一份给这个人其他在线的设备。

4. 办法:推给每台设备,只跳过发出它的那条连接

分发的规则改成:

  • 推给这个会话每个成员的每台在线设备, 包括发的人自己的其他设备;
  • 只跳过发出这条消息的那条连接。 那台手机已经有这条,它的 seq 随 ACK 回来(第 5 章)。

原来是“成员里去掉发的人”,现在是“所有成员的所有连接里去掉发出的那一条”。路由表本来就是“用户 → 一组连接”(第 2 章),不用改。

电脑收到 Ana 自己的消息,照常写进本地数据库,发送者是 Ana,显示在右边。本地库的 (sender_id, msg_id) 唯一(第 7 章),同一条从推送和同步各来一次,也只存一份。

算一下:

  • 徒步群一条消息,要送到 500 人 × 1.5 台 = 750 台设备:在线的推,不在线的回来时自己同步。
  • 多出来的:每人平均 1.5 台,去掉发出的那台,每条消息平均多推给发的人 0.5 台。v2 高峰每秒 139 条,就是每秒多推约 70 次,比原来每秒 1,390 次送达(139 条,每条平均送到 10 台设备)多 5%。

5. 新设备:第一次拉多深

Ana 买了平板,第一次登录。它什么都没有,记录版本是 0。

第 10 章定了下限:拿全部会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看,每个会话拉最新一条,会话列表就排得出来。一条记录现在带上了第 14 章的读到哪和未读数,是 39 字节;一条消息约 200 字节:

  • Ana(2,000 个会话):约 478 KB。
  • 平均的人(200 个会话):约 48 KB。

可只拉最新一条,平板一点开会话就只有一句,往上翻要等网络。几种深度:

拉多深 Ana 的平板 点开会话
每个会话最新一条(第 10 章) 478 KB 第一次点开要等一个来回
再给第一屏 20 个会话各拉一页(50 条) 再加 200 KB 常看的那些马上有
全部历史 每天收 267 条、发 40 条(第 7 章),一年约 11 万条,每条 200 字节,文字 22 MB;三年 67 MB 都有,本地能搜

照片不算在里面:和第 8 章一样,点开才下载原图。

主线建议第二种。其余的和第 7 章一样记成“洞”(本地的一个标记:这一段还在服务器上),点开、往上翻到那里再补。全部历史不在登录时拉。

Telegram 的公开 API 也是这么分的:会话列表用 messages.getDialogs 一页一页拉,每页带上这些会话各自的最后一条消息(messages.dialogsSlice);点开往上翻,再用 messages.getHistory 从某条消息往前拉一页。不同的是,它连会话列表本身也分页,这一章是一次拿全。

代价是新设备上的搜索搜不全:本地只有拉过的那些。要搜全,要么由服务端搜,要么在后台慢慢把历史拉下来。主线先不做;历史存多年、要搜索的产品,是第 39 章的办公 IM。

6. 代价

  • 每条消息多推约 5%。 推给发的人自己的其他设备。
  • 设备要管起来。 服务端要有一张设备表:哪些设备登录着、各是什么平台。退出登录、在别的设备上移除它,就删掉这一行、断开它的连接;第 17 章还要在这里记它的推送令牌。Telegram 的公开 API 里能看到这张表:account.getAuthorizations 列出登录着的每个会话,带设备型号、平台、App 版本、最后活跃时间和 IP(authorization),account.resetAuthorization 让其中一个退出登录。
  • 新设备一开始是浅的。 往上翻要等网络,本地搜不全。
  • 每台设备各同步一次。 一条消息、一次已读,几台设备各拉一遍;服务端的读跟着设备数涨,不跟着人数。

7. 其他答案

  • 只允许一台设备。 最简单:路由表每人一条连接,新登录踢掉旧的。这是产品上的限制,不是技术上的。
  • 每台设备一个信箱。 服务端为每台设备记一条队列,拿走一条删一条。设备之间互不影响,代价是每条消息给每台设备各写一条:徒步群一条消息写 750 条。
  • 只交给一台。 XMPP 的核心规范允许服务端只把发给一个人的消息交给他“最在线”的那台,比如优先级最高的(RFC 6121 §8.5.2.1)。后来靠 Carbons 抄给其他在线设备,靠服务端的消息存档(XEP-0313)让每台设备补齐历史。
  • 发的人给每台设备各发一份。 WhatsApp 的多设备(2021):消息端到端加密,服务端解不开,发送的客户端给双方的每台设备各加密、各发一次。新设备连上时,由手机把最近会话的消息打成一个加密包传过去。手机之外最多再带 4 台设备。第 42 章细讲。
  • 首次同步每个房间拉几条。 Matrix 的首次同步可以用过滤器限定每个房间拉多少条,拉不全的时间线标成 limited,再用 prev_batch 往回翻(同步)。和这一章的“每个会话最新一条,其余再拉”是同一类。

8. 这一章的决定

开着的设备都收到了。可 Ben 的手机 App 是关着的,连接早就没了,消息在会话里等着,他不知道。下一章:唤醒离线的手机。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。