深入理解 IM 系统

第 18 章

撤回与编辑

Ana 在徒步群里发错了一句,一分钟后撤回。这条消息已经在几十台设备上,更多的设备还没拉,锁屏上还亮着通知。怎么让每一份都变过来?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

Ana 在徒步群里发了一句“周六改到 8 点集合”,发完才发现说错了,一分钟后点了撤回。

这条消息已经不止一份。徒步群 500 人,每人平均 1.5 台设备,就是 750 份:有的手机已经显示了,大多数还没拉,锁屏上还亮着通知。撤回要让每一份都变过来,包括现在不在线的设备。

1. 先看产品要什么

情况 屏幕上 服务端要做什么
只删自己的 我几台设备上没了,别人照旧 记在我自己身上,不是这一章
撤回 原处变成一行“Ana 撤回了一条消息”,或者干脆没了 这一章
编辑 换成新的文字,旁边标“已编辑” 和撤回同一个办法
管理员撤回别人的 同撤回 同一个办法,换一个权限检查

撤回和编辑都有时限,是产品定的:WhatsApp 2017 年上线“为所有人删除”时是 7 分钟(博客),编辑是发出后 15 分钟内(博客);Telegram 的时限由服务端下发给客户端(config 里的 edit_time_limit、revoke_time_limit)。时限要由服务端检查,不能只靠客户端。

2. 先想到的:在服务端改掉它

把发错的那条叫作 x。最直接的做法:服务端 UPDATE messages SET recalled = 1,再给群里此刻在线的设备推一条“撤回了 x”。

这个做法有它的道理:不在线的设备以后来拉,拉到的已经是改过的。出问题的是另一种设备:已经拿到这条,又没收到那条通知的。比如 Ben 的手机,消息到的时候开着,撤回时已经锁屏了。

它为什么再也改不过来?第 6 章的同步只拉 seq 比同步游标同步游标sync cursor设备记着的“我已经拿到哪了”。本书里是两样:会话记录的版本号,和每个会话最后的 seq。设备回来时,先问版本号之后变了什么、各会话最新的 seq,再拉落后的。在术语表里查看大的;这条的 seq 早在游标后面了。第 7 章以后,屏幕只读本地数据库,打开会话也不会再问服务端。于是原文就一直留在他手机上。

把通知做可靠也不够:给它加确认和重发,管得住撤回时在线的设备;撤回时不在线的,还是收不到。要让它们也收到,就得给每台设备存着这条通知,等它来取。这就是第 6 章说的信箱信箱inbox每人一份的收件索引,记着“有哪些新消息要给你”,有自己按人递增的序号。写扩散时写它,设备从自己的位置之后拉。第 6、10 章拿它和问遍所有会话比较,本书的 v2 没有用它。在术语表里查看(给每个收件人存一份,等他来取),只是专为“撤回”这一种消息建的,和消息自己的同步是两条路。

在高峰的一小时里算一下(在线 10%,推送丢 10%):

  • 一分钟后撤回:约 87 台设备已经拿到了原文。在服务端改掉、通知在线的,平均有 24 台永远留着原文;通知加了确认重发,还有 17 台。
  • 一小时后撤回:约 620 台拿到了原文,553 台永远留着。

3. 撤回也占一个 seq

问题出在:撤回改了一条旧消息,却没在 seq 这条线上留下任何东西,而每台设备只顺着这条线往前看。第 12 章的入群、退群也是这样解决的:让撤回像消息一样占一个 seq。

服务端,一个事务:

BEGIN;
UPDATE conversations SET last_seq = last_seq + 1 WHERE id = :g RETURNING last_seq;   -- 4,931,锁住会话那一行
-- 检查:x(seq 4,930)是 Ana 发的(或她是管理员),还在时限内,还没被撤回
INSERT INTO messages (conversation_id, seq, sender_id, kind, target_seq) VALUES (:g, 4931, :ana, 'recall', 4930);
UPDATE messages SET recalled_by = 4931, text = '' WHERE conversation_id = :g AND seq = 4930;
COMMIT;

之后和一条普通消息走同一条路:第 11 章的待办(发消息时记下的一行“改所有成员的会话记录”,后台再一人一个小事务去改)改好每个成员的那一行,在线的推送,不在线的下次同步拿到。和入群一样,它要发给全群:一个有人收不到的 seq,在他的手机上就是跳号,手机会去补拉(第 5 章)。

手机,一条规则: 收到撤回,就把 x 那一行标成已撤回,和游标在同一个事务里提交(第 7 章)。开放聊天协议 Matrix 的规范也这样要求:客户端收到撤回(它叫 redaction),要把原消息改成服务端改的样子(redactions)。

这条规则有一处要做对:撤回可能比原消息先到。 两种情况都常见:

  • Ben 离线回来,第 6 章只拉每个落后会话的最新一条,最新一条正是这个撤回;x 在它前面,还没拉到本地。
  • Ben 正在往上翻,一页包含 x 的消息在服务端读出来时还没撤回,回到手机时撤回已经到了。

所以 x 不在本地时,就先插一个占位行,标着“已撤回”。第 7 章的本地表上,同一会话同一 seq 只能有一行;晚到的原文撞上这一行时,不去覆盖已撤回的那一行。

在上面的图里选“撤回占一个 seq”:没有一台设备永远留着原文。撤回一小时后还有一些没变过来(一分钟后撤回的,平均约 5 台;一小时后撤回的,约 105 台),它们只是还没打开 App,下次同步就会变。

4. 编辑:同一件事,只往上涨

编辑也是一条占 seq 的消息,带着新文字,指向 x。不同的是编辑可以有好几次,而推送和同步会让它们乱序到达。

办法和第 14 章的“读到哪”一样:x 那一行记着最后应用的那次改动(编辑或撤回)的 seq,只接受更大的。比如 Ana 改了两次,第一次是 4,935,第二次是 4,940。4,940 的推送先到,x 记下 4,940;4,935 随同步晚到,比 4,940 小,什么也不改,屏幕上留着第二次的文字。

撤回和编辑碰在一起:先编辑后撤回,撤回的 seq 更大,它赢,晚到的编辑也盖不掉它;先撤回再编辑,服务端在锁里检查时就拒掉。

5. 撤回一条没读的

第 14 章的未读数靠两样东西:每条消息带着“到这条为止的计数”(这个会话里到这条为止有几条该算未读的),发的人带着自己的流水号(他在这个会话里发的第几条)。撤回和编辑本身像系统消息一样,沿用上一条的计数,也不占流水号,不算未读。

可被撤回的那条如果 Ana 还没读,它也该从未读里出去。接着第 14 章的例子:Ana 读到 4,820,未读 2 条,是 4,821 和 4,824。Ben 撤回了 4,821。下式里,103 和 100 是最新那条和她读到的那条的计数,7 和 6 是她最新的流水号和读到那里时的流水号(中间她自己发的一条不算未读):

未读数 = (103 − 100) − (7 − 6) − 1 = 1

最后那个 1,是“读到哪以上、被撤回的、别人发的”有几条。服务端每次算未读(随会话记录下发时)多查一次:按“会话 + 被撤回的 seq”建个索引,撤回很少,查到的大多是空的。

  • 已经读过的被撤回:在读到哪以下,不减,未读数本来就没算它。
  • Ana 撤回自己的:她自己的本来就扣掉了,只减别人的未读。

x 如果 @ 了谁,第 14 章给被 @ 的人各记了一行;撤回的待办顺手删掉这些行,红点旁的 @ 也跟着消。

6. 锁屏上已经弹出的通知

Ben 的 App 没开,x 来的时候,系统推送已经把“Ana:周六改到 8 点集合”弹在锁屏上了(第 17 章)。在上面的一分钟里,徒步群约 630 台设备弹过它,撤回时约 610 台还亮着。这和第 2 节的 87 台不是一回事:那 87 台是 App 开着、把 x 同步进本地数据库的;这 630 台的 App 没开,x 只出现在系统弹的通知里(其中约 20 台在撤回前打开了 App,也算在那 87 台里)。

通知不在 App 的数据库里,同步改不到。办法是再推一条,用同一个标识替换它。第 17 章的通知按会话合并,标识就是会话 ID:

  • iOS:同一个 apns-collapse-id 的通知,系统合并成一条显示(APNs)。
  • Android(FCM):同一个 tag 的通知正在显示时,新的替换旧的(FCM)。

所以替换上去的是这个会话的新摘要,原文不在里面了;角标也跟着减(第 17 章的未读总数,由改记录的同一个事务改)。发给谁,第 17 章也记着:每台设备每个会话上次通知的时间,那之后没回过前台的,通知还在屏幕上。

它和其他系统推送一样不保证送到:通知只是提醒,会话里的才算数。

7. 算一下

  • 一次撤回的价钱: 和一条消息一样,一个 seq、一行,加上第 11 章的会话记录(徒步群 500 行)和推送。
  • 总量: 假设 1% 的消息被撤回或编辑,一天 4 万次,负载多 1%。
  • 服务端存: 原文可以清掉,撤回那一行留着。

8. 代价

  • 历史只增不减。 每次撤回、编辑都多一条消息。
  • 每个客户端都得认得新的消息类型。 老版本的 App 不认得,会显示成一条看不懂的消息,或者什么也不做,原文照旧。WhatsApp 上线时就说,双方都得是最新版本才能删成功(第 31 章)。
  • 系统外的副本撤不回。 截图、已经转发出去的、引用里抄下的那几个字。引用最好只存指向 x 的 seq,由手机按本地那一行显示,撤回后显示“原消息已撤回”。
  • 替换通知多一次推送,也不保证到。
  • 退了群的人收不到。 在 x 和撤回之间退群的人,他的成员区间(他在群里的那一段 seq,第 12 章)不含撤回那个 seq,手机上留着原文。

9. 其他答案

  • 在服务端改掉,通知在线的。 不存消息的网页端(第 7 章说的“不存”)这样就够:每次都从服务端读。
  • Telegram: 删除和编辑都是更新流里带 pts 的事件,和新消息排在同一个序列里:updateDeleteMessages、updateEditMessage;超级群走群自己的序列(updateDeleteChannelMessages)。编辑后的消息 id 不变,多一个 edit_date;删除时 revoke 决定是不是给所有人删(messages.deleteMessages)。
  • Matrix: 撤回是一个 m.room.redaction 事件,指向原事件;服务端从此只返回去掉内容的原事件。编辑是带 m.replace 关系的新事件,有好几次时,按服务端时间取最新的一次(edits)。
  • 编辑留全部版本。 编辑本来就是一条条消息,留着就能看编辑历史;也可以只给客户端看最新的。

10. 这一章的决定

v2 的九章到这里写完了:会话列表、成员、读到哪和回执、几台设备、叫醒手机、撤回。下一章把 v2 整个走一遍,再算一次账。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。