深入理解 IM 系统

术语表

本书里每个概念只用一个名字,中英文各一个。这里是它们在本书里的意思;别处常见的叫法写在“也叫”后面。只收已经发布的章节里用到的词,以后每发一章补一批。

基本概念

schema(消息定义)

用一份文件写下每种消息有哪些字段、什么类型、各自的编号,再由它生成服务端和各个 App 的代码。Protobuf 的 .proto 文件就是一种。

也叫:IDL、.proto 文件

详见:旁支 W2 编码,第 31 章 旧 App,新服务器

varint(变长整数)

小的数用少的字节:每个字节放 7 位,最高位表示“后面还有”。0–127 一个字节,300 是 AC 02 两个字节。Protobuf 的整数和字段编号都这样写。

也叫:变长编码

详见:旁支 W2 编码

长连接long-lived connection

设备和服务端之间一直开着的一条 TCP 或 WebSocket 连接。有了它,服务端可以随时主动把消息推下去,不用等客户端来问。

也叫:持久连接

详见:第 2 章 从轮询到推送,第 20 章 拆出网关

ACK(确认)

接收方回给发送方的“收到了”。在本书里,服务端的 ACK 表示消息已经写进消息日志,不表示对方已经收到。

详见:第 3 章 确认与重传

同步与异步的分界sync/async boundary

发送方要等的部分和不用等的部分之间的那条线。本书把它放在消息日志:写进日志之前发送方在等,之后的分发都是异步的。

详见:第 29 章 存储前的队列

写扩散write fan-out

发消息时给每个接收人的信箱各写一条,读的时候只看自己的信箱。写得多、读得快,适合人数不多的会话。第 6 章拿它做比较;第 10 章说明它和端上建会话连在一起:手机要从信箱里拼出会话。v1、v2 都没有用它。

也叫:推模式

详见:第 6 章 离线补齐,第 10 章 会话谁来建

读扩散read fan-out

消息只在会话的时间线里存一份,每个人读的时候自己去取。写得少、读得多,适合大群。v1、v2 的消息都这样存(第 6、10 章);它要求会话由服务端建、设备去同步。

也叫:拉模式

详见:第 6 章 离线补齐,第 10 章 会话谁来建

业务层business layer

账号、好友、群、权限和审核这些规则。它在消息路径旁边:各层需要时调用它,消息不从它这里流过。

详见:第 12 章 入群与退群,第 14 章 读到哪与未读数,第 25 章 账号:App 的用户和 IM 的用户

成员区间membership range

一个人在一个群里能看的那一段 seq:min_seq 是第一条,max_seq 是最后一条(还在群里就不设)。入群和退群像消息一样占会话的一个 seq,所以每条消息该发给谁、谁能翻到哪条历史,都按这一段算,和什么时候去算无关。全群也有一对:max_seq 是最新 seq,min_seq 以下谁都看不到(第 12 章)。

也叫:min_seq / max_seq

详见:第 12 章 入群与退群

发送前回调before-send callback

IM 在保存一条消息之前,先调用业务方的服务问“这条能发吗”,按回答放行、拒绝或改写。规则总是最新的,代价是每条消息多等一个来回,业务方出故障时只能一律放行或一律拒绝(分支:IM 作为平台)。

详见:第 44 章 IM 作为平台

端到端加密end-to-end encryption

消息在发送的设备上加密,只有收件人的设备能解开,服务器只转交它读不懂的字节。钥匙在每台设备上,所以加密的单位是设备,不是人。

也叫:E2EE

详见:第 42 章 隐私通讯,旁支 W4 群组端到端加密

租户tenant

接进同一套 IM 服务的一个业务方,比如一家购物 App 或一个游戏。服务是共用的,每个租户的 ID、规则和额度各自分开,一家不能拖累别家。

详见:第 44 章 IM 作为平台,第 45 章 同一个决策,不同的产品

客户端

成员版本号member version

每个群一个递增的号:进群、退群、改群昵称、改角色都加一,并写在那个成员的行上。手机存着名单和它的版本号,打开群时带上,服务端没变就只回版本号,变了只回变了的行(第 13 章)。

详见:第 13 章 群资料与群成员同步

IM SDK

装在每个 App 里的客户端库:发件箱和重试、同步、本地数据库,以及给 App 用的接口。

详见:第 7 章 本地数据库,第 30 章 一套 SDK,多个平台

发件箱outbox

客户端里还没等到 ACK 的消息。断线或重启之后,从这里重发。

详见:第 3 章 确认与重传,第 7 章 本地数据库

本地数据库local database

手机上自己存的一份消息、会话和同步游标(记录版本、每个会话的 seq),通常是 SQLite。界面只读它,网络收到的东西先写进它;游标和它代表的消息在同一个事务里提交。

详见:第 7 章 本地数据库,第 30 章 一套 SDK,多个平台

断点续传resumable upload

把文件分成几片上传,服务器记住收到了哪些;断网以后先问一下进度,只传剩下的,而不是从头再来。

也叫:分片上传

详见:第 8 章 图片与文件

消息 IDmessage ID

客户端在发送之前给每条消息生成的唯一 ID,重发时不变。服务端靠它认出重发的消息。

也叫:客户端消息 ID

详见:第 4 章 去重

同步游标sync cursor

设备记着的“我已经拿到哪了”。本书里是两样:会话记录的版本号,和每个会话最后的 seq。设备回来时,先问版本号之后变了什么、各会话最新的 seq,再拉落后的。

详见:第 6 章 离线补齐,第 7 章 本地数据库,第 16 章 多端同步

记录版本record version

每人一个递增的号,会话记录每改一次加一;取号时锁住这个人在 users 里那一行,所以版本的先后就是提交的先后。手机记着自己拿到的版本,回来时问“这之后改了哪些”,被拉进的新群、来了消息的会话都在这里出现。

详见:第 6 章 离线补齐,第 11 章 会话同步,第 16 章 多端同步

发送者密钥sender keys

端到端加密的群里,每台设备生成一把自己的链钥匙,先经两两会话发给群里每台设备;以后每条消息只加密一次、上传一份。代价是有人退群时,每台设备都要换一把新的,再发一遍。

也叫:发送者钥匙

详见:第 42 章 隐私通讯,旁支 W4 群组端到端加密

连接层

网关gateway

连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。

也叫:长连接网关、接入服务

详见:第 20 章 拆出网关,第 22 章 百万连接

接入调度locator

告诉设备该连哪台网关的服务。设备先问它,再去连网关。

详见:第 20 章 拆出网关,第 24 章 重连风暴

心跳heartbeat

连接空闲时定期发的小包。用来发现已经断掉的连接,也防止运营商的设备把太久没说话的连接忘掉。

详见:第 23 章 心跳

NAT(地址转换)

运营商或家用路由器上的设备:把手机的内网地址换成公网的地址和端口,并记下这条映射,推下来的包靠它才找得回手机。映射空闲太久就被删掉,所以长连接要靠心跳保住。

也叫:网络地址转换

详见:第 23 章 心跳,第 33 章 我的消息去哪了?,旁支 W3 TCP 还是 UDP

队头阻塞head-of-line blocking

TCP 按顺序交付:一个包丢了,后面已经到的数据都要在内核里等它重传。QUIC 只去掉流和流之间的这种等待,一条流里照样有。

详见:旁支 W3 TCP 还是 UDP

QUIC

跑在 UDP 上的传输协议,自己做重传、加密和拥塞控制,HTTP/3 就跑在它上面。一条连接里可以有很多条互不相干的流,每条流内部有顺序。

详见:旁支 W3 TCP 还是 UDP

连接迁移connection migration

QUIC 按包里的连接 ID 认连接,不按地址和端口:手机从 Wi-Fi 换到 4G,地址变了,连接接着用。前提是负载均衡也按连接 ID 转发。本书的主线不用它,换网络靠重连和同步。

详见:旁支 W3 TCP 还是 UDP

消息层(收)

序号(seq)

会话里每条消息的编号,由负责这个会话的消息服务连续分配。它决定会话里的顺序,也让客户端发现缺了哪一条;手机回来时,也按它判断哪个会话落后了。

也叫:会话内序号

详见:第 5 章 顺序,第 12 章 入群与退群

去重dedup

同一个消息 ID 再来一次时,返回第一次的结果,不再存一份。网络只能做到“至少送到一次”,去重让每条消息只显示一次。

详见:第 4 章 去重

按会话分片sharding by conversation

每个会话固定由一台消息服务负责。这样一个会话的序号只由一个人分配,顺序才有保证。

详见:第 28 章 把会话分出去

消息日志message log

持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。

详见:第 29 章 存储前的队列

幂等键idempotency key

业务方的服务端发消息时带上的自己的键,比如订单号加通知类型。同一个键来几次,结果都和第一次一样:平台记住这个键发出的消息 ID,重试时返回它,不再发一条。

详见:第 44 章 IM 作为平台

分发层(发)

最新 seq 一览latest-seq sweep

手机回来时一次问遍自己所有会话的最新 seq;服务器从缓存里成批读出,一个会话一个键。比手机记着的大,就是落后了。它的读和会话数成正比,和来了多少消息无关。

详见:第 6 章 离线补齐,第 11 章 会话同步

在线推送online push

经网关沿长连接推给在线设备。它只是提醒:推送丢了,设备靠拉取补上。

详见:第 2 章 从轮询到推送,第 20 章 拆出网关

系统推送OS push

通过苹果 APNs、谷歌 FCM 或手机厂商的通道,发给没有在线连接的手机的通知。它属于第三方,尽力而为,不保证送达。

也叫:离线推送

详见:第 17 章 唤醒离线的手机

同步服务sync service

设备回来时回答它:会话记录变了什么、各会话最新的 seq,再按会话把落后的消息一页页返回(从时间线,或写扩散时从信箱)。

详见:第 6 章 离线补齐,第 16 章 多端同步

广播会话broadcast conversation

发给一个租户所有用户的通知放在这里,只存一份。它不写成员行,也不在谁的会话记录里;手机同步时顺带问它的最新 seq,比自己的新就拉。

详见:第 44 章 IM 作为平台

房间路由room router

直播间用的路由:每个房间只记哪几台网关上有观众,不记每个人。房间的消息交给它,它给这几台网关各发一帧,每台再推给自己连接组里的观众。

详见:第 41 章 直播间,第 45 章 同一个决策,不同的产品

打包batching

直播间里,把一秒内的消息打成一个包,每个连接每秒只推一次,再压缩。推送次数不再随房间里的消息数涨,代价是每条消息平均多等半秒。

详见:第 41 章 直播间,第 45 章 同一个决策,不同的产品

存储层

会话记录conversation record

每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。

详见:第 6 章 离线补齐,第 10 章 会话谁来建,第 11 章 会话同步,第 14 章 读到哪与未读数

已读游标read cursor

每个人在每个会话里读到了哪一条。存在服务端,同一个人的几台设备共用,用来算未读数和已读回执。和同步游标不是一回事。

详见:第 14 章 读到哪与未读数,第 15 章 已读回执

消息存储message store

长期保存的消息历史,每个会话一条时间线。分发层从消息日志读到消息后写入它,所以比 ACK 稍晚。

详见:第 29 章 存储前的队列

时间线timeline

一个会话的全部消息,按序号排好。读扩散时,每个人从这里读。

详见:第 10 章 会话谁来建

信箱inbox

每人一份的收件索引,记着“有哪些新消息要给你”,有自己按人递增的序号。写扩散时写它,设备从自己的位置之后拉。第 6、10 章拿它和问遍所有会话比较,本书的 v2 没有用它。

也叫:收件箱、同步队列

详见:第 6 章 离线补齐,第 10 章 会话谁来建

在线路由表online routes

记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。

详见:第 20 章 拆出网关

对象存储object storage

按名字存取整个文件的存储服务(例如 S3),图片和文件放在这里,而不是消息表里。手机拿到一个限时的上传地址,直接传给它;下载通常再经过 CDN。

详见:第 8 章 图片与文件

读过的段read ranges

办公 IM 在读到哪之外另记的几段:跳过去读的消息记成一段,比如“4,900 到 4,930”,补上中间那段就并进读到哪。放在会话记录那一行里,只留几段。

也叫:已读区间

详见:第 39 章 办公 IM(toB),第 45 章 同一个决策,不同的产品

已读流水read log

只追加的一本记录:每次读写一行,谁、哪个会话、从哪条到哪条、几点几分。办公 IM 靠它回答“谁没读、别人几点读的”。

详见:第 39 章 办公 IM(toB),第 45 章 同一个决策,不同的产品

纠删码erasure coding

把数据切成块,再算出几块校验块,丢了不超过校验块数的任意几块都能恢复。比如 6 块数据配 3 块校验,只多存 50%,三个副本要多存 200%。适合放冷数据。

详见:第 39 章 办公 IM(toB)

存储转发store and forward

服务器只替还没来取的设备暂存消息:取走就删,一直不来取的过一段时间也删(WhatsApp 是 30 天)。历史在用户自己的设备上,不在服务器。

详见:第 42 章 隐私通讯