用一份文件写下每种消息有哪些字段、什么类型、各自的编号,再由它生成服务端和各个 App 的代码。Protobuf 的 .proto 文件就是一种。
术语表
本书里每个概念只用一个名字,中英文各一个。这里是它们在本书里的意思;别处常见的叫法写在“也叫”后面。只收已经发布的章节里用到的词,以后每发一章补一批。
基本概念
- schema(消息定义)
- varint(变长整数)
小的数用少的字节:每个字节放 7 位,最高位表示“后面还有”。0–127 一个字节,300 是 AC 02 两个字节。Protobuf 的整数和字段编号都这样写。
- 长连接long-lived connection
设备和服务端之间一直开着的一条 TCP 或 WebSocket 连接。有了它,服务端可以随时主动把消息推下去,不用等客户端来问。
- ACK(确认)
接收方回给发送方的“收到了”。在本书里,服务端的 ACK 表示消息已经写进消息日志,不表示对方已经收到。
- 同步与异步的分界sync/async boundary
发送方要等的部分和不用等的部分之间的那条线。本书把它放在消息日志:写进日志之前发送方在等,之后的分发都是异步的。
- 写扩散write fan-out
发消息时给每个接收人的信箱各写一条,读的时候只看自己的信箱。写得多、读得快,适合人数不多的会话。第 6 章拿它做比较;第 10 章说明它和端上建会话连在一起:手机要从信箱里拼出会话。v1、v2 都没有用它。
- 读扩散read fan-out
消息只在会话的时间线里存一份,每个人读的时候自己去取。写得少、读得多,适合大群。v1、v2 的消息都这样存(第 6、10 章);它要求会话由服务端建、设备去同步。
- 业务层business layer
账号、好友、群、权限和审核这些规则。它在消息路径旁边:各层需要时调用它,消息不从它这里流过。
- 成员区间membership range
一个人在一个群里能看的那一段 seq:min_seq 是第一条,max_seq 是最后一条(还在群里就不设)。入群和退群像消息一样占会话的一个 seq,所以每条消息该发给谁、谁能翻到哪条历史,都按这一段算,和什么时候去算无关。全群也有一对:max_seq 是最新 seq,min_seq 以下谁都看不到(第 12 章)。
- 发送前回调before-send callback
IM 在保存一条消息之前,先调用业务方的服务问“这条能发吗”,按回答放行、拒绝或改写。规则总是最新的,代价是每条消息多等一个来回,业务方出故障时只能一律放行或一律拒绝(分支:IM 作为平台)。
- 端到端加密end-to-end encryption
消息在发送的设备上加密,只有收件人的设备能解开,服务器只转交它读不懂的字节。钥匙在每台设备上,所以加密的单位是设备,不是人。
- 租户tenant
接进同一套 IM 服务的一个业务方,比如一家购物 App 或一个游戏。服务是共用的,每个租户的 ID、规则和额度各自分开,一家不能拖累别家。
客户端
- 成员版本号member version
每个群一个递增的号:进群、退群、改群昵称、改角色都加一,并写在那个成员的行上。手机存着名单和它的版本号,打开群时带上,服务端没变就只回版本号,变了只回变了的行(第 13 章)。
- IM SDK
装在每个 App 里的客户端库:发件箱和重试、同步、本地数据库,以及给 App 用的接口。
- 发件箱outbox
客户端里还没等到 ACK 的消息。断线或重启之后,从这里重发。
- 本地数据库local database
手机上自己存的一份消息、会话和同步游标(记录版本、每个会话的 seq),通常是 SQLite。界面只读它,网络收到的东西先写进它;游标和它代表的消息在同一个事务里提交。
- 断点续传resumable upload
把文件分成几片上传,服务器记住收到了哪些;断网以后先问一下进度,只传剩下的,而不是从头再来。
- 消息 IDmessage ID
客户端在发送之前给每条消息生成的唯一 ID,重发时不变。服务端靠它认出重发的消息。
- 同步游标sync cursor
设备记着的“我已经拿到哪了”。本书里是两样:会话记录的版本号,和每个会话最后的 seq。设备回来时,先问版本号之后变了什么、各会话最新的 seq,再拉落后的。
- 记录版本record version
每人一个递增的号,会话记录每改一次加一;取号时锁住这个人在 users 里那一行,所以版本的先后就是提交的先后。手机记着自己拿到的版本,回来时问“这之后改了哪些”,被拉进的新群、来了消息的会话都在这里出现。
- 发送者密钥sender keys
端到端加密的群里,每台设备生成一把自己的链钥匙,先经两两会话发给群里每台设备;以后每条消息只加密一次、上传一份。代价是有人退群时,每台设备都要换一把新的,再发一遍。
连接层
- 网关gateway
连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。
- 接入调度locator
告诉设备该连哪台网关的服务。设备先问它,再去连网关。
- 心跳heartbeat
连接空闲时定期发的小包。用来发现已经断掉的连接,也防止运营商的设备把太久没说话的连接忘掉。
- NAT(地址转换)
运营商或家用路由器上的设备:把手机的内网地址换成公网的地址和端口,并记下这条映射,推下来的包靠它才找得回手机。映射空闲太久就被删掉,所以长连接要靠心跳保住。
- 队头阻塞head-of-line blocking
TCP 按顺序交付:一个包丢了,后面已经到的数据都要在内核里等它重传。QUIC 只去掉流和流之间的这种等待,一条流里照样有。
- QUIC
跑在 UDP 上的传输协议,自己做重传、加密和拥塞控制,HTTP/3 就跑在它上面。一条连接里可以有很多条互不相干的流,每条流内部有顺序。
- 连接迁移connection migration
QUIC 按包里的连接 ID 认连接,不按地址和端口:手机从 Wi-Fi 换到 4G,地址变了,连接接着用。前提是负载均衡也按连接 ID 转发。本书的主线不用它,换网络靠重连和同步。
消息层(收)
- 序号(seq)
会话里每条消息的编号,由负责这个会话的消息服务连续分配。它决定会话里的顺序,也让客户端发现缺了哪一条;手机回来时,也按它判断哪个会话落后了。
- 去重dedup
同一个消息 ID 再来一次时,返回第一次的结果,不再存一份。网络只能做到“至少送到一次”,去重让每条消息只显示一次。
- 按会话分片sharding by conversation
每个会话固定由一台消息服务负责。这样一个会话的序号只由一个人分配,顺序才有保证。
- 消息日志message log
持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。
- 幂等键idempotency key
业务方的服务端发消息时带上的自己的键,比如订单号加通知类型。同一个键来几次,结果都和第一次一样:平台记住这个键发出的消息 ID,重试时返回它,不再发一条。
分发层(发)
- 最新 seq 一览latest-seq sweep
手机回来时一次问遍自己所有会话的最新 seq;服务器从缓存里成批读出,一个会话一个键。比手机记着的大,就是落后了。它的读和会话数成正比,和来了多少消息无关。
- 在线推送online push
经网关沿长连接推给在线设备。它只是提醒:推送丢了,设备靠拉取补上。
- 系统推送OS push
通过苹果 APNs、谷歌 FCM 或手机厂商的通道,发给没有在线连接的手机的通知。它属于第三方,尽力而为,不保证送达。
- 同步服务sync service
设备回来时回答它:会话记录变了什么、各会话最新的 seq,再按会话把落后的消息一页页返回(从时间线,或写扩散时从信箱)。
- 广播会话broadcast conversation
发给一个租户所有用户的通知放在这里,只存一份。它不写成员行,也不在谁的会话记录里;手机同步时顺带问它的最新 seq,比自己的新就拉。
- 房间路由room router
直播间用的路由:每个房间只记哪几台网关上有观众,不记每个人。房间的消息交给它,它给这几台网关各发一帧,每台再推给自己连接组里的观众。
- 打包batching
直播间里,把一秒内的消息打成一个包,每个连接每秒只推一次,再压缩。推送次数不再随房间里的消息数涨,代价是每条消息平均多等半秒。
存储层
- 会话记录conversation record
每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。
- 已读游标read cursor
每个人在每个会话里读到了哪一条。存在服务端,同一个人的几台设备共用,用来算未读数和已读回执。和同步游标不是一回事。
- 消息存储message store
长期保存的消息历史,每个会话一条时间线。分发层从消息日志读到消息后写入它,所以比 ACK 稍晚。
- 时间线timeline
一个会话的全部消息,按序号排好。读扩散时,每个人从这里读。
- 信箱inbox
每人一份的收件索引,记着“有哪些新消息要给你”,有自己按人递增的序号。写扩散时写它,设备从自己的位置之后拉。第 6、10 章拿它和问遍所有会话比较,本书的 v2 没有用它。
- 在线路由表online routes
记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。
- 对象存储object storage
按名字存取整个文件的存储服务(例如 S3),图片和文件放在这里,而不是消息表里。手机拿到一个限时的上传地址,直接传给它;下载通常再经过 CDN。
- 读过的段read ranges
办公 IM 在读到哪之外另记的几段:跳过去读的消息记成一段,比如“4,900 到 4,930”,补上中间那段就并进读到哪。放在会话记录那一行里,只留几段。
- 已读流水read log
只追加的一本记录:每次读写一行,谁、哪个会话、从哪条到哪条、几点几分。办公 IM 靠它回答“谁没读、别人几点读的”。
- 纠删码erasure coding
把数据切成块,再算出几块校验块,丢了不超过校验块数的任意几块都能恢复。比如 6 块数据配 3 块校验,只多存 50%,三个副本要多存 200%。适合放冷数据。
- 存储转发store and forward
服务器只替还没来取的设备暂存消息:取走就删,一直不来取的过一段时间也删(WhatsApp 是 30 天)。历史在用户自己的设备上,不在服务器。