深入理解 IM 系统

第 33 章

我的消息去哪了

Ana 说她 8 点发的消息,Ben 没收到。每台服务器的面板都是绿的。这条消息在哪一跳出了事?更难的问题是:此刻,所有人的消息都送到了吗?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

晚上 8 点,Ana 在 App 里反馈:“我给 Ben 发的消息,他说没收到。”她的手机上,那条消息显示已发送。

到 v3,一条消息要走七跳:Ana 的手机、她连的网关、会话的消息服务器、消息日志、推送、在线路由表、Ben 连的网关,最后才到 Ben 的手机(第 32 章)。这一章先找到这一条,再回答一个更大的问题:此刻,所有人的消息都送到了吗?我们怎么知道?

1. 先找这一条

每一跳都有自己的日志,可各记各的:网关记连接号,消息服务器记请求号,推送记 seq,手机记本地的行号。拼不起来。

要拼起来,得有一个每一跳都认得的键。它其实早就有了:消息 ID消息 IDmessage ID客户端在发送之前给每条消息生成的唯一 ID,重发时不变。服务端靠它认出重发的消息。在术语表里查看,Ana 的手机生成,第 4 章用它认重复;取了 seq 以后,消息还多了“会话 + seq”。规则只有一条:每一跳记日志,都带上消息 ID 和 seq。

拼出来是这样:

时间 哪一跳 记下了什么
19:57:30 Ben 的手机 最后一次收到服务器的帧
20:00:00 网关 7、消息服务器、消息日志 收到,取 seq 4,823,写进消息日志,回确认
20:00:00 推送、网关 12 路由表说 Ben 的手机在网关 12;写进那条连接,成功
20:01:30 Ben 的手机 4 分钟没动静,发心跳(第 23 章)
20:01:40 Ben 的手机 10 秒没回音,重连到网关 4,同步;20:01:41 拿到 4,823

消息没丢,晚了 101 秒。手机和服务器之间隔着运营商的 NAT,它替手机换成公网地址,并记下一条“映射”,推下来的包靠它才找得回手机(第 23 章)。Ben 的运营商的 NAT 闲置 2 分钟就丢掉映射,比第 23 章假设的 5 分钟短,连接 19:59:30 就悄悄死了,谁也没被告知。推送写进的是一条死连接:write() 成功只说明字节进了本机的缓冲区(第 2 章)。

这一路上,没有一台服务器出错。网关 12 的面板上,推送成功率是 100%。

2. 面板为什么全绿

每台服务器量的是自己那一步:收到了没有、处理了多久、出错几次。可上面这次,出事的地方在两步之间:网关写出去了,手机没收到。哪台服务器都看不见。

Google 的 SRE 书把监控分成两种:看系统内部的指标,叫白盒;“像用户那样,测外面看得到的行为”,叫黑盒(Monitoring Distributed Systems)。书里还说,不在客户端量,会漏掉“影响用户、却不影响服务端指标”的问题(Service Level Objectives)。

“送到了没有”只能从用户那一侧量。

3. 一个目标

先说清楚要什么。SRE 书的说法:量的那个数叫 SLI(服务水平指标),给它定的目标叫 SLO(服务水平目标)。

v3 的主指标:一条消息,到发出时在线的每台设备,5 秒内收到,收到是指进了手机的本地数据库。目标是 30 天里 99.99%。离线的设备不算在里面,它们靠系统推送和下次同步(第 17 章),另算。

99.99% 听起来很高,可一天 4 亿条消息(1,000 万用户,每人 40 条),它仍然允许 4 万条 晚到或丢掉。这里按条数说,好记;仪器量的是每一次投递,一条平均约 10 次,一天约 40 亿次,同样的 0.01% 是 40 万次。换成全站停机,30 天里只够停 4.3 分钟。这点余量,SRE 书叫错误预算:还剩多少,决定还能冒多大的险,比如发布(Embracing Risk)。

旁边再放两个数:

  • 延迟:从发出到对方收到,看分布,不看平均。
  • 真正的重复:第 4 章的重发,每天约 3,600 万次,服务器认出来丢掉了,那是正常工作,不算。算的是漏过去的:v3 先写消息日志、后写存储(第 29 章),一次很晚的重发要是没被认出来,会拿到第二个 seq,推给对方,对方就看见两条一样的;等存储写这第二份时,“发送者 + 消息 ID”的唯一键(第 4 章)冲突,这时才发现。发现一次,记一次。

4. 两样仪器

探针。 几个专门的测试账号,互相发消息,每台网关每秒一条,全天不停。20 台网关,一小时 72,000 条,只占高峰流量的 0.14%。一台网关整个坏了,它那里每秒失败一条,几秒就看见。

可探针太少,量不了 99.99%:每条路都丢 0.01%,一小时只失败 7 条,分不出是故障还是运气。而且探针跑在机房里,不经过真实用户的运营商网络,Ben 碰到的那种 NAT 它碰不到。

抽样的真实消息。 消息 ID 的哈希值除以 1,024 余 0 的,算抽中。每一跳自己算,结果一样,不用多传一个标记。收到抽中消息的手机,马上在自己的连接上回一个很小的帧:“4,823 收到了”。

计时只用服务器的钟:从 Ana 那台网关收到消息,到 Ben 这台网关收到回报。手机的钟不可信(第 5 章)。这样算多了一段上行,约 0.1 秒,可以接受。Ben 的手机断着,回报要等他重连才到,正好算成晚了。

高峰每秒 139,000 次投递,抽中 136 次,一小时约 49 万次。

照目标,一小时该晚 49 次左右。次数多了,运气的起伏就小:49 次上下差个七八次是常事,多出几十次就不是运气了。探针那边一小时才 7 次,做不到这一点。

看一个例子。假设网关 12 前面的负载均衡改了配置,空闲连接断得比心跳还早,它的推送有 0.5% 写进了死连接:

  • 网关 12 自己的面板:推送成功率还是 100%。
  • 抽样里经过它的:一小时约 2.4 万次,晚了约 125 次;按目标只该晚 2 次,多出的 122 次是它造成的。
  • 全站:其余投递按目标本来就晚 0.01%,再加上它的 0.025%(0.5% ÷ 20 台),是 99.965%,错误预算在以 3.5 倍 的速度烧。

5. 日志:只记一部分

第 1 节靠的是日志。要是每次投递,路上的 6 个服务(两头的网关、消息服务器、消息日志、推送、路由表)各记一行:

每秒 139,000 次投递 × 6 行 × 200 字节 ≈ 每秒 167 MB,照这个速度一天 14 TB(全天平均只有高峰的三分之一,也有约 5 TB)

一台网关每秒要写 6,950 行。实践中常见的是:为业务写的日志,先把磁盘 IO 打满。日志写在推送的路上,磁盘一慢(日志切分、别的进程、盘满了),推送就跟着等。Google 的 Dapper 论文在一个网页搜索集群上量过:每个请求都追踪,平均延迟多 16.3%;每 1,024 个追踪一个,量不出差别(Dapper,2010,表 2)。

所以三条规矩:

  • 抽样。 只给抽中的消息记每一跳,和第 4 节用同一个抽法,每秒 163 KB。
  • 攒着,不等。 日志先放进内存里一个有上限的缓冲区,满了就丢日志,不让推送等。
  • 送出机器。 由后台批量送到专门的日志服务,不写本机磁盘。

有两样全记:连接的建立和断开(高峰每秒约 2.8 MB),和消息自己留下的痕迹(在消息日志里的位置、seq、入库时间)。第 1 节那条要是没被抽中,表里就少了推送那一行,结论却不变:连接事件说网关 12 上 Ben 那条连接 19:57:30 以后再没收到东西,Ben 的手机日志说它 20:01:40 才重连。

手机自己留几天日志,用户反馈时由 App 上传。日志里只记 ID、seq、时间和状态,不记消息内容。

6. 算一下

  • 目标:一天 4 亿条 × 0.01% = 4 万条可以晚;30 天停机预算 4.3 分钟。
  • 探针:每秒 20 条,一小时 72,000 条;整台网关坏了几秒可见,0.01% 的损失看不见。
  • 抽样:每 1,024 次投递抽 1 次,每秒 136 次投递,一小时约 49 万次,量得出 99.99%。
  • 日志:全记每秒 167 MB;抽样后每秒 163 KB。

7. 代价

  • 探针是假流量。 测试账号要从业务的统计里剔掉,否则它们自己就在把成功率往上拉。
  • 手机多发一点。 每台手机平均一天回报不到一次,全站每秒 136 帧。
  • 一次投诉不一定有完整的线。 没抽中的消息,服务器上只有连接事件和消息自己的痕迹;不够时,要靠手机上传的日志。
  • 日志也是数据。 谁能看、留多久,要有规矩;消息内容一律不记。

8. 其他答案

  • 每条都追踪,只留有问题的:先全部记下,等知道这条晚了、出错了再决定留不留。线最全,可每一跳都要先把全部记下来,第 5 节的账一分不少。
  • 接收方每条都回执:每次推送都等手机确认,没确认就重推。送达看得最清楚,可每次投递多一个上行帧,高峰每秒 139,000 个;v3 靠 seq 和同步补齐(第 5、6 章),不需要它。
  • 只有探针:最简单,整台坏了能发现;量不出 99.99%,也看不见真实用户的网络。
  • 用告警盯错误预算的消耗速度,而不是盯每一个错误:第 38 章。

9. 这一章的决定

现在能看见了。下一次面板变红,可能是有人用脚本每秒往徒步群里发 100 条。来的比扛得住的多时,先保什么、先丢什么?下一章:过载。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。