# 第 33 章：我的消息去哪了

> Ana 说她 8 点发的消息，Ben 没收到。每台服务器的面板都是绿的。这条消息在哪一跳出了事？更难的问题是：此刻，所有人的消息都送到了吗？

深入理解 IM 系统 · https://im.liko.page/zh/tracing-a-message/

晚上 8 点，Ana 在 App 里反馈：“我给 Ben 发的消息，他说没收到。”她的手机上，那条消息显示已发送。

到 v3，一条消息要走七跳：Ana 的手机、她连的网关、会话的消息服务器、消息日志、推送、在线路由表、Ben 连的网关，最后才到 Ben 的手机（第 32 章）。这一章先找到这一条，再回答一个更大的问题：**此刻，所有人的消息都送到了吗？我们怎么知道？**

## 1. 先找这一条

每一跳都有自己的日志，可各记各的：网关记连接号，消息服务器记请求号，推送记 seq，手机记本地的行号。拼不起来。

要拼起来，得有一个每一跳都认得的键。它其实早就有了：消息 ID，Ana 的手机生成，第 4 章用它认重复；取了 seq 以后，消息还多了“会话 + seq”。规则只有一条：**每一跳记日志，都带上消息 ID 和 seq。**

拼出来是这样：

| 时间 | 哪一跳 | 记下了什么 |
|---|---|---|
| 19:57:30 | Ben 的手机 | 最后一次收到服务器的帧 |
| 20:00:00 | 网关 7、消息服务器、消息日志 | 收到，取 seq 4,823，写进消息日志，回确认 |
| 20:00:00 | 推送、网关 12 | 路由表说 Ben 的手机在网关 12；写进那条连接，成功 |
| 20:01:30 | Ben 的手机 | 4 分钟没动静，发心跳（第 23 章） |
| 20:01:40 | Ben 的手机 | 10 秒没回音，重连到网关 4，同步；20:01:41 拿到 4,823 |

消息没丢，晚了 **101 秒**。手机和服务器之间隔着运营商的 NAT，它替手机换成公网地址，并记下一条“映射”，推下来的包靠它才找得回手机（第 23 章）。Ben 的运营商的 NAT 闲置 2 分钟就丢掉映射，比第 23 章假设的 5 分钟短，连接 19:59:30 就悄悄死了，谁也没被告知。推送写进的是一条死连接：`write()` 成功只说明字节进了本机的缓冲区（第 2 章）。

这一路上，没有一台服务器出错。网关 12 的面板上，推送成功率是 100%。

## 2. 面板为什么全绿

每台服务器量的是自己那一步：收到了没有、处理了多久、出错几次。可上面这次，出事的地方在两步之间：网关写出去了，手机没收到。哪台服务器都看不见。

Google 的 SRE 书把监控分成两种：看系统内部的指标，叫白盒；“像用户那样，测外面看得到的行为”，叫黑盒（[Monitoring Distributed Systems](https://sre.google/sre-book/monitoring-distributed-systems/)）。书里还说，不在客户端量，会漏掉“影响用户、却不影响服务端指标”的问题（[Service Level Objectives](https://sre.google/sre-book/service-level-objectives/)）。

“送到了没有”只能从用户那一侧量。

## 3. 一个目标

先说清楚要什么。SRE 书的说法：量的那个数叫 **SLI**（服务水平指标），给它定的目标叫 **SLO**（服务水平目标）。

v3 的主指标：**一条消息，到发出时在线的每台设备，5 秒内收到**，收到是指进了手机的本地数据库。目标是 30 天里 99.99%。离线的设备不算在里面，它们靠系统推送和下次同步（第 17 章），另算。

99.99% 听起来很高，可一天 4 亿条消息（1,000 万用户，每人 40 条），它仍然允许 **4 万条** 晚到或丢掉。这里按条数说，好记；仪器量的是每一次投递，一条平均约 10 次，一天约 40 亿次，同样的 0.01% 是 40 万次。换成全站停机，30 天里只够停 **4.3 分钟**。这点余量，SRE 书叫错误预算：还剩多少，决定还能冒多大的险，比如发布（[Embracing Risk](https://sre.google/sre-book/embracing-risk/)）。

旁边再放两个数：

- **延迟**：从发出到对方收到，看分布，不看平均。
- **真正的重复**：第 4 章的重发，每天约 3,600 万次，服务器认出来丢掉了，那是正常工作，不算。算的是漏过去的：v3 先写消息日志、后写存储（第 29 章），一次很晚的重发要是没被认出来，会拿到第二个 seq，推给对方，对方就看见两条一样的；等存储写这第二份时，“发送者 + 消息 ID”的唯一键（第 4 章）冲突，这时才发现。发现一次，记一次。

## 4. 两样仪器

**探针。** 几个专门的测试账号，互相发消息，每台网关每秒一条，全天不停。20 台网关，一小时 72,000 条，只占高峰流量的 0.14%。一台网关整个坏了，它那里每秒失败一条，几秒就看见。

可探针太少，量不了 99.99%：每条路都丢 0.01%，一小时只失败 7 条，分不出是故障还是运气。而且探针跑在机房里，不经过真实用户的运营商网络，Ben 碰到的那种 NAT 它碰不到。

**抽样的真实消息。** 消息 ID 的哈希值除以 1,024 余 0 的，算抽中。每一跳自己算，结果一样，不用多传一个标记。收到抽中消息的手机，马上在自己的连接上回一个很小的帧：“4,823 收到了”。

计时只用服务器的钟：从 Ana 那台网关收到消息，到 Ben 这台网关收到回报。手机的钟不可信（第 5 章）。这样算多了一段上行，约 0.1 秒，可以接受。Ben 的手机断着，回报要等他重连才到，正好算成晚了。

高峰每秒 139,000 次投递，抽中 136 次，一小时约 49 万次。

照目标，一小时该晚 49 次左右。次数多了，运气的起伏就小：49 次上下差个七八次是常事，多出几十次就不是运气了。探针那边一小时才 7 次，做不到这一点。

看一个例子。假设网关 12 前面的负载均衡改了配置，空闲连接断得比心跳还早，它的推送有 0.5% 写进了死连接：

- 网关 12 自己的面板：推送成功率还是 100%。
- 抽样里经过它的：一小时约 2.4 万次，晚了约 125 次；按目标只该晚 2 次，多出的 122 次是它造成的。
- 全站：其余投递按目标本来就晚 0.01%，再加上它的 0.025%（0.5% ÷ 20 台），是 99.965%，错误预算在以 **3.5 倍** 的速度烧。

## 5. 日志：只记一部分

第 1 节靠的是日志。要是每次投递，路上的 6 个服务（两头的网关、消息服务器、消息日志、推送、路由表）各记一行：

> 每秒 139,000 次投递 × 6 行 × 200 字节 ≈ **每秒 167 MB**，照这个速度一天 14 TB（全天平均只有高峰的三分之一，也有约 5 TB）

一台网关每秒要写 6,950 行。实践中常见的是：为业务写的日志，先把磁盘 IO 打满。日志写在推送的路上，磁盘一慢（日志切分、别的进程、盘满了），推送就跟着等。Google 的 Dapper 论文在一个网页搜索集群上量过：每个请求都追踪，平均延迟多 16.3%；每 1,024 个追踪一个，量不出差别（[Dapper，2010](https://research.google.com/archive/papers/dapper-2010-1.pdf)，表 2）。

所以三条规矩：

- **抽样。** 只给抽中的消息记每一跳，和第 4 节用同一个抽法，每秒 163 KB。
- **攒着，不等。** 日志先放进内存里一个有上限的缓冲区，满了就丢日志，不让推送等。
- **送出机器。** 由后台批量送到专门的日志服务，不写本机磁盘。

有两样全记：连接的建立和断开（高峰每秒约 2.8 MB），和消息自己留下的痕迹（在消息日志里的位置、seq、入库时间）。第 1 节那条要是没被抽中，表里就少了推送那一行，结论却不变：连接事件说网关 12 上 Ben 那条连接 19:57:30 以后再没收到东西，Ben 的手机日志说它 20:01:40 才重连。

手机自己留几天日志，用户反馈时由 App 上传。日志里只记 ID、seq、时间和状态，不记消息内容。

## 6. 算一下

- **目标**：一天 4 亿条 × 0.01% = 4 万条可以晚；30 天停机预算 4.3 分钟。
- **探针**：每秒 20 条，一小时 72,000 条；整台网关坏了几秒可见，0.01% 的损失看不见。
- **抽样**：每 1,024 次投递抽 1 次，每秒 136 次投递，一小时约 49 万次，量得出 99.99%。
- **日志**：全记每秒 167 MB；抽样后每秒 163 KB。

## 7. 代价

- **探针是假流量。** 测试账号要从业务的统计里剔掉，否则它们自己就在把成功率往上拉。
- **手机多发一点。** 每台手机平均一天回报不到一次，全站每秒 136 帧。
- **一次投诉不一定有完整的线。** 没抽中的消息，服务器上只有连接事件和消息自己的痕迹；不够时，要靠手机上传的日志。
- **日志也是数据。** 谁能看、留多久，要有规矩；消息内容一律不记。

## 8. 其他答案

- **每条都追踪，只留有问题的**：先全部记下，等知道这条晚了、出错了再决定留不留。线最全，可每一跳都要先把全部记下来，第 5 节的账一分不少。
- **接收方每条都回执**：每次推送都等手机确认，没确认就重推。送达看得最清楚，可每次投递多一个上行帧，高峰每秒 139,000 个；v3 靠 seq 和同步补齐（第 5、6 章），不需要它。
- **只有探针**：最简单，整台坏了能发现；量不出 99.99%，也看不见真实用户的网络。
- **用告警盯错误预算的消耗速度**，而不是盯每一个错误：第 38 章。

## 9. 这一章的决定

**决策卡**

- 问题：消息会丢在两跳之间：网关写出去了，手机没收到。每台服务器只量自己那一步，面板全绿；各跳的日志各记各的，拼不起来。
- 选择：从用户这一侧量：在线设备 5 秒内收到，30 天 99.99%。两样仪器：每台网关每秒一条探针；按消息 ID 抽 1/1,024 的真实消息，收的手机回报，用两头网关的钟计时。每一跳的日志都带消息 ID 和 seq，只记抽中的，攒在内存里、满了就丢、送出机器；连接事件全记；手机日志按需上传。
- 代价：探针要从统计里剔掉；手机多发很少的回报帧；没抽中的消息查起来要靠连接事件和手机日志；日志的权限和保留要有规矩。
- 什么时候重新考虑：来的比扛得住的多时（第 34 章）；发布网关时用 SLO 把关（第 35 章）；按错误预算的消耗告警（第 38 章）。
- 其他答案：全部记下、事后只留有问题的；接收方每条回执；只靠探针；盯每一个错误。

现在能看见了。下一次面板变红，可能是有人用脚本每秒往徒步群里发 100 条。来的比扛得住的多时，先保什么、先丢什么？下一章：过载。
