# 第 38 章：演练与复盘

> 熔断、降级、切机房，这些办法平时一次也不跑。真到出事那天，它们灵不灵？告警一晚上响几十次，真出事的那次还有人看吗？

深入理解 IM 系统 · https://im.liko.page/zh/drills-and-postmortems/

第 33 到 37 章给 v3 加了很多东西：熔断、降级、重试队列、排空网关、第三个机房、跨城切换。除了第 33 章的探针和抽样一直在跑、排空在每次发布时跑，其余的后路大多有一个共同点：**平时一次也不跑**，只在出事那天才跑。

还有一样东西平时一直在跑，却没人信：告警。它每次有错误都响，响多了，人就不看了。

这一章的问题：**怎样知道这些只在坏日子跑的东西真的能用，又怎样只在真出事时把人叫醒？**

## 1. 没跑过的，多半不灵

Slack 2021 年 1 月 4 日的故障报告里有两件事（[Slack Engineering](https://slack.engineering/slacks-outage-on-january-4th-2021/)）：

- 负责给新机器做配置的服务，以前压测过，可那天要一次加的机器超出了压测过的规模，它碰上了打开文件数的上限和云服务的配额，扩容没成；
- 看板和告警服务和它的数据库不在一个网络里，中间隔着那天出问题的网络设备，于是最需要看监控的时候，监控先挂了。

两件都是后路：一个是扩容，一个是监控。它们平时都在，可在那个规模、那种情况下，从没真正跑过。

v3 的后路也一样。熔断阈值（第 36 章）配得对不对，只有坏分片来了才知道；跨城切换（第 37 章）要人拍板，从没练过的人，第一次就在凌晨三点。

## 2. 告警：每个错误都响

最直接的告警：最近 5 分钟里，迟到的消息超过 0.01%（第 33 章的目标）就响。

看起来很合理，可它用的是第 33 章的抽样：每 1,024 次投递抽 1 次来量。半夜流量小，5 分钟只抽到约 1,000 次，碰上一次迟到，比例就是 0.1%，过线十倍。

模拟一个月：平时的迟到只有目标的三成，这条告警却响了 **888 次**，一天约 30 次，其中 319 次在 0 点到 7 点。

这个月里真出了两件事：一台网关在晚上 8 点半突然断电；一个负载均衡提前掐断空闲连接，让一台网关上 0.5% 的推送落空，全站多了约 0.025% 的迟到，持续两天（第 33 章的例子）。它们混在那 888 次里，看起来和别的没两样。响了 888 次的告警，第 889 次也不会有人起床。

## 3. 按预算烧得多快来报警

第 33 章定的目标是 99.99%，也就是一个月可以有 0.01% 迟到。换算成全站停摆，30 天是 **4.32 分钟**。这就是**错误预算**。

告警不看“现在有没有错”，看**预算烧得多快**：按现在的迟到率，预算几天烧完。正好一个月烧完，速率是 1 倍；Google 的《SRE 工作手册》推荐三档（[Alerting on SLOs](https://sre.google/workbook/alerting-on-slos/)）：

| 速率 | 看多久 | 等于烧掉一个月的 | 做什么 |
|---|---|---|---|
| 14.4 倍 | 1 小时（且最近 5 分钟也是） | 2% | 叫醒人 |
| 6 倍 | 6 小时（且最近 30 分钟也是） | 5% | 叫醒人 |
| 1 倍 | 3 天（且最近 6 小时也是） | 10% | 开工单，上班再看 |

第三列这样来：一个月是 720 小时，1 倍的速率一小时烧掉 1/720；14.4 倍烧 1 小时，就是 14.4 × 1 ÷ 720 = 2%。另外两档同理：6 × 6 ÷ 720 = 5%，1 × 72 ÷ 720 = 10%。

长窗口把偶然的几次迟到摊薄，半夜抽到的一两次不再触发；短窗口让故障一结束告警就停。真停摆时也不慢：14.4 倍的线，是一小时里 0.144% 的投递迟到（0.01% × 14.4）；全站停摆时每一次投递都迟到，停 5.2 秒（3,600 秒 × 0.144%），一小时的平均就过线了。

同一个月用这三档：叫醒人的两档，只为一件事响过，就是那台断电的网关，8 点半当场就响。工单开了 2 张：一张是同一件事，另一张是负载均衡那件，第二天下午开出来。它每天只烧一点，两天共烧掉预算的 14.7%，不值得半夜叫人，但不能不管。

## 4. 演练：花一小块预算

预算没用完，就可以拿一部分出来，**故意弄坏东西**，在上班时间、有人盯着的时候。

先在模拟器里，再到测试环境，最后在生产上，从小到大：

- **停一台网关。** 正常停进程，系统替它关掉连接，5 万台手机马上知道，分到另外 19 台，每台约 2,600 台，几秒内回来，几乎不花预算。
- **拔一台网关的电。** 连接悄悄死掉，手机要等下一次心跳没回音才发现：4 分钟没动静才发心跳，平均要等约 2 分钟，再等 10 秒没回音，共约 130 秒（第 23 章）。按平均流量算，花掉一个月预算的约 2.4%；一个月四次，约一成。预算按投递的次数算，晚高峰每秒的投递是平均的 3 倍，所以同样拔一次，在晚高峰要约 7.5%，就是上面那次真断电。
- **让一片存储变慢**，看熔断和重试队列（第 36 章）。
- **关掉一个机房**，看多数派和租约（第 37 章）。
- **跨城切换**，按手册一步步来，练的是人。

Netflix 的 Chaos Monkey 把第一种自动化了：它在生产环境里随机终止实例，好让工程师把服务做得能扛住实例故障（[Chaos Monkey](https://netflix.github.io/chaosmonkey/)）。

每次演练都量一样东西：它实际烧了多少预算，和事先算的对不对得上。对不上，就是设计里有没想到的东西，这正是演练要找的。

## 5. 复盘：改系统，不改人

演练找到的，和真出事暴露的，都要变成系统的改动。

什么时候必须复盘，事先定好。Google 的错误预算政策样例里有一条：一次故障烧掉四周预算的两成以上，就要复盘，并且至少有一项最高优先级的改进（[Error Budget Policy](https://sre.google/workbook/error-budget-policy/)）。按我们的数，两成是 0.86 分钟的全站停摆，比如一半的人停 1.7 分钟。丢了数据、要人手动处理、监控自己没发现，也都该复盘（[Postmortem Culture](https://sre.google/sre-book/postmortem-culture/)）。

复盘**不追究个人**。SRE 书的说法是：假定每个人当时都出于好意，按手上的信息做了对的事，只找促成故障的原因；责怪的气氛会让问题被“扫到地毯下面”。追究个人，下一次大家就会藏起细节，而细节正是改系统要用的。

所以复盘的结尾不是“某某以后要小心”，而是一个改动：加一个限流、改一个超时、让告警不依赖它监控的东西、把一个从没跑过的后路放进下个月的演练。

## 6. 代价

- **演练就是小的、自己选的故障。** 一个月约一成预算，用户真的会感觉到一点。
- **值班是人的时间。** 告警少了，可每一次都要有人马上处理，要有手册写清楚第一步做什么。
- **一个月的预算有时不够花。** 先出了大故障，这个月的演练就要停，发布也要放慢；这要事先和产品说好。
- **复盘要时间写，更要时间改。** 改进项没人做，复盘就只是记录。

## 7. 其他答案

- **按错误数或阈值报警**（第 2 节）。最简单，量小、流量平稳时也能用；量一大、日夜一分，就会吵。
- **只做演练，不在生产上做。** 风险小，可生产的规模、配置和流量，测试环境没有。
- **游戏日**（game day）：不随机，而是约好一天，大家一起演一个大故障，比如整个机房。AWS 的 Well-Architected 框架建议定期办（[REL12-BP05](https://docs.aws.amazon.com/wellarchitected/latest/framework/rel_testing_resiliency_game_days_resiliency.html)）。
- **不定预算，只定“不能出事”。** 不出事就不能改，改就会出事，最后谁也不敢发布。

## 8. 这一章的决定

**决策卡**

- 问题：第 33–37 章的后路大多平时一次也不跑，到时候多半不灵；对每个错误都报警，一个月响 888 次，三分之一在半夜，真出事时没人当回事。
- 选择：用错误预算管运维：只在预算烧得快时叫人（1 小时 14.4 倍、6 小时 6 倍），慢的开工单；每月花一小块预算做演练，从模拟器到生产、从一台网关到跨城切换；一次故障烧掉两成以上就复盘，复盘的结尾是改系统，不追究人。
- 代价：演练是真的小故障（一个月约一成预算）；值班是人的时间；预算花完时演练和发布都要停；复盘的改进要有人做。
- 什么时候重新考虑：产品对“迟到”的容忍变了（办公 IM，第 39 章；直播间，第 41 章）；系统大到一个区域放不下时。
- 其他答案：按阈值报警；只在测试环境演练；约好一天的游戏日；不定预算，只求不出事。

v3 现在能长大，也能一直跑着。接下来，同一套系统换一种产品：先是公司里用的办公 IM。下一章：办公 IM。
