深入理解 IM 系统

第 38 章

演练与复盘

熔断、降级、切机房,这些办法平时一次也不跑。真到出事那天,它们灵不灵?告警一晚上响几十次,真出事的那次还有人看吗?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

第 33 到 37 章给 v3 加了很多东西:熔断、降级、重试队列、排空网关、第三个机房、跨城切换。除了第 33 章的探针和抽样一直在跑、排空在每次发布时跑,其余的后路大多有一个共同点:平时一次也不跑,只在出事那天才跑。

还有一样东西平时一直在跑,却没人信:告警。它每次有错误都响,响多了,人就不看了。

这一章的问题:怎样知道这些只在坏日子跑的东西真的能用,又怎样只在真出事时把人叫醒?

1. 没跑过的,多半不灵

Slack 2021 年 1 月 4 日的故障报告里有两件事(Slack Engineering):

  • 负责给新机器做配置的服务,以前压测过,可那天要一次加的机器超出了压测过的规模,它碰上了打开文件数的上限和云服务的配额,扩容没成;
  • 看板和告警服务和它的数据库不在一个网络里,中间隔着那天出问题的网络设备,于是最需要看监控的时候,监控先挂了。

两件都是后路:一个是扩容,一个是监控。它们平时都在,可在那个规模、那种情况下,从没真正跑过。

v3 的后路也一样。熔断阈值(第 36 章)配得对不对,只有坏分片来了才知道;跨城切换(第 37 章)要人拍板,从没练过的人,第一次就在凌晨三点。

2. 告警:每个错误都响

最直接的告警:最近 5 分钟里,迟到的消息超过 0.01%(第 33 章的目标)就响。

看起来很合理,可它用的是第 33 章的抽样:每 1,024 次投递抽 1 次来量。半夜流量小,5 分钟只抽到约 1,000 次,碰上一次迟到,比例就是 0.1%,过线十倍。

模拟一个月:平时的迟到只有目标的三成,这条告警却响了 888 次,一天约 30 次,其中 319 次在 0 点到 7 点。

这个月里真出了两件事:一台网关在晚上 8 点半突然断电;一个负载均衡提前掐断空闲连接,让一台网关上 0.5% 的推送落空,全站多了约 0.025% 的迟到,持续两天(第 33 章的例子)。它们混在那 888 次里,看起来和别的没两样。响了 888 次的告警,第 889 次也不会有人起床。

3. 按预算烧得多快来报警

第 33 章定的目标是 99.99%,也就是一个月可以有 0.01% 迟到。换算成全站停摆,30 天是 4.32 分钟。这就是错误预算。

告警不看“现在有没有错”,看预算烧得多快:按现在的迟到率,预算几天烧完。正好一个月烧完,速率是 1 倍;Google 的《SRE 工作手册》推荐三档(Alerting on SLOs):

速率 看多久 等于烧掉一个月的 做什么
14.4 倍 1 小时(且最近 5 分钟也是) 2% 叫醒人
6 倍 6 小时(且最近 30 分钟也是) 5% 叫醒人
1 倍 3 天(且最近 6 小时也是) 10% 开工单,上班再看

第三列这样来:一个月是 720 小时,1 倍的速率一小时烧掉 1/720;14.4 倍烧 1 小时,就是 14.4 × 1 ÷ 720 = 2%。另外两档同理:6 × 6 ÷ 720 = 5%,1 × 72 ÷ 720 = 10%。

长窗口把偶然的几次迟到摊薄,半夜抽到的一两次不再触发;短窗口让故障一结束告警就停。真停摆时也不慢:14.4 倍的线,是一小时里 0.144% 的投递迟到(0.01% × 14.4);全站停摆时每一次投递都迟到,停 5.2 秒(3,600 秒 × 0.144%),一小时的平均就过线了。

同一个月用这三档:叫醒人的两档,只为一件事响过,就是那台断电的网关,8 点半当场就响。工单开了 2 张:一张是同一件事,另一张是负载均衡那件,第二天下午开出来。它每天只烧一点,两天共烧掉预算的 14.7%,不值得半夜叫人,但不能不管。

4. 演练:花一小块预算

预算没用完,就可以拿一部分出来,故意弄坏东西,在上班时间、有人盯着的时候。

先在模拟器里,再到测试环境,最后在生产上,从小到大:

  • 停一台网关。 正常停进程,系统替它关掉连接,5 万台手机马上知道,分到另外 19 台,每台约 2,600 台,几秒内回来,几乎不花预算。
  • 拔一台网关的电。 连接悄悄死掉,手机要等下一次心跳没回音才发现:4 分钟没动静才发心跳,平均要等约 2 分钟,再等 10 秒没回音,共约 130 秒(第 23 章)。按平均流量算,花掉一个月预算的约 2.4%;一个月四次,约一成。预算按投递的次数算,晚高峰每秒的投递是平均的 3 倍,所以同样拔一次,在晚高峰要约 7.5%,就是上面那次真断电。
  • 让一片存储变慢,看熔断和重试队列(第 36 章)。
  • 关掉一个机房,看多数派和租约(第 37 章)。
  • 跨城切换,按手册一步步来,练的是人。

Netflix 的 Chaos Monkey 把第一种自动化了:它在生产环境里随机终止实例,好让工程师把服务做得能扛住实例故障(Chaos Monkey)。

每次演练都量一样东西:它实际烧了多少预算,和事先算的对不对得上。对不上,就是设计里有没想到的东西,这正是演练要找的。

5. 复盘:改系统,不改人

演练找到的,和真出事暴露的,都要变成系统的改动。

什么时候必须复盘,事先定好。Google 的错误预算政策样例里有一条:一次故障烧掉四周预算的两成以上,就要复盘,并且至少有一项最高优先级的改进(Error Budget Policy)。按我们的数,两成是 0.86 分钟的全站停摆,比如一半的人停 1.7 分钟。丢了数据、要人手动处理、监控自己没发现,也都该复盘(Postmortem Culture)。

复盘不追究个人。SRE 书的说法是:假定每个人当时都出于好意,按手上的信息做了对的事,只找促成故障的原因;责怪的气氛会让问题被“扫到地毯下面”。追究个人,下一次大家就会藏起细节,而细节正是改系统要用的。

所以复盘的结尾不是“某某以后要小心”,而是一个改动:加一个限流、改一个超时、让告警不依赖它监控的东西、把一个从没跑过的后路放进下个月的演练。

6. 代价

  • 演练就是小的、自己选的故障。 一个月约一成预算,用户真的会感觉到一点。
  • 值班是人的时间。 告警少了,可每一次都要有人马上处理,要有手册写清楚第一步做什么。
  • 一个月的预算有时不够花。 先出了大故障,这个月的演练就要停,发布也要放慢;这要事先和产品说好。
  • 复盘要时间写,更要时间改。 改进项没人做,复盘就只是记录。

7. 其他答案

  • 按错误数或阈值报警(第 2 节)。最简单,量小、流量平稳时也能用;量一大、日夜一分,就会吵。
  • 只做演练,不在生产上做。 风险小,可生产的规模、配置和流量,测试环境没有。
  • 游戏日(game day):不随机,而是约好一天,大家一起演一个大故障,比如整个机房。AWS 的 Well-Architected 框架建议定期办(REL12-BP05)。
  • 不定预算,只定“不能出事”。 不出事就不能改,改就会出事,最后谁也不敢发布。

8. 这一章的决定

v3 现在能长大,也能一直跑着。接下来,同一套系统换一种产品:先是公司里用的办公 IM。下一章:办公 IM。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。