# 第 37 章：丢了一个机房

> v3 的 20 台网关分在两个机房，一个机房整个停电，另一个也装得下所有人。可每条消息存了 3 份，为什么丢一个机房，一半的会话还是发不出消息？

深入理解 IM 系统 · https://im.liko.page/zh/losing-a-data-centre/

2023 年 4 月，Google Cloud 巴黎区域的一栋机房漏水，引起火灾，整栋楼断电。那个区域有三栋楼，电源、制冷、网络各自独立；可区域里一个关键数据库（Spanner）的副本没有正确地分在三栋楼里，丢了一栋，就凑不够多数，这个区域的很多服务一起停了（[Google Cloud 事故报告](https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY)）。

v3 也分在两个机房里。第 22 章把 20 台网关放在同一个城市的两个**可用区**（电源和网络互相独立的两组机房），每边 10 台，丢一边，另一边装得下所有人；第 24 章算过 50 万台设备怎么连回来。

这一章的问题：**连接之外的东西，日志、存储、租约，丢一个机房时还在不在、还能不能写？**

## 1. 先分清丢的是什么

| 丢了什么 | 多久一次 | 谁来处理 | 在哪一章 |
|---|---|---|---|
| 一台机器 | 常有 | 系统自己，几秒内 | 第 28、32 章 |
| 一个机房（可用区） | 少见 | 系统自己，不丢已确认的消息 | 这一章前半 |
| 整个城市（区域） | 很少 | 人拍板切过去，可能丢最后一秒 | 这一章后半 |

## 2. 两个机房，多数派凑不齐

v3 里要“写进去才算数”的东西，都存了 3 份，要 3 份里的多数（2 份）写好才回答：

- **消息日志**：写进 3 台机器才回确认（第 29 章）。
- **存储**：每份数据 3 个副本，假设也是多数写好才算。
- **租约**：一台消息服务器要当某个会话的主人，得定期续一个有期限的许可（第 28 章）。这些许可记在一个协调服务里，它也靠多数投票。

3 份放进两个机房，总有一边放了 2 份。丢的如果是只放 1 份的那边，没事；丢的是放 2 份的那边，剩下 1 份凑不成多数，这一组就不能写了。

日志有很多分区，一半分区的 2 份放在这边，另一半的放在那边，所以丢哪个机房，都有一半的分区写不了：高峰每秒 6,950 条消息发不出去。租约服务更糟：它只有一组，多数在哪边是定的。丢了那一边，没有租约能续上；续不上的主人，租约一到期就自己停下（第 28 章），所以 10 秒后所有主人都停下来，**每秒 13,900 条全部发不出去**，包括另一个机房里那些好好的手机。

多放几份也没用。两个机房，不管放几份，丢了放得多的那一边，剩下的都不过半。etcd（一个常用的协调服务）的文档列了这张表：3 个成员能坏 1 个，4 个也只能坏 1 个（[etcd FAQ](https://etcd.io/docs/v3.5/faq/)）。

那为什么不让剩下的那 1 份自己接着写？因为它分不清“那边没了”和“我和那边之间的网断了”。要是网断了，两边都觉得对方没了，都接着写，同一个会话就有了两个主人，两条不同的消息拿到同一个 seq（第 28 章）。多数派的意义就在这里：最多只有一边能凑够多数。

## 3. 第三个机房，每边一份

办法是第三个可用区：日志、存储、租约服务，每组的 3 份分在 3 个机房，每边 1 份。丢了哪个，都还剩 2 份，照样是多数，照样能写。

第三个机房不放网关，用户还是只连前两个；它只放每组的第三份。副本本来就是 3 份，要多的不是机器，是摆放的规矩：**同一组的两份，绝不放在同一个机房。**

代价在每一次确认上。多数里至少有一份在别的机房，确认要多等一个机房之间的来回。同一个区域的可用区之间，AWS 说的是相距最多约 100 公里、个位数毫秒，近到可以同步复制（[AWS 白皮书](https://docs.aws.amazon.com/whitepapers/latest/aws-fault-isolation-boundaries/availability-zones.html)）。按 1 毫秒算，比起手机到服务器的 200 毫秒，多了 0.5%。

## 4. 丢一个机房时，系统自己做了什么

假设高峰时丢的是放网关的一个机房：

1. **已确认的消息一条不丢。** 每条都在多数上，至少有一份在别的机房。
2. **主人换人。** 主人在这个机房里的会话，假设占一半，要等租约过期，10 秒后由别的消息服务器接手，接着从日志里最后的 seq 往下发（第 28 章）。这 10 秒里约 69,500 条消息（每秒 6,950 条 × 10 秒）没有确认，手机按第 3 章重发。
3. **设备连回来。** 这个机房的 50 万台设备，连到另一个机房的网关（第 24 章）。
4. **在线路由表自己变对。** 50 万条在线路由指向死掉的网关；设备重连时各自覆盖自己那一条，不用复制，也不用修。在线路由表自己的机器如果也在那个机房，另一边的网关把自己身上的连接重新登记一遍：连接在谁身上，网关最清楚。

整个过程没有人要按按钮。

## 5. 整个城市都没了

两个城市之间的来回按 30 毫秒算，副本远到这个程度，事情就变了。

先说**家**：每个会话属于一个城市，在那里取 seq、写日志，再复制到另一个城市。

**确认之前复制**，每条消息多等 30 毫秒，是手机来回的 15%，每一条、每一天都要付。

**确认之后复制**，平时不多等，可复制总落后一点。假设落后 1 秒，两个城市各是一半会话的家，高峰时一个城市没了，另一边就少了约 **6,950 条**已经确认过的消息。

主线的社交 App 选确认之后复制：城市整个没了很少见，那 1 秒的消息，和每条都慢 30 毫秒比，划得来。要每条都不能丢的产品，比如办公 IM（第 39 章），可能反过来选。

切到另一个城市，要**人来拍板**，不自动。城市之间的网断了，和城市没了，在另一边看起来一样；自动切换，就可能两边同时当家。

切过去以后，**新主人的 seq 要往前跳一大段**。看徒步群：

- 丢掉的城市已经发出 4,824 到 4,826，推到了 Ben 的手机上；
- 另一个城市只复制到 4,823。

如果新主人从 4,824 接着发，Ben 手机里就有两条不同的 4,824，新的那条他永远不会去拉。所以新主人从 4,823 往前跳 10,000，下一条是 14,824。中间这一段先当作空号：手机看见 seq 断了一大段，会来补拉（第 5 章），服务端一次回答“4,824 到 14,823 都不存在”，手机跳过去。第 5、28 章里空号是一个一个回答“这个号不存在”，这里换成一整段。

跳多少？要大于一个会话在复制落后的那段时间里最多能发的条数。第 34 章有两道限流：每台设备每秒 5 条，每个会话每秒最多送 5,000 人次。一个 m 人的群，按会话的限额每秒最多 5,000 ÷ m 条；按设备的限额，全体成员的设备（每人 1.5 台）一起发也只有 m × 1.5 × 5 条。两个取小的：人少的群被设备的限额卡住，人多的被会话的限额卡住，两者相等时最大，在约 26 人，每秒约 192 条；跳 10,000，够落后 52 秒。复制落后多少，平时一直在量；切的时候落后得更多，就跳得更多。这个步长和微信 seqsvr 预分配号段的步长一样（[InfoQ](https://www.infoq.cn/article/wechat-serial-number-generator-architecture)），它重启时也是这样往前跳一段。

所以第 28 章的“从最后的 seq 接着发”只在一个区域里成立：那里日志的多数是同步写的，最后的 seq 一定是全的。跨了城市，复制是落后的，最后的 seq 不可信，只能跳。

## 6. 代价

- **第三个机房。** 要多租一个地方，日志要跨机房复制：每天 4 亿条 × 200 字节 = 80 GB，三份里有两份在别的机房，每天约 160 GB；每次确认多等约 1 毫秒。
- **两个城市，两倍容量。** 每个城市都要装得下所有人，平时有一半闲着。
- **跨城切换可能丢最后一秒。** 约 6,950 条已确认的消息，要等那个城市回来才能找回。
- **找回来的消息落在过去。** 它们有自己的 seq，正好在跳过的那段里，可已经往前走的手机不会回头去拉，要另外通知。
- **人拍板就慢。** 从发现到决定切，可能是几分钟到几十分钟。这段要靠演练练熟（第 38 章）。

## 7. 其他答案

- **两个机房加一个“仲裁”**：第三个地方只放投票的成员，不放数据。省钱，适合租约服务；日志和存储的数据要 3 份时，还是要第三份。
- **主备**：平时只用一个区域，另一个只收复制、不接用户。简单，可备用的那边从没真正跑过，切的时候最容易出问题。
- **两个城市都接用户，每个会话一个家**（这一章的做法）；也有按用户定家的，可一个会话的人分在两个城市，发消息就要跨城。Telegram 的公开 API 就是按用户定家：每个用户的数据放在世界各地几个数据中心里的一个，请求发错了地方，会收到 `USER_MIGRATE_X`，X 是该去的那个数据中心（[Data centers](https://core.telegram.org/api/datacenter)、[Error handling](https://core.telegram.org/api/errors)）。
- **跨城也同步复制**：每条多 30 毫秒，一条也不丢，适合金融、办公这类产品。

## 8. 这一章的决定

**决策卡**

- 问题：v3 分在两个机房，网关丢一边没事；可日志、存储、租约都要 3 份里的多数，两个机房总有一边放了 2 份，丢了那边，一半会话写不了，租约过期后所有人都发不出去。
- 选择：同一个区域里用三个可用区，每组副本三边各一份，确认等多数（同步），丢一个机房不丢已确认的消息，也不用人管；跨城市在确认之后复制，切换由人拍板，新主人的 seq 往前跳 10,000。
- 代价：第三个机房，每次确认多约 1 毫秒；两个城市两倍容量；跨城切换可能丢约 6,950 条已确认的消息，找回来的落在过去；人拍板要时间。
- 什么时候重新考虑：要每条都不丢的产品（第 39 章）；切换和找回有没有真的练过（第 38 章）。
- 其他答案：两个机房加仲裁；主备；按用户定家（Telegram）；跨城同步复制。

到这里，第 33–37 章加的后路（熔断、降级、排空、切机房）大多只在坏日子里才跑；平时一直在跑的，只有第 33 章的探针和抽样。从没跑过的东西，到时候多半不灵。下一章：演练与复盘。
