第 37 章
丢了一个机房
v3 的 20 台网关分在两个机房,一个机房整个停电,另一个也装得下所有人。可每条消息存了 3 份,为什么丢一个机房,一半的会话还是发不出消息?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
2023 年 4 月,Google Cloud 巴黎区域的一栋机房漏水,引起火灾,整栋楼断电。那个区域有三栋楼,电源、制冷、网络各自独立;可区域里一个关键数据库(Spanner)的副本没有正确地分在三栋楼里,丢了一栋,就凑不够多数,这个区域的很多服务一起停了(Google Cloud 事故报告)。
v3 也分在两个机房里。第 22 章把 20 台网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看放在同一个城市的两个可用区(电源和网络互相独立的两组机房),每边 10 台,丢一边,另一边装得下所有人;第 24 章算过 50 万台设备怎么连回来。
这一章的问题:连接之外的东西,日志、存储、租约,丢一个机房时还在不在、还能不能写?
1. 先分清丢的是什么
| 丢了什么 | 多久一次 | 谁来处理 | 在哪一章 |
|---|---|---|---|
| 一台机器 | 常有 | 系统自己,几秒内 | 第 28、32 章 |
| 一个机房(可用区) | 少见 | 系统自己,不丢已确认的消息 | 这一章前半 |
| 整个城市(区域) | 很少 | 人拍板切过去,可能丢最后一秒 | 这一章后半 |
2. 两个机房,多数派凑不齐
v3 里要“写进去才算数”的东西,都存了 3 份,要 3 份里的多数(2 份)写好才回答:
- 消息日志消息日志message log持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。在术语表里查看:写进 3 台机器才回确认(第 29 章)。
- 存储:每份数据 3 个副本,假设也是多数写好才算。
- 租约:一台消息服务器要当某个会话的主人,得定期续一个有期限的许可(第 28 章)。这些许可记在一个协调服务里,它也靠多数投票。
3 份放进两个机房,总有一边放了 2 份。丢的如果是只放 1 份的那边,没事;丢的是放 2 份的那边,剩下 1 份凑不成多数,这一组就不能写了。
日志有很多分区,一半分区的 2 份放在这边,另一半的放在那边,所以丢哪个机房,都有一半的分区写不了:高峰每秒 6,950 条消息发不出去。租约服务更糟:它只有一组,多数在哪边是定的。丢了那一边,没有租约能续上;续不上的主人,租约一到期就自己停下(第 28 章),所以 10 秒后所有主人都停下来,每秒 13,900 条全部发不出去,包括另一个机房里那些好好的手机。
多放几份也没用。两个机房,不管放几份,丢了放得多的那一边,剩下的都不过半。etcd(一个常用的协调服务)的文档列了这张表:3 个成员能坏 1 个,4 个也只能坏 1 个(etcd FAQ)。
那为什么不让剩下的那 1 份自己接着写?因为它分不清“那边没了”和“我和那边之间的网断了”。要是网断了,两边都觉得对方没了,都接着写,同一个会话就有了两个主人,两条不同的消息拿到同一个 seq(第 28 章)。多数派的意义就在这里:最多只有一边能凑够多数。
3. 第三个机房,每边一份
办法是第三个可用区:日志、存储、租约服务,每组的 3 份分在 3 个机房,每边 1 份。丢了哪个,都还剩 2 份,照样是多数,照样能写。
第三个机房不放网关,用户还是只连前两个;它只放每组的第三份。副本本来就是 3 份,要多的不是机器,是摆放的规矩:同一组的两份,绝不放在同一个机房。
代价在每一次确认上。多数里至少有一份在别的机房,确认要多等一个机房之间的来回。同一个区域的可用区之间,AWS 说的是相距最多约 100 公里、个位数毫秒,近到可以同步复制(AWS 白皮书)。按 1 毫秒算,比起手机到服务器的 200 毫秒,多了 0.5%。
4. 丢一个机房时,系统自己做了什么
假设高峰时丢的是放网关的一个机房:
- 已确认的消息一条不丢。 每条都在多数上,至少有一份在别的机房。
- 主人换人。 主人在这个机房里的会话,假设占一半,要等租约过期,10 秒后由别的消息服务器接手,接着从日志里最后的 seq 往下发(第 28 章)。这 10 秒里约 69,500 条消息(每秒 6,950 条 × 10 秒)没有确认,手机按第 3 章重发。
- 设备连回来。 这个机房的 50 万台设备,连到另一个机房的网关(第 24 章)。
- 在线路由表自己变对。 50 万条在线路由在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看指向死掉的网关;设备重连时各自覆盖自己那一条,不用复制,也不用修。在线路由表自己的机器如果也在那个机房,另一边的网关把自己身上的连接重新登记一遍:连接在谁身上,网关最清楚。
整个过程没有人要按按钮。
5. 整个城市都没了
两个城市之间的来回按 30 毫秒算,副本远到这个程度,事情就变了。
先说家:每个会话属于一个城市,在那里取 seq、写日志,再复制到另一个城市。
确认之前复制,每条消息多等 30 毫秒,是手机来回的 15%,每一条、每一天都要付。
确认之后复制,平时不多等,可复制总落后一点。假设落后 1 秒,两个城市各是一半会话的家,高峰时一个城市没了,另一边就少了约 6,950 条已经确认过的消息。
主线的社交 App 选确认之后复制:城市整个没了很少见,那 1 秒的消息,和每条都慢 30 毫秒比,划得来。要每条都不能丢的产品,比如办公 IM(第 39 章),可能反过来选。
切到另一个城市,要人来拍板,不自动。城市之间的网断了,和城市没了,在另一边看起来一样;自动切换,就可能两边同时当家。
切过去以后,新主人的 seq 要往前跳一大段。看徒步群:
- 丢掉的城市已经发出 4,824 到 4,826,推到了 Ben 的手机上;
- 另一个城市只复制到 4,823。
如果新主人从 4,824 接着发,Ben 手机里就有两条不同的 4,824,新的那条他永远不会去拉。所以新主人从 4,823 往前跳 10,000,下一条是 14,824。中间这一段先当作空号:手机看见 seq 断了一大段,会来补拉(第 5 章),服务端一次回答“4,824 到 14,823 都不存在”,手机跳过去。第 5、28 章里空号是一个一个回答“这个号不存在”,这里换成一整段。
跳多少?要大于一个会话在复制落后的那段时间里最多能发的条数。第 34 章有两道限流:每台设备每秒 5 条,每个会话每秒最多送 5,000 人次。一个 m 人的群,按会话的限额每秒最多 5,000 ÷ m 条;按设备的限额,全体成员的设备(每人 1.5 台)一起发也只有 m × 1.5 × 5 条。两个取小的:人少的群被设备的限额卡住,人多的被会话的限额卡住,两者相等时最大,在约 26 人,每秒约 192 条;跳 10,000,够落后 52 秒。复制落后多少,平时一直在量;切的时候落后得更多,就跳得更多。这个步长和微信 seqsvr 预分配号段的步长一样(InfoQ),它重启时也是这样往前跳一段。
所以第 28 章的“从最后的 seq 接着发”只在一个区域里成立:那里日志的多数是同步写的,最后的 seq 一定是全的。跨了城市,复制是落后的,最后的 seq 不可信,只能跳。
6. 代价
- 第三个机房。 要多租一个地方,日志要跨机房复制:每天 4 亿条 × 200 字节 = 80 GB,三份里有两份在别的机房,每天约 160 GB;每次确认多等约 1 毫秒。
- 两个城市,两倍容量。 每个城市都要装得下所有人,平时有一半闲着。
- 跨城切换可能丢最后一秒。 约 6,950 条已确认的消息,要等那个城市回来才能找回。
- 找回来的消息落在过去。 它们有自己的 seq,正好在跳过的那段里,可已经往前走的手机不会回头去拉,要另外通知。
- 人拍板就慢。 从发现到决定切,可能是几分钟到几十分钟。这段要靠演练练熟(第 38 章)。
7. 其他答案
- 两个机房加一个“仲裁”:第三个地方只放投票的成员,不放数据。省钱,适合租约服务;日志和存储的数据要 3 份时,还是要第三份。
- 主备:平时只用一个区域,另一个只收复制、不接用户。简单,可备用的那边从没真正跑过,切的时候最容易出问题。
- 两个城市都接用户,每个会话一个家(这一章的做法);也有按用户定家的,可一个会话的人分在两个城市,发消息就要跨城。Telegram 的公开 API 就是按用户定家:每个用户的数据放在世界各地几个数据中心里的一个,请求发错了地方,会收到
USER_MIGRATE_X,X 是该去的那个数据中心(Data centers、Error handling)。 - 跨城也同步复制:每条多 30 毫秒,一条也不丢,适合金融、办公这类产品。
8. 这一章的决定
到这里,第 33–37 章加的后路(熔断、降级、排空、切机房)大多只在坏日子里才跑;平时一直在跑的,只有第 33 章的探针和抽样。从没跑过的东西,到时候多半不灵。下一章:演练与复盘。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。