第 20 章
拆出网关
一百万台设备同时在线,一台服务器装不下;复制几台,每次发布还是会断开所有人。连接和逻辑怎么分开?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
App 长到了 1,000 万日活用户,高峰时 100 万台设备同时在线。这就是 v3。
到 v2 为止,服务端是一个程序:它握着每一条长连接长连接long-lived connection设备和服务端之间一直开着的一条 TCP 或 WebSocket 连接。有了它,服务端可以随时主动把消息推下去,不用等客户端来问。在术语表里查看,也跑着全部的逻辑:去重、取 seq(消息在会话里的序号)、写会话记录、推送。100 万条连接,一台机器装不下。最顺手的办法是多开几台,可那样每次发布,所有人还是一起断线。
这一章决定:持有连接的部分,和逻辑分开。
1. 先想到的:复制几台
把 v2 的服务器原样复制 20 台,前面放一个负载均衡,每台持有二十分之一的连接。这是合理的第一步,很多系统就是这样起步的。
它确实装得下:每台 5 万条连接,按每条 30 KB 算是 1.5 GB 内存(每台放多少,这里先假设,第 22 章细算)。新出的问题也好解决:Ana 连在第 3 台,Ben 连在第 7 台,第 3 台收下 Ana 的消息以后,要知道 Ben 在哪台。这张表下面第 4 节再说,拆不拆都要有。
复制解决不了的,是发布。
2. 发布会断开所有人
逻辑改得勤:修 bug、加消息类型、改规则,全书假设一周发布两次。每发布一次,20 台服务器要一台台重启;进程一退出,它握着的连接全断。
一周 2 次 × 100 万条连接 = 每周 200 万次重连
论次数这不算多:每次打开 App 本来就要新建一次连接,一天 2 亿次(第 26 章)。贵在两点:
- 断的是正在用的人。 正在聊天的 Ana,屏幕上闪一下“连接中”,和她自己的网络无关,只因为服务端在发布。重新建连要 0.6–0.8 秒(第 2 章),断线那几秒的推送,靠重连后的同步补回来。
- 它们一起来。 重启一台,它的 5 万台设备同时连回来;按一台每秒 2,000 次握手(第 2 章),光握手就要 25 秒,还要再做 5 万次同步。
逻辑出错也一样。一种新消息类型让解析代码崩了,进程退出,这一台的 5 万条连接跟着断。逻辑里的 bug,变成了连接的事故。
还有一点:两边长大的方式不一样。连接吃内存,一条空闲连接也占着 30 KB;逻辑吃 CPU,跟着消息量走,高峰每秒 13,900 条。复制一台,两样一起买。
3. 拆开:网关只管连接
把程序切成两半:
- 网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看:只持有连接。收到一帧,按类型转给后面的逻辑;后面要推下来的帧,写进对应的连接。它不看消息内容。
- 逻辑:消息层、分发层、业务层,都在网关后面,自己部署。它们不持有连接,重启一台,网关把请求转给别的那几台,手机什么也感觉不到。
网关有好几台,手机连哪台?连之前先问接入调度接入调度locator告诉设备该连哪台网关的服务。设备先问它,再去连网关。在术语表里查看,它按各台网关的负载回一个地址。
哪些放进网关,哪些不放,标准只有一个:会不会常改。
| 放进网关 | 不放 |
|---|---|
| TLS、拆帧(第 2 章、旁支“拆包与组帧”) | 去重、取 seq(第 4、5 章) |
| 心跳,发现死掉的连接(第 23 章) | 群成员、谁能发给谁(业务层) |
| 检查登录令牌(第 25 章) | 消息类型、消息内容 |
| 连得太快时排队(第 24 章) | 会话记录、未读数 |
| 在路由表里登记、注销;连接断开时告诉后面 |
左边几年也改不了几次;右边一周改两次。只要右边一样也不进网关,加一种消息类型就不用发布网关。网关自己还是要发布(修它自己的 bug、升级 TLS 库),只是少得多。假设一个月一次:每月因发布而起的重连,从约 860 万次(一个月约 4.3 周,每周 200 万)降到 100 万次(网关发布一次,100 万条连接各断一次)。
4. 推送要找人:在线路由表
网关一多,就有两种往下发的东西,找连接的方式不一样:
- 回复:Ana 发消息,确认要回给她。请求是从哪条连接进来的,网关记着,回复原路返回,不用查任何表。
- 推送:Ben 什么也没问,服务端主动找他。这要知道他的每台设备连在哪台网关。
所以多一张表,在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看:
人、设备 → 网关、连接号、连上的时间
设备连上时,网关写一行(有旧的就覆盖);断开时删掉。分发层推送前,按人查一次,就拿到他在线的每台设备和各自的网关,再把帧交给那几台网关。查不到,就当他不在线,走系统推送(第 17 章)。
这张表不大,但很忙:
- 大小:100 万行,每行按 64 字节算,约 64 MB。
- 写:每次打开 App 连一次、退出断一次,各写一次,高峰每秒约 13,900 次。
- 读:一条消息到几个人就查几次。高峰每秒 13,900 条,每条平均到 6.67 人(每条到 10 台设备,每人平均 1.5 台,第 6 章),约 92,700 次,假设一台缓存节点每秒能查 100 万次(流水线批量查询),是它能力的 9% 左右。
5. 一件要做对的事:删之前核对连接号
断开时删掉这一行,听起来简单。看 Ben 的手机:
| 时间 | 发生了什么 | 表里 Ben 的手机 |
|---|---|---|
| 19:00 | 在家里的 Wi-Fi 上连到网关 3,连接 c1 | 网关 3,c1 |
| 19:05 | 出门,Wi-Fi 悄悄断了;手机换到 4G,连到网关 7,连接 c2 | 网关 7,c2 |
| 19:17 | 网关 3 在 c1 上 12 分钟没收到任何东西(3 个心跳周期,第 23 章),关掉 c1,按设备删掉这一行 | 没有了 |
手机明明连在网关 7 上,表里却查不到它。之后发给 Ben 的消息都不推了,要等他下次重连、同步时才看到。旧连接死得悄无声息,网关要过十几分钟才发现,正好让晚到的删除,删掉了新的那一行。
办法是删除时带上连接号:这一行还是 c1,才删。
DELETE FROM online_routes WHERE device = 'ben-phone' AND conn = 'c1'
19:17 那次删除什么也不改,网关 7 的那一行留着。用缓存存这张表时也一样:比较和删除要一步完成。要是分两步,先读出“还是 c1”,再删,网关 7 正好在这两步之间写入 c2,删掉的就是 c2。
网关整台挂掉时,它的 5 万行也一起失效。往那台推送会失败;这些设备很快会连到别的网关,覆盖自己那一行(第 24 章);不再回来的,推送失败一次就当离线处理。
6. 算一下
- 一台装不下:100 万条连接 × 30 KB = 30 GB,一台网关给连接留 16 GB;高峰每秒 139,000 次推送,一台推 50,000 次,光推送就要 2.8 台。假设每台平时放 5 万条,要 20 台网关(第 22 章再算这个数:两个可用区各 10 台,坏一个区时剩下的每台 10 万条)。
- 发布:拆之前每周 200 万次重连;拆之后逻辑发布一次也不断,网关一个月发布一次,每月 100 万次。
- 多一跳:网关到逻辑在机房里,一个来回按 0.5 毫秒算;手机到网关是 200 毫秒,只多 0.25%。
7. 代价
- 多一跳,多一个服务。 帧要在网关和逻辑之间再走一次网络,中间也会超时;路由表每次推送都要读,它慢了,推送就慢。
- 表会过时。 网关挂掉、连接悄悄断掉时,表里的行要过一阵才对;删除必须核对连接号。
- 网关发布还是会断线。 少了,但没有消失。网关怎样先把连接慢慢迁走再重启,是第 35 章的事。
8. 其他答案
- 一层长连接给很多业务共用,不懂任何业务。 百度公开过这样一个统一长连接服务(百度Geek说,glstr,“千万级高性能长连接Go服务架构实践”,即时通讯网转载):接入层管连接;路由层记“设备标识 → 连接标识”,业务指定设备推送;下行支持单播、批量单播、广播。文章总结的经验里有一句:“坚持长连接服务不深入介入业务逻辑这个原则”。
- 网关按频道订阅。 Slack 的网关服务器记着每个连接订阅了哪些频道;消息先到按一致性哈希分好的频道服务器,再发给所有订阅了这个频道的网关(Real-time Messaging)。网关要知道频道,不再只是“设备 → 连接”。
- 不要路由表,发给每一台。 Socket.IO 的 Redis 适配器:发给一群人的包,先发本机的连接,再发布到 Redis,别的服务器都收到,各自发给自己身上对得上的连接(Redis adapter)。台数少时最省事;按第 22 章两个可用区共 20 台网关,每条消息都要发给 20 台,每秒 278,000 帧,而且每台网关都得知道每个群有谁。
- 热升级。 发布网关时,把打开的连接交给新进程,一条也不断。省掉重连,代价是这段代码很难写对。
9. 这一章的决定
在线路由表知道每台设备连在哪。那它是不是也该告诉 Ana:Ben 现在在线?告诉谁、告诉多少人,下一章:在线状态。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。