深入理解 IM 系统

第 20 章

拆出网关

一百万台设备同时在线,一台服务器装不下;复制几台,每次发布还是会断开所有人。连接和逻辑怎么分开?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

App 长到了 1,000 万日活用户,高峰时 100 万台设备同时在线。这就是 v3。

到 v2 为止,服务端是一个程序:它握着每一条长连接长连接long-lived connection设备和服务端之间一直开着的一条 TCP 或 WebSocket 连接。有了它,服务端可以随时主动把消息推下去,不用等客户端来问。在术语表里查看,也跑着全部的逻辑:去重、取 seq(消息在会话里的序号)、写会话记录、推送。100 万条连接,一台机器装不下。最顺手的办法是多开几台,可那样每次发布,所有人还是一起断线。

这一章决定:持有连接的部分,和逻辑分开。

1. 先想到的:复制几台

把 v2 的服务器原样复制 20 台,前面放一个负载均衡,每台持有二十分之一的连接。这是合理的第一步,很多系统就是这样起步的。

它确实装得下:每台 5 万条连接,按每条 30 KB 算是 1.5 GB 内存(每台放多少,这里先假设,第 22 章细算)。新出的问题也好解决:Ana 连在第 3 台,Ben 连在第 7 台,第 3 台收下 Ana 的消息以后,要知道 Ben 在哪台。这张表下面第 4 节再说,拆不拆都要有。

复制解决不了的,是发布。

2. 发布会断开所有人

逻辑改得勤:修 bug、加消息类型、改规则,全书假设一周发布两次。每发布一次,20 台服务器要一台台重启;进程一退出,它握着的连接全断。

一周 2 次 × 100 万条连接 = 每周 200 万次重连

论次数这不算多:每次打开 App 本来就要新建一次连接,一天 2 亿次(第 26 章)。贵在两点:

  • 断的是正在用的人。 正在聊天的 Ana,屏幕上闪一下“连接中”,和她自己的网络无关,只因为服务端在发布。重新建连要 0.6–0.8 秒(第 2 章),断线那几秒的推送,靠重连后的同步补回来。
  • 它们一起来。 重启一台,它的 5 万台设备同时连回来;按一台每秒 2,000 次握手(第 2 章),光握手就要 25 秒,还要再做 5 万次同步。

逻辑出错也一样。一种新消息类型让解析代码崩了,进程退出,这一台的 5 万条连接跟着断。逻辑里的 bug,变成了连接的事故。

还有一点:两边长大的方式不一样。连接吃内存,一条空闲连接也占着 30 KB;逻辑吃 CPU,跟着消息量走,高峰每秒 13,900 条。复制一台,两样一起买。

3. 拆开:网关只管连接

把程序切成两半:

  • 网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看:只持有连接。收到一帧,按类型转给后面的逻辑;后面要推下来的帧,写进对应的连接。它不看消息内容。
  • 逻辑:消息层、分发层、业务层,都在网关后面,自己部署。它们不持有连接,重启一台,网关把请求转给别的那几台,手机什么也感觉不到。

网关有好几台,手机连哪台?连之前先问接入调度接入调度locator告诉设备该连哪台网关的服务。设备先问它,再去连网关。在术语表里查看,它按各台网关的负载回一个地址。

哪些放进网关,哪些不放,标准只有一个:会不会常改。

放进网关 不放
TLS、拆帧(第 2 章、旁支“拆包与组帧”) 去重、取 seq(第 4、5 章)
心跳,发现死掉的连接(第 23 章) 群成员、谁能发给谁(业务层)
检查登录令牌(第 25 章) 消息类型、消息内容
连得太快时排队(第 24 章) 会话记录、未读数
在路由表里登记、注销;连接断开时告诉后面

左边几年也改不了几次;右边一周改两次。只要右边一样也不进网关,加一种消息类型就不用发布网关。网关自己还是要发布(修它自己的 bug、升级 TLS 库),只是少得多。假设一个月一次:每月因发布而起的重连,从约 860 万次(一个月约 4.3 周,每周 200 万)降到 100 万次(网关发布一次,100 万条连接各断一次)。

4. 推送要找人:在线路由表

网关一多,就有两种往下发的东西,找连接的方式不一样:

  • 回复:Ana 发消息,确认要回给她。请求是从哪条连接进来的,网关记着,回复原路返回,不用查任何表。
  • 推送:Ben 什么也没问,服务端主动找他。这要知道他的每台设备连在哪台网关。

所以多一张表,在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看:

人、设备 → 网关、连接号、连上的时间

设备连上时,网关写一行(有旧的就覆盖);断开时删掉。分发层推送前,按人查一次,就拿到他在线的每台设备和各自的网关,再把帧交给那几台网关。查不到,就当他不在线,走系统推送(第 17 章)。

这张表不大,但很忙:

  • 大小:100 万行,每行按 64 字节算,约 64 MB。
  • 写:每次打开 App 连一次、退出断一次,各写一次,高峰每秒约 13,900 次。
  • 读:一条消息到几个人就查几次。高峰每秒 13,900 条,每条平均到 6.67 人(每条到 10 台设备,每人平均 1.5 台,第 6 章),约 92,700 次,假设一台缓存节点每秒能查 100 万次(流水线批量查询),是它能力的 9% 左右。

5. 一件要做对的事:删之前核对连接号

断开时删掉这一行,听起来简单。看 Ben 的手机:

时间 发生了什么 表里 Ben 的手机
19:00 在家里的 Wi-Fi 上连到网关 3,连接 c1 网关 3,c1
19:05 出门,Wi-Fi 悄悄断了;手机换到 4G,连到网关 7,连接 c2 网关 7,c2
19:17 网关 3 在 c1 上 12 分钟没收到任何东西(3 个心跳周期,第 23 章),关掉 c1,按设备删掉这一行 没有了

手机明明连在网关 7 上,表里却查不到它。之后发给 Ben 的消息都不推了,要等他下次重连、同步时才看到。旧连接死得悄无声息,网关要过十几分钟才发现,正好让晚到的删除,删掉了新的那一行。

办法是删除时带上连接号:这一行还是 c1,才删。

DELETE FROM online_routes WHERE device = 'ben-phone' AND conn = 'c1'

19:17 那次删除什么也不改,网关 7 的那一行留着。用缓存存这张表时也一样:比较和删除要一步完成。要是分两步,先读出“还是 c1”,再删,网关 7 正好在这两步之间写入 c2,删掉的就是 c2。

网关整台挂掉时,它的 5 万行也一起失效。往那台推送会失败;这些设备很快会连到别的网关,覆盖自己那一行(第 24 章);不再回来的,推送失败一次就当离线处理。

6. 算一下

  • 一台装不下:100 万条连接 × 30 KB = 30 GB,一台网关给连接留 16 GB;高峰每秒 139,000 次推送,一台推 50,000 次,光推送就要 2.8 台。假设每台平时放 5 万条,要 20 台网关(第 22 章再算这个数:两个可用区各 10 台,坏一个区时剩下的每台 10 万条)。
  • 发布:拆之前每周 200 万次重连;拆之后逻辑发布一次也不断,网关一个月发布一次,每月 100 万次。
  • 多一跳:网关到逻辑在机房里,一个来回按 0.5 毫秒算;手机到网关是 200 毫秒,只多 0.25%。

7. 代价

  • 多一跳,多一个服务。 帧要在网关和逻辑之间再走一次网络,中间也会超时;路由表每次推送都要读,它慢了,推送就慢。
  • 表会过时。 网关挂掉、连接悄悄断掉时,表里的行要过一阵才对;删除必须核对连接号。
  • 网关发布还是会断线。 少了,但没有消失。网关怎样先把连接慢慢迁走再重启,是第 35 章的事。

8. 其他答案

  • 一层长连接给很多业务共用,不懂任何业务。 百度公开过这样一个统一长连接服务(百度Geek说,glstr,“千万级高性能长连接Go服务架构实践”,即时通讯网转载):接入层管连接;路由层记“设备标识 → 连接标识”,业务指定设备推送;下行支持单播、批量单播、广播。文章总结的经验里有一句:“坚持长连接服务不深入介入业务逻辑这个原则”。
  • 网关按频道订阅。 Slack 的网关服务器记着每个连接订阅了哪些频道;消息先到按一致性哈希分好的频道服务器,再发给所有订阅了这个频道的网关(Real-time Messaging)。网关要知道频道,不再只是“设备 → 连接”。
  • 不要路由表,发给每一台。 Socket.IO 的 Redis 适配器:发给一群人的包,先发本机的连接,再发布到 Redis,别的服务器都收到,各自发给自己身上对得上的连接(Redis adapter)。台数少时最省事;按第 22 章两个可用区共 20 台网关,每条消息都要发给 20 台,每秒 278,000 帧,而且每台网关都得知道每个群有谁。
  • 热升级。 发布网关时,把打开的连接交给新进程,一条也不断。省掉重连,代价是这段代码很难写对。

9. 这一章的决定

在线路由表知道每台设备连在哪。那它是不是也该告诉 Ana:Ben 现在在线?告诉谁、告诉多少人,下一章:在线状态。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。