深入理解 IM 系统

第 32 章

v3:百万在线

一百万台设备同时在线,每一层要几台机器?一台网关突然挂了,会发生什么?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

v3 开始时,App 有 1,000 万日活用户,高峰 100 万人在线,每秒 13,900 条消息。v2 的做法是一台服务器装下所有连接和所有逻辑:它装不下 100 万条连接,而且每发布一次,所有人都掉线(第 20 章)。

这一章不做新的决定。它做四件事:画出 v3 的全图,跟着一条消息走一遍;把十二个决定放进一张表;按层把账从 v2 重算到 v3;最后让一台网关挂掉,看整个系统怎么接住。

1. v3 的全图

和 v2 比,服务器从一台主要变成了五类:

  • 网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看:只管连接、心跳、鉴权和转发帧,不懂消息(第 20、22–25 章)。
  • 在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看:每台在线设备连在哪台网关、哪条连接上(第 20 章)。
  • 消息服务器:每个会话归一台,认重复、取 seq(第 28 章)。
  • 消息日志消息日志message log持久化、只追加的队列,收和发之间的交接点。消息写进去才算收下,服务端这时回 ACK。通常建在消息队列上,比如一个按会话分区的主题。在术语表里查看:写进去就回确认,后面的消费者各追各的(第 29 章)。
  • 存储:消息、会话记录、读到哪。

Ana 在徒步群里发“周六几点集合”,走的路是:

  1. Ana 的手机连在 7 号网关上;消息从这里进来。
  2. 网关按会话 ID 找到徒步群的消息服务器,把帧转过去。
  3. 消息服务器认重复、取 seq 4,823,追加到日志,回确认。
  4. 日志后面:最近消息缓存先写下这条,更新最新 seq;推送去在线路由表查每个成员的设备在哪台网关,推过去;会话记录给 500 个成员各改一行;存储慢一点写进去。
  5. Ben 的手机连在 12 号网关上,收到 4,823。

2. v3 的十二个决定

章 决定 代价 什么时候重新考虑
20 拆出网关 网关只持有连接、转发帧,不懂业务,很少发布;逻辑在后面自己部署;推送按在线路由表(设备 → 网关、连接号)找网关,删表项时核对连接号 多一跳;路由表每次推送都要读(高峰每秒约 92,700 次);表会过时;网关自己发布仍会断线 网关重启(第 24 章);不断线的发布(第 35 章)
21 在线状态 只告诉正在看的人:设备把屏幕上的人整份报上,变了才推;订阅跟着连接,重连时重发;下线先等一会儿再算 每次换屏幕发一份名单(高峰每秒约 27,800 份);下线显示得晚 办公 IM 整个名单的状态(第 39 章)
22 百万连接 在第 22 章假设的机器上,每台网关最多 10 万条(由突发时的推送和一次重启断开多少人定,不是内存),平时 5 万条:两个可用区共 20 台;先不为省内存改代码 机器多、平时很闲;上限要自己量 推送能力上去、想把网关做大时
23 心跳 客户端 4 分钟没发过东西就发心跳,短于 NAT 的 5 分钟;10 秒没回就重连;网关 12 分钟听不到就关、删路由 死连接最长 12 分钟才被网关发现;NAT 超时是猜的 网络不同、间隔不同时
24 重连风暴 网关准入:握手最多排 5 秒的量,多的在 TLS 之前就关掉;被拒的手机退避加随机再来;第一次重连不打散 一个区停掉时最后一台要 43 秒;约 160 万次拒绝 计划内的重启先引走设备(第 35 章);丢机房(第 37 章)
25 账号 App 的服务端签 1 天的令牌,网关用公钥验,不调用任何人;IM 自己的用户 ID 加映射;吊销靠每人一个时间戳;游客用临时身份 私钥最要紧;令牌要续期;吊销只在连接时检查;注销要传到 IM 的历史 一个 IM 服务多个 App(第 44 章)
26 App 的生命周期 由系统事件驱动的连接状态机:去后台先告诉服务端、改走系统推送,再关连接;回前台连上就同步;网络一变马上重连 每次打开都建连和同步;规矩按平台、厂商变 新的系统版本改了后台规则时
27 网页端 整个浏览器是一台设备:一条连接、一个本地库,一个标签页领头;看得见才报已读;服务端发 ping;长轮询兜底 选领头的新代码;后台标签页靠不住时间;网页多半是另一套代码 网页是主要客户端的产品(第 39、43 章)
28 把会话分出去 每个会话一个主人,按一致性哈希环分;计数器和最近消息 ID 在主人内存里;交接靠租约,新主人接着最后的 seq 发 消息层有了状态,交接时停顿;多一个协调服务;热会话只在一台上;seq 可能有空号 一个群热到一台扛不住(第 40、41 章)
29 存储前的队列 写进按会话分区的日志就回确认;缓存、推送、会话记录、存储各自消费;先能取到再通知;换主人时从缓存接着数 多一套日志集群;确认时消息可能还不在存储里,高峰时会话记录落后几分钟;消费者要能重做 消息到底送到没有(第 33 章);存储变慢(第 36 章)
30 一套 SDK,多个平台 连接、发送、同步、本地数据库写成一个核心,编进每个原生 App;平台层只放离不开系统的 每个平台一次构建;每次调用跨边界;App 变大 网页端(第 27 章);端到端加密(第 42 章)
31 旧 App,新服务器 旧 App 不认识的照样存、显示后备文字;连接时报版本和能力;低于最低版本拒绝登录 协议背着旧东西好几年;服务器按版本分路径 发布时新旧版本同时在线(第 35 章)

按层看:连接层五章(20、22–25),消息层两章(28、29),分发层一章(21),客户端四章(26、27、30、31)。

3. v3 的账

两列用同一套假设:v2 是一台服务器、1 万人在线、高峰每秒 139 条消息;v3 是 100 万人在线、每秒 13,900 条。每条消息平均送到 10 台设备、6.67 个人。

服务器(高峰)

层 资源 v2 v3
网关 台数 1 台,和逻辑在一起 20 台,每台 5 万条连接;10 台就装得下,另一半留给一个可用区挂掉(第 22 章)
内存 1 万 × 30 KB = 0.3 GB 每条 30 KB,共 30 GB,每台 1.5 GB;不用为省内存改代码(第 22 章)
推送 每秒 1,390 次 每秒 139,000 次,每台 6,950,上限 5 万
心跳 每秒 42 次 每秒约 4,170 次,每台 208(第 23 章)
新连接(TLS 握手) 每秒 69 次 每秒约 6,940 次(每次打开连一次,第 26 章),每台 347,上限 2,000
网络 推送约 2.2 Mbit/s 每台约 11 Mbit/s,包量每秒约 14,000 个
发布 每次发布 1 万人全掉线,一周 2 次 逻辑发布不断任何人;照 v2 的做法,一周会是 200 万次重连(第 20 章)
消息服务器 台数 同一台 每个会话一个主人,4 台:假设每台每秒 5,000 条,3 台够高峰,多 1 台备着坏;每台约 3,480 条(第 28 章)
seq 存储里每个会话一行计数器(第 5 章) 主人内存里发;换主人时从最近消息缓存接着数(第 28、29 章)
最近的消息 ID 32 秒约 4,400 个,142 KB(第 4 章) 5 分钟(含新年那一分钟)约 611 万个,196 MB,分在各台上(第 29 章)
在线路由表 条目 进程里的一张表,1 万条 100 万行 × 64 字节 = 64 MB(第 20 章)
写 每秒约 139 次(连上、断开) 每秒约 13,900 次
读 每秒 927 次(每条消息每个收件人查一次) 每秒约 92,700 次
消息日志 追加 没有(待办是消息事务里的一行) 每秒 13,900 条;新年那一分钟 46,300 条(第 29 章)
磁盘 — 每天 80 GB;留 3 天、存 3 份,720 GB
存储 写入(行/秒) 消息和计数器 278;会话记录 1,853;读到哪、单聊回执最多各 1,853。共约 5,800,一台的三成(第 19 章) 消息 13,900;会话记录约 185,000;读到哪、单聊回执最多各约 185,000。共约 57 万,约 28.5 台存储的写入能力,得分片
容量 文字每天 0.8 GB;会话记录 2,000 万行 × 51 字节,约 1 GB 文字每天 80 GB,一年 29 TB,存 3 份;会话记录 20 亿行,约 102 GB;照片每天 4 TB
同步 每秒 69 次,每次只读变了的记录(第 11 章) 每秒约 6,940 次

最大的一笔不在消息上,在会话记录和读到哪:每条消息要给 6.67 个人各改一行,每读一次又改一行,单聊还要改发的人那一行(第 15 章)。v3 存储的写入,九成多是这几样。这是 v2 选的“用写换读”(第 19 章)在 v3 规模下的账;成员上万的群不走这条路(第 40 章)。

Ben 的手机(一天)

资源 v2 v3
连接 每次打开连一次,20 次;每次发布再被断开一次,一周 2 次 每次打开连一次,20 次;逻辑发布不再断开;连接时带 token(第 25 章)和版本、能力,约 10 字节(第 31 章)
流量 每次同步约 500 字节:十几行变了的记录,每行 39 字节(第 19 章) 同上;屏幕上有谁,才订阅谁的在线状态(第 21 章)
电量 后台怎么办没有定 心跳只在前台,4 分钟没发过东西才发,一小时最多 15 次;整天在后台保持连接,就是 360 次、约 1 小时无线电(第 23 章),所以后台断开(第 26 章)
后台 靠系统推送叫醒(第 17 章) 同上;网络一变,约 2 秒就连回、同步完,而不是靠心跳,平均两分多钟才发现(第 26 章)
存储 本地数据库(第 7 章) 同上,外加 SDK 核心本身(第 30 章);不认识的消息按原样存着,升级后再显示(第 31 章)

一句话:v3 的服务器多出来的,大多是“把东西拆开”的代价:多一跳、多一张路由表、多一条日志、多一份缓存。手机几乎没有变重,变的是规则:什么时候连、什么时候断、不认识的怎么办。

4. 一台网关挂了

晚上 8 点,高峰。7 号网关所在的机器突然断电。

  1. 5 万台设备没了连接。 进程退出时,系统会替它关掉连接,手机马上知道;可这次是断电,什么也没发出来。手机要等下一次心跳没有回音才发现:最长 4 分钟,加上等回音的那几秒(第 23 章)。
  2. 这期间,推给它们的改走系统推送。 分发层按路由表把推送交给 7 号网关,每秒约 6,950 次,都失败了。按第 20 章,推送失败一次,就当这台设备离线,改发系统推送(第 17 章)。消息本身都在日志和存储里,晚的只是提醒。
  3. 它们发的消息还在发件箱里。 7 号网关上的设备每秒约发 695 条。刚发出、还没等到确认的,等重新连上后用同一个消息 ID 重发;其中已经进了日志的,消息服务器认出是重复,回原来的 seq(第 3、4 章)。
  4. 重连,自然就散开了。 发现断了的手机,先问接入调度接入调度locator告诉设备该连哪台网关的服务。设备先问它,再去连网关。在术语表里查看该连哪台。第一次重连不打散(第 24 章),可断电时每台手机是在自己下一次心跳才发现的,5 万台本来就散在 4 分钟里:5 万 ÷ 240 秒,每秒约 208 台,分给 19 台网关,每台每秒只多十来次握手。就算同时涌来,剩下 19 台各分到约 2,600 台,1.3 秒就握完,没到第 24 章准入的上限(每台排 1 万个),没人被拒。
  5. 验令牌,登记位置。 新网关在本地验签,不调用 App 的登录服务(第 25 章);把“这台设备 → 我、新的连接号”写进路由表,覆盖指向 7 号的旧行。
  6. 补齐。 每台设备带着记录版本同步一次,拿变了的会话记录,约 500 字节;跳了号的会话再补洞(第 5、11 章)。5 万台一共约 25 MB。
  7. 在线状态晚一点,但不闪。 断电时没人报“断开”,这 5 万人在联系人眼里一直是“在线”;几分钟内他们各自连回来,也就没有“下线”过(第 21 章)。真回不来的(比如正好没了网络),就多挂几分钟“在线”。

没有一条消息丢了,因为没有一样东西只存在网关上。代价是晚:断电的那几分钟里,这 5 万人只收到系统推送的提醒,回来以后才补上消息。

5. v3 之后

v3 做到了一件事:同一个产品,从 1 万人在线长到 100 万,而发布、扩容、坏一台机器,都不会让所有人掉线。

可“能跑”和“一直跑着”是两回事。100 万人同时在线,任何一次故障、发布、过载都有人看见。接下来的六章不再长新功能,只问系统健不健康:

  • 消息到底送到了没有:我们怎么知道(第 33 章);
  • 来的比扛得住的多时,先丢什么(第 34 章);
  • 网关自己发布,也不断开(第 35 章);
  • 存储慢了、系统推送挂了,慢怎么不扩散(第 36 章);
  • 丢掉一整个机房(第 37 章);
  • 演练和复盘(第 38 章)。

再往后,这套 v3 按产品分出去:办公 IM、万人社区、直播间、私密通讯、客服、IM 作为平台(第 39–44 章),每一章都从 v3 的决定出发,留下、改掉或者扔掉;最后一章把它们放在一张表里比(第 45 章)。

下一章,第 33 章:用户说“我的消息没收到”。它穿过了七跳,每台服务器的面板都是绿的。消息到底在哪?

评论

评论存在 GitHub Discussions,需要 GitHub 账号。