深入理解 IM 系统

第 41 章

直播间

一场直播,100 万人在同一个房间里,每秒进出几千人,屏幕上只放得下十几条弹幕。主线的群扛得住吗?扛不住,该改哪里?

这一章是初稿:作者还在逐章校对,内容和数字可能会改。

晚上 8 点,一场发布会开播。100 万人进了同一个直播间,这正好是 v3 高峰时整个 App 的在线人数。屏幕下方滚着弹幕:有人问价格,有人刷“来了”,有人送了一个火箭。

主线的徒步群有 500 人,每条都要送到,回来要能补齐。直播间反过来:

徒步群 直播间
人数 500 100 万
进出 一天几次 每秒几千次
每条都要送到 要 不要,丢一些没关系
晚到 晚几秒也要送到 晚了就没用:画面已经往前走了
未读、已读、历史 要 不要;新来的看一眼最近一屏就够

这一章的问题:同样是“一条消息发给很多人”,主线的群在 100 万人面前哪里扛不住,要改哪里?

公开资料里,“百度直播消息服务架构实践”(百度Geek说,2021;即时通讯网的转载)把目标说得最清楚:每个房间每秒不超过 N 条,在 S 秒内送到百万观众,N ≤ 20,S ≤ 2。它还说,一屏一般不超过 10–20 条,每秒超过 20 条,屏幕就一直在刷。这一章的数字取和它同样的量级。

1. 照主线的群,走一遍

主线发一条群消息(第 32 章的路),对每一位收件人要做这几步:

  1. 发给谁:第 N 条发给成员区间成员区间membership range一个人在一个群里能看的那一段 seq:min_seq 是第一条,max_seq 是最后一条(还在群里就不设)。入群和退群像消息一样占会话的一个 seq,所以每条消息该发给谁、谁能翻到哪条历史,都按这一段算,和什么时候去算无关。全群也有一对:max_seq 是最新 seq,min_seq 以下谁都看不到(第 12 章)。在术语表里查看含 N 的人(第 12 章)。
  2. 会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看:给每个成员改一行,贴上新版本号(第 11 章)。
  3. 查在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看:这个人的设备连在哪台网关(第 20 章)。
  4. 推送:每台设备推一份(第 2 章)。
  5. 拉:设备发现跳了号,来拉缺的那几条(第 5 章)。
  6. 读到哪:看着的会话,最多一秒报一次(第 14 章)。

房间里每秒只有 1 条消息时,每一步都是每秒 100 万次。可热门房间每秒有 100 条:聊天、礼物、“某某进来了”、点赞。前四步每条消息都要做,于是:

每秒 100 条 × 100 万人 = 每一步每秒 1 亿次,是 v3 全站高峰投递(每秒 139,000 次)的 719 倍

  • 会话记录:每秒 1 亿个小事务,每个写两行(第 11 章),共 2 亿行;按一台存储每秒写 2 万行,要 10,000 台。
  • 在线路由表:每秒 1 亿次查询,是第 32 章全站高峰(每秒 92,700 次)的 1,079 倍。
  • 推送:按每台网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看每秒推 5 万次,要 2,000 台。

进出更糟。第 12 章定过:进群、退群也取一个 seq序号(seq)会话里每条消息的编号,由负责这个会话的消息服务连续分配。它决定会话里的顺序,也让客户端发现缺了哪一条;手机回来时,也按它判断哪个会话落后了。在术语表里查看,是一条发给全群的系统消息。假设每秒进 2,000、出 2,000(百度的文章说,单个房间进入的峰值不超过每秒 2 万,退出也不超过 2 万),就是每秒 4,000 条消息,每条送给 100 万人:每秒 40 亿次,是房间里真正聊天量的 40 倍。

这些步骤在徒步群里每一步都有用;只是直播间是另一种产品。

2. 先扔掉不需要的

直播间不需要其中三样:

  • 读到哪:没有未读数,也没人关心谁读了。
  • 补洞的拉:丢了就丢了。主线的手机一发现跳号就去拉;直播间本来就允许丢(第 6 节还要主动丢掉大部分),100 万台手机每秒都会跳号,就是每秒 100 万次拉取。
  • 会话记录:直播间不进会话列表,退出就结束。

公开的产品也是这样取舍的:腾讯云 IM 的“直播群”不限人数,不支持未读计数,不存历史消息,默认只收在线推送(群组系统);进群、退群的通知照样下发,但不存漫游。这一章里,进出也不再取 seq、不再存下来;“某某进来了”至多是一条丢了也无妨的提示。

剩下三步:谁在房间里、他连在哪、推给他。百度的文章也数出六步、扔掉三步,留下的正是这三步(它的六步里多一步“查用户有哪些设备”,我们的路由表一次就查到;我们多一步会话记录)。

可这三步每秒还是 1 亿次,得换个做法。

3. 扇出搬进网关

把一条消息复制成很多份、送给很多人,叫扇出。主线的扇出在网关后面做:分发层(网关后面负责投递的那层服务)一个个找人、一个个推。

注意三步里的一件事:查“谁在房间里”和“连在哪”,最后都是为了找到一条条连接。而这些连接本来就在网关上。

那就让网关自己记:一个房间,就是每台网关上的一组连接。

  • 进房间:手机在自己的连接上发一帧“进房间 R”。网关把这条连接放进自己的“R 的连接组”。如果这是这台网关上 R 的第一个观众,它告诉房间路由房间路由room router直播间用的路由:每个房间只记哪几台网关上有观众,不记每个人。房间的消息交给它,它给这几台网关各发一帧,每台再推给自己连接组里的观众。在术语表里查看:“我这里有 R 的观众。”
  • 出房间、断线:网关把连接从组里拿掉;组空了,再告诉房间路由。断线重连以后,手机要重新进一次房间。
  • 发消息:房间的消息服务器(每个会话一个主人,第 28 章)把消息交给房间路由;路由只记着“哪几台网关有 R 的观众”;v3 一共 20 台网关(第 22 章),最多 20 帧;每台网关推给自己组里的连接。

100 万观众分在这 20 台网关上,每台 5 万。网关后面不再有任何“每个观众一份”的东西:

  • 每条消息,网关后面只发 20 帧,每秒 100 条就是 2,000 帧;
  • 不查在线路由表,不改会话记录;
  • 每秒 2,000 人进房间,路由几乎不动:只有一台网关上第一个人进来、最后一个人离开时才改。

百度的文章把这叫作组播(mcast):组的成员关系不另外存,就维护在每个长连接实例上;组播的路由是一组长连接实例。它的文章里,每次进组都经过业务层,由业务层更新组播路由和那台实例上的连接列表;“只在网关上第一个人进来、最后一个人离开时才改路由”是这一章的写法。Twitch 公开的架构也是这个方向,见第 11 节。

可还有一处没变:每台网关,每条消息要推 5 万次。 每秒 100 条,就是每秒 500 万次,是它推送能力的 100 倍。全部加起来还是每秒 1 亿次,要 2,000 台网关。扇出搬了地方,次数没有少。

4. 一秒打一个包

观众不在乎每条消息是不是单独到的。那就把一秒内的消息打成一个包打包batching直播间里,把一秒内的消息打成一个包,每个连接每秒只推一次,再压缩。推送次数不再随房间里的消息数涨,代价是每条消息平均多等半秒。在术语表里查看,每个连接每秒只推一次:

推送:每秒 1 亿次 → 每秒 100 万次。100 万 ÷ 每台每秒 5 万 = 20 台网关

代价是晚:一条消息平均要在包里等半秒,最多等 1 秒(demo.py 用 10 万条消息模拟:平均 0.50 秒,99% 在 0.99 秒以内)。离 2 秒的目标还有余量。

20 台是刚好推满,没有余量。真办这样一场,要按八成算,配 25 台;热门直播前多半要提前扩容。

还有些消息等不了半秒,比如“直播结束”。可以让它立刻单独发一个包。但要知道价钱:每多发一个包,每台网关就多推 5 万次,正好是它一整秒的推送能力。所以立刻发的只能是很少的几种。

5. 字节:压缩,再限速

次数解决了,还有字节。直播间的一条消息比聊天消息大得多:要带发送者的昵称、头像、等级、勋章,礼物还带特效参数。百度的文章按平均 2 KB 算,主线的聊天消息只有 200 字节。这一章改用 2 KB。

一台网关,每秒把 100 条都推给 5 万人:

5 万 × 100 条 × 2 KB × 8 = 80 Gbit/s

一块网卡是 10 Gbit/s。打成包以后,同一秒里的消息字段名、格式都很像,压缩得好。百度实测的压缩比是 6.7 : 1,压到原来的 15% 左右。在哪里压,是这一章自己的安排:同一个包要发给这台网关上的 5 万人,在应用层压一次,把压好的字节发出去就行;要是用 WebSocket 自带的压缩,每条连接各压各的,就是 5 万次。可 80 的 15% 还是 12 Gbit/s,仍然超过网卡。

所以还要限速:每个观众每秒最多 20 条。 屏幕只放得下这么多,再多也看不清。

5 万 × 20 条 × 2 KB × 8 = 16 Gbit/s,压缩后 2.4 Gbit/s,是网卡的 24%

手机这边:每秒 20 条,压缩后每秒 6 KB(48 kbit/s),看一小时 21.6 MB;不限速是 108 MB。

6. 留下哪 20 条:优先级

每秒来 100 条,每个观众只发 20 条。挑哪些,按优先级:

  1. 控制消息:直播结束、切换画面、某人被禁言。少,而且必须到。
  2. 礼物:花了钱的,大家都想看见。
  3. 主播和管理员说的话。
  4. 普通聊天。
  5. “某某进来了”、点赞:最多,最不要紧。每秒 2,000 人进房间,全显示出来是 100 屏;只挑几条,点赞合成一个数。

假设每秒 5 个礼物,全部留下;剩下的 95 条里挑 15 条,一个观众每秒看到别人说的话的 16%,大约六条里一条。他自己发的那条总能看到:手机发出去时就先显示在自己屏幕上。

这就是第 34 章“其他答案”里腾讯云 IM 的做法:超了就丢,不告诉发的人。主线没这样选:徒步群里,Ana 会以为自己的话发出去了。直播间里,少看到一条别人的“来了”,没人在意。

7. 礼物走另一条可靠的路

礼物不一样。送礼的人花了钱,主播要马上看到、马上感谢。普通观众少看到一个礼物特效没关系,主播少看到一个就是事故。

所以礼物分两份:

  • 给所有观众的那份,跟着上面的包走,优先级高,可还是可能丢。
  • 给主播的那份,走主线的老办法:存下来、带 seq,推给主播;主播的 App 发现跳号就拉(第 5 章)。连接坏了,就用普通的 HTTP 请求定时来拉。收件人只有一个,每秒 5 个礼物就是每秒 5 次写,主线的做法毫无压力。

礼物本身是一笔订单,先由业务的支付系统记下来;消息只是通知。百度的文章说,他们给礼物开了一条独立的可靠组播通道,主播端推拉结合,礼物消息的触达率在 99.9% 以上。微信的直播聊天室遇到的是同一个问题:连麦信令丢了,连麦就用不了;大礼物的动画丢了,会有投诉。于是给重要消息打上优先级标记,客户端先收重要的(微信直播聊天室)。

8. 房间信箱:新来的人看到什么

刚进房间的人,屏幕不能是空的,要看到最近一屏。每秒 2,000 人进来,每人要最近 20 条:

2,000 × 20 条 × 2 KB = 每秒 80 MB,压缩后 12 MB,而且全是同样的 20 条

所以给每个房间一个信箱:按时间排着最近的消息,要留下的(聊天、礼物)都写进去,可以按条数、按时间往前翻。百度的文章也是这样做的:每个组播开一个公共信箱(mcast-mbox),用户消息和要持久化的消息都写进去,按时间区间和条数拉历史。最近一屏放在内存里,是这一章加的。

这一章再省一步:每台网关本来就收到房间的每一个包,让它自己留着最近 20 条。每台网关每秒只有 100 人进来(2,000 ÷ 20),进房间时直接回给他,一次也不用问后面。

9. 主线的决定:留下、改掉、扔掉

主线的决定 直播间
网关只管连接,不懂业务(第 20 章) 改:网关多记一样东西,每个房间的连接组
在线路由表,按人和设备找网关(第 20 章) 改:房间路由只记“哪几台网关有观众”
账号和令牌(第 25 章) 留:没登录的观众用游客身份,只能看这个房间
心跳(第 23 章) 改:百度的文章说,进组播以后改用间隔更短、服务端可调的心跳,好早点发现断线、重连、重进房间
每个会话一个主人(第 28 章) 留:房间的主人负责打包、限速、挑优先级
seq 和补洞(第 5 章) 扔,只留给礼物
会话记录、读到哪、离线推送(第 11、14、17 章) 扔
进退群是一条消息(第 12 章) 扔:进出只改网关上的连接组
限流(第 34 章) 改:每个观众每秒 20 条,超了按优先级丢,不告诉发的人

10. 代价

  • 网关懂了业务。 第 20 章说网关不懂业务、很少发布。现在它记着房间的连接组,还要打包、压缩。房间的规则尽量留在后面,网关只认“组”和“包”。
  • 晚半秒。 对直播合适,对聊天不合适。
  • 大部分消息没人看到。 热闹的时候,一个观众只看到别人发言的六分之一。
  • 断线就丢。 重连的那几秒里过去的消息,回来只能看到信箱里的最近一屏。
  • 人数是估的。 每台网关知道自己组里有几个,加起来要隔几秒;屏幕上的“100 万人在看”不是精确数。微信专门为在线人数和“多少人看过”做了一套统计。
  • 一个房间一个主人。 所有发言都经过一台消息服务器。按第 28 章每台每秒 5,000 条算,每秒几百条发言扛得住;再热,就要把收发言的入口也分开。
  • 两条路。 普通消息和礼物两套逻辑,要分别测、分别看。

11. 其他答案

  • 拉,而不是推。 微信的直播聊天室用读扩散读扩散read fan-out消息只在会话的时间线里存一份,每个人读的时候自己去取。写得少、读得多,适合大群。v1、v2 的消息都这样存(第 6、10 章);它要求会话由服务端建、设备去同步。在术语表里查看和长轮询:消息每个房间只存一份,手机来拉。它不用 WebSocket 推,理由是推会丢、要靠拉兜底,推还得精确维护每个时刻的在线列表。它的缓存只留最近 2,000 条;房间一直有消息时,每秒请求会很多,于是按在线人数调长收取间隔,400 万在线压测时请求降了 58%(微信直播聊天室)。
  • 分层的扇出。 Twitch 2015 年的工程概览说,聊天的 Edge 负责收发客户端的消息,Edge 和 Pubsub 组成一个分层的消息分发系统,做大规模扇出;另有一个服务汇总所有 Edge 上的房间成员(Twitch Engineering)。
  • 服务端告诉客户端多久来一次。 YouTube 直播聊天的接口,每次返回都带一个 pollingIntervalMillis,告诉客户端等多久再来;第一次请求只给最近的消息。它也提供一个保持连接、由服务端推的 streamList(liveChatMessages)。
  • 发给每一台服务器。 第 20 章的 Socket.IO Redis 适配器:不记哪台有观众,每条消息发给所有服务器。台数少时最省事。
  • 按群固定一个上限。 腾讯云 IM 每个群每秒 40 条,超了先送高优先级的,其余不下发(第 34 章)。

延伸阅读:作者的文章 Group Chat vs. Live Stream Messaging: A Comparison(英文),把群聊和直播消息逐项对比。

12. 这一章的决定

直播间把“每条都要送到”换成了“够快就好”。下一章反过来:隐私通讯要的是服务端知道得越少越好,连消息内容都看不到。

评论

评论存在 GitHub Discussions,需要 GitHub 账号。