# 第 41 章：直播间

> 一场直播，100 万人在同一个房间里，每秒进出几千人，屏幕上只放得下十几条弹幕。主线的群扛得住吗？扛不住，该改哪里？

深入理解 IM 系统 · https://im.liko.page/zh/live-rooms/

晚上 8 点，一场发布会开播。100 万人进了同一个直播间，这正好是 v3 高峰时整个 App 的在线人数。屏幕下方滚着弹幕：有人问价格，有人刷“来了”，有人送了一个火箭。

主线的徒步群有 500 人，每条都要送到，回来要能补齐。直播间反过来：

| | 徒步群 | 直播间 |
|---|---|---|
| 人数 | 500 | 100 万 |
| 进出 | 一天几次 | 每秒几千次 |
| 每条都要送到 | 要 | 不要，丢一些没关系 |
| 晚到 | 晚几秒也要送到 | 晚了就没用：画面已经往前走了 |
| 未读、已读、历史 | 要 | 不要；新来的看一眼最近一屏就够 |

这一章的问题：**同样是“一条消息发给很多人”，主线的群在 100 万人面前哪里扛不住，要改哪里？**

公开资料里，“百度直播消息服务架构实践”（百度Geek说，2021；[即时通讯网的转载](http://www.52im.net/thread-3515-1-1.html)）把目标说得最清楚：每个房间每秒不超过 N 条，在 S 秒内送到百万观众，N ≤ 20，S ≤ 2。它还说，一屏一般不超过 10–20 条，每秒超过 20 条，屏幕就一直在刷。这一章的数字取和它同样的量级。

## 1. 照主线的群，走一遍

主线发一条群消息（第 32 章的路），对每一位收件人要做这几步：

1. **发给谁**：第 N 条发给成员区间含 N 的人（第 12 章）。
2. **会话记录**：给每个成员改一行，贴上新版本号（第 11 章）。
3. **查在线路由表**：这个人的设备连在哪台网关（第 20 章）。
4. **推送**：每台设备推一份（第 2 章）。
5. **拉**：设备发现跳了号，来拉缺的那几条（第 5 章）。
6. **读到哪**：看着的会话，最多一秒报一次（第 14 章）。

房间里每秒只有 1 条消息时，每一步都是每秒 100 万次。可热门房间每秒有 100 条：聊天、礼物、“某某进来了”、点赞。前四步每条消息都要做，于是：

> 每秒 100 条 × 100 万人 = 每一步**每秒 1 亿次**，是 v3 全站高峰投递（每秒 139,000 次）的 719 倍

- 会话记录：每秒 1 亿个小事务，每个写两行（第 11 章），共 2 亿行；按一台存储每秒写 2 万行，要 10,000 台。
- 在线路由表：每秒 1 亿次查询，是第 32 章全站高峰（每秒 92,700 次）的 1,079 倍。
- 推送：按每台网关每秒推 5 万次，要 2,000 台。

进出更糟。第 12 章定过：进群、退群也取一个 seq，是一条发给全群的系统消息。假设每秒进 2,000、出 2,000（百度的文章说，单个房间进入的峰值不超过每秒 2 万，退出也不超过 2 万），就是每秒 4,000 条消息，每条送给 100 万人：每秒 40 亿次，是房间里真正聊天量的 40 倍。

这些步骤在徒步群里每一步都有用；只是直播间是另一种产品。

## 2. 先扔掉不需要的

直播间不需要其中三样：

- **读到哪**：没有未读数，也没人关心谁读了。
- **补洞的拉**：丢了就丢了。主线的手机一发现跳号就去拉；直播间本来就允许丢（第 6 节还要主动丢掉大部分），100 万台手机每秒都会跳号，就是每秒 100 万次拉取。
- **会话记录**：直播间不进会话列表，退出就结束。

公开的产品也是这样取舍的：腾讯云 IM 的“直播群”不限人数，不支持未读计数，不存历史消息，默认只收在线推送（[群组系统](https://cloud.tencent.com/document/product/269/1502)）；进群、退群的通知照样下发，但不存漫游。这一章里，进出也不再取 seq、不再存下来；“某某进来了”至多是一条丢了也无妨的提示。

剩下三步：**谁在房间里、他连在哪、推给他**。百度的文章也数出六步、扔掉三步，留下的正是这三步（它的六步里多一步“查用户有哪些设备”，我们的路由表一次就查到；我们多一步会话记录）。

可这三步每秒还是 1 亿次，得换个做法。

## 3. 扇出搬进网关

把一条消息复制成很多份、送给很多人，叫**扇出**。主线的扇出在网关后面做：分发层（网关后面负责投递的那层服务）一个个找人、一个个推。

注意三步里的一件事：查“谁在房间里”和“连在哪”，最后都是为了找到一条条连接。而这些连接本来就在网关上。

那就让网关自己记：**一个房间，就是每台网关上的一组连接。**

- **进房间**：手机在自己的连接上发一帧“进房间 R”。网关把这条连接放进自己的“R 的连接组”。如果这是这台网关上 R 的第一个观众，它告诉**房间路由**：“我这里有 R 的观众。”
- **出房间、断线**：网关把连接从组里拿掉；组空了，再告诉房间路由。断线重连以后，手机要重新进一次房间。
- **发消息**：房间的消息服务器（每个会话一个主人，第 28 章）把消息交给房间路由；路由只记着“哪几台网关有 R 的观众”；v3 一共 20 台网关（第 22 章），最多 20 帧；每台网关推给自己组里的连接。

100 万观众分在这 20 台网关上，每台 5 万。网关后面不再有任何“每个观众一份”的东西：

- 每条消息，网关后面只发 20 帧，每秒 100 条就是 2,000 帧；
- 不查在线路由表，不改会话记录；
- 每秒 2,000 人进房间，路由几乎不动：只有一台网关上第一个人进来、最后一个人离开时才改。

百度的文章把这叫作组播（mcast）：组的成员关系不另外存，就维护在每个长连接实例上；组播的路由是一组长连接实例。它的文章里，每次进组都经过业务层，由业务层更新组播路由和那台实例上的连接列表；“只在网关上第一个人进来、最后一个人离开时才改路由”是这一章的写法。Twitch 公开的架构也是这个方向，见第 11 节。

可还有一处没变：**每台网关，每条消息要推 5 万次。** 每秒 100 条，就是每秒 500 万次，是它推送能力的 100 倍。全部加起来还是每秒 1 亿次，要 2,000 台网关。扇出搬了地方，次数没有少。

## 4. 一秒打一个包

观众不在乎每条消息是不是单独到的。那就把一秒内的消息打成一个包，每个连接每秒只推一次：

> 推送：每秒 1 亿次 → **每秒 100 万次**。100 万 ÷ 每台每秒 5 万 = **20 台网关**

代价是晚：一条消息平均要在包里等半秒，最多等 1 秒（demo.py 用 10 万条消息模拟：平均 0.50 秒，99% 在 0.99 秒以内）。离 2 秒的目标还有余量。

20 台是刚好推满，没有余量。真办这样一场，要按八成算，配 25 台；热门直播前多半要提前扩容。

还有些消息等不了半秒，比如“直播结束”。可以让它立刻单独发一个包。但要知道价钱：每多发一个包，每台网关就多推 5 万次，正好是它一整秒的推送能力。所以立刻发的只能是很少的几种。

## 5. 字节：压缩，再限速

次数解决了，还有字节。直播间的一条消息比聊天消息大得多：要带发送者的昵称、头像、等级、勋章，礼物还带特效参数。百度的文章按平均 2 KB 算，主线的聊天消息只有 200 字节。这一章改用 2 KB。

一台网关，每秒把 100 条都推给 5 万人：

> 5 万 × 100 条 × 2 KB × 8 = **80 Gbit/s**

一块网卡是 10 Gbit/s。打成包以后，同一秒里的消息字段名、格式都很像，压缩得好。百度实测的压缩比是 6.7 : 1，压到原来的 15% 左右。在哪里压，是这一章自己的安排：同一个包要发给这台网关上的 5 万人，在应用层压一次，把压好的字节发出去就行；要是用 WebSocket 自带的压缩，每条连接各压各的，就是 5 万次。可 80 的 15% 还是 12 Gbit/s，仍然超过网卡。

所以还要限速：**每个观众每秒最多 20 条。** 屏幕只放得下这么多，再多也看不清。

> 5 万 × 20 条 × 2 KB × 8 = 16 Gbit/s，压缩后 **2.4 Gbit/s**，是网卡的 24%

手机这边：每秒 20 条，压缩后每秒 6 KB（48 kbit/s），看一小时 21.6 MB；不限速是 108 MB。

## 6. 留下哪 20 条：优先级

每秒来 100 条，每个观众只发 20 条。挑哪些，按优先级：

1. **控制消息**：直播结束、切换画面、某人被禁言。少，而且必须到。
2. **礼物**：花了钱的，大家都想看见。
3. **主播和管理员说的话。**
4. **普通聊天。**
5. **“某某进来了”、点赞**：最多，最不要紧。每秒 2,000 人进房间，全显示出来是 100 屏；只挑几条，点赞合成一个数。

假设每秒 5 个礼物，全部留下；剩下的 95 条里挑 15 条，一个观众每秒看到别人说的话的 16%，大约六条里一条。他自己发的那条总能看到：手机发出去时就先显示在自己屏幕上。

这就是第 34 章“其他答案”里腾讯云 IM 的做法：超了就丢，不告诉发的人。主线没这样选：徒步群里，Ana 会以为自己的话发出去了。直播间里，少看到一条别人的“来了”，没人在意。

## 7. 礼物走另一条可靠的路

礼物不一样。送礼的人花了钱，主播要马上看到、马上感谢。普通观众少看到一个礼物特效没关系，主播少看到一个就是事故。

所以礼物分两份：

- **给所有观众的那份**，跟着上面的包走，优先级高，可还是可能丢。
- **给主播的那份**，走主线的老办法：存下来、带 seq，推给主播；主播的 App 发现跳号就拉（第 5 章）。连接坏了，就用普通的 HTTP 请求定时来拉。收件人只有一个，每秒 5 个礼物就是每秒 5 次写，主线的做法毫无压力。

礼物本身是一笔订单，先由业务的支付系统记下来；消息只是通知。百度的文章说，他们给礼物开了一条独立的可靠组播通道，主播端推拉结合，礼物消息的触达率在 99.9% 以上。微信的直播聊天室遇到的是同一个问题：连麦信令丢了，连麦就用不了；大礼物的动画丢了，会有投诉。于是给重要消息打上优先级标记，客户端先收重要的（[微信直播聊天室](http://www.52im.net/thread-3376-1-1.html)）。

## 8. 房间信箱：新来的人看到什么

刚进房间的人，屏幕不能是空的，要看到最近一屏。每秒 2,000 人进来，每人要最近 20 条：

> 2,000 × 20 条 × 2 KB = 每秒 80 MB，压缩后 12 MB，而且全是同样的 20 条

所以给每个房间一个**信箱**：按时间排着最近的消息，要留下的（聊天、礼物）都写进去，可以按条数、按时间往前翻。百度的文章也是这样做的：每个组播开一个公共信箱（mcast-mbox），用户消息和要持久化的消息都写进去，按时间区间和条数拉历史。最近一屏放在内存里，是这一章加的。

这一章再省一步：每台网关本来就收到房间的每一个包，让它自己留着最近 20 条。每台网关每秒只有 100 人进来（2,000 ÷ 20），进房间时直接回给他，一次也不用问后面。

## 9. 主线的决定：留下、改掉、扔掉

| 主线的决定 | 直播间 |
|---|---|
| 网关只管连接，不懂业务（第 20 章） | **改**：网关多记一样东西，每个房间的连接组 |
| 在线路由表，按人和设备找网关（第 20 章） | **改**：房间路由只记“哪几台网关有观众” |
| 账号和令牌（第 25 章） | **留**：没登录的观众用游客身份，只能看这个房间 |
| 心跳（第 23 章） | **改**：百度的文章说，进组播以后改用间隔更短、服务端可调的心跳，好早点发现断线、重连、重进房间 |
| 每个会话一个主人（第 28 章） | **留**：房间的主人负责打包、限速、挑优先级 |
| seq 和补洞（第 5 章） | **扔**，只留给礼物 |
| 会话记录、读到哪、离线推送（第 11、14、17 章） | **扔** |
| 进退群是一条消息（第 12 章） | **扔**：进出只改网关上的连接组 |
| 限流（第 34 章） | **改**：每个观众每秒 20 条，超了按优先级丢，不告诉发的人 |

## 10. 代价

- **网关懂了业务。** 第 20 章说网关不懂业务、很少发布。现在它记着房间的连接组，还要打包、压缩。房间的规则尽量留在后面，网关只认“组”和“包”。
- **晚半秒。** 对直播合适，对聊天不合适。
- **大部分消息没人看到。** 热闹的时候，一个观众只看到别人发言的六分之一。
- **断线就丢。** 重连的那几秒里过去的消息，回来只能看到信箱里的最近一屏。
- **人数是估的。** 每台网关知道自己组里有几个，加起来要隔几秒；屏幕上的“100 万人在看”不是精确数。微信专门为在线人数和“多少人看过”做了一套统计。
- **一个房间一个主人。** 所有发言都经过一台消息服务器。按第 28 章每台每秒 5,000 条算，每秒几百条发言扛得住；再热，就要把收发言的入口也分开。
- **两条路。** 普通消息和礼物两套逻辑，要分别测、分别看。

## 11. 其他答案

- **拉，而不是推。** 微信的直播聊天室用读扩散和长轮询：消息每个房间只存一份，手机来拉。它不用 WebSocket 推，理由是推会丢、要靠拉兜底，推还得精确维护每个时刻的在线列表。它的缓存只留最近 2,000 条；房间一直有消息时，每秒请求会很多，于是按在线人数调长收取间隔，400 万在线压测时请求降了 58%（[微信直播聊天室](http://www.52im.net/thread-3376-1-1.html)）。
- **分层的扇出。** Twitch 2015 年的工程概览说，聊天的 Edge 负责收发客户端的消息，Edge 和 Pubsub 组成一个分层的消息分发系统，做大规模扇出；另有一个服务汇总所有 Edge 上的房间成员（[Twitch Engineering](https://blog.twitch.tv/en/2015/12/18/twitch-engineering-an-introduction-and-overview-a23917b71a25)）。
- **服务端告诉客户端多久来一次。** YouTube 直播聊天的接口，每次返回都带一个 `pollingIntervalMillis`，告诉客户端等多久再来；第一次请求只给最近的消息。它也提供一个保持连接、由服务端推的 `streamList`（[liveChatMessages](https://developers.google.com/youtube/v3/live/docs/liveChatMessages/list)）。
- **发给每一台服务器。** 第 20 章的 Socket.IO Redis 适配器：不记哪台有观众，每条消息发给所有服务器。台数少时最省事。
- **按群固定一个上限。** 腾讯云 IM 每个群每秒 40 条，超了先送高优先级的，其余不下发（第 34 章）。

延伸阅读：作者的文章 [Group Chat vs. Live Stream Messaging: A Comparison](https://blog.liko.page/2024/07/11/Group-Chat-vs-Live-Stream-Messaging-A-Comparison/)（英文），把群聊和直播消息逐项对比。

## 12. 这一章的决定

**决策卡**

- 问题：100 万人在一个房间，每秒 100 条消息、几千人进出。主线的群每条消息要对每个人做六步，前四步每步每秒 1 亿次；进出也是消息，每秒 40 亿次投递。
- 选择：扔掉读到哪、补洞和会话记录；把扇出搬进网关：每台网关记着房间里自己的连接，房间路由只记哪几台网关有观众。房间的主人一秒打一个包，每个观众每秒最多 20 条，按优先级挑，压缩后推出去。礼物另走一条带 seq 的可靠路给主播；房间信箱给新来的人最近一屏。
- 代价：网关懂了房间；平均晚 0.5 秒；热闹时观众只看到六分之一的发言；断线期间的消息丢了；人数是估的；一个房间一个主人；两套消息路径。
- 什么时候重新考虑：一个房间的发言多到一台消息服务器收不过来时；直播间要有回放、要能搜聊天记录时；同一套长连接也服务群聊和推送时（第 44 章）。
- 其他答案：读扩散加长轮询、按在线人数调间隔（微信直播聊天室）；Edge 加 Pubsub 的分层扇出（Twitch）；服务端给出轮询间隔（YouTube 直播聊天）；发给每一台服务器（Socket.IO）；每群固定上限（腾讯云 IM）。

直播间把“每条都要送到”换成了“够快就好”。下一章反过来：隐私通讯要的是服务端知道得越少越好，连消息内容都看不到。
