# 旁支 W3：TCP 还是 UDP

> TCP 上丢一个包，后面的消息全得等它。聊天会因此慢多少？什么时候该用 UDP 或 QUIC？

深入理解 IM 系统 · https://im.liko.page/zh/tcp-or-udp/

[第 22 章](/zh/million-connections/)把 100 万条 TCP 长连接放进了 20 台网关。常有人问：TCP 丢一个包，后面的数据全要等它，为什么不用 UDP，或者跑在 UDP 上的 QUIC？

[第 2 章](/zh/push-or-poll/)也在这里留了三件事：有的网络挡 UDP；QUIC 的连接迁移；WebSocket 跑在 HTTP/3 上。这篇旁支先算清楚 TCP 的这个毛病让聊天慢了多少，再看谁真的在用 UDP 和 QUIC，最后列出聊天连接要换过去得先准备什么。

先说两个词。**UDP** 只管把一个个数据报送出去，丢了不管，也不排顺序。**QUIC** 是跑在 UDP 上的传输协议，自己做重传、加密和拥塞控制，HTTP/3 就跑在它上面；它的一条连接里可以有很多条互不相干的**流**，每条流内部有顺序。

## 1. 一个丢包挡住后面所有的数据

TCP 保证字节按顺序交给应用。假设服务器给 Ben 连发了三条消息，第一条所在的包丢了，第二、三条的包已经到了手机。TCP 不能先把它们交上去，因为它只认“下一个该到的字节”。这两条只能在内核里等，等第一条重传到达，三条一起交出。这叫**队头阻塞**（head-of-line blocking）：排在队头的那个丢了，后面的都被堵住。

[旁支 W1](/zh/framing/) 说过“好几条消息挤在一次 read 里”，丢包后被堵住的几条一起交出，就是原因之一。

堵多久，取决于发送方多快发现丢了包。有两种发现方式：

- **后面的包作证**：后面又有 3 个包到了，接收方回的 TCP 确认（ACK，TCP 自己的，不是第 3 章服务端回的那个）都在说“我还缺那一个”，发送方就马上重传（快速重传）。要等的时间 = 再发 3 个包的时间 + 一个来回。
- **计时器**：后面没包了，就只能等重传计时器到点。[RFC 6298](https://www.rfc-editor.org/rfc/rfc6298) 说这个计时器最少 1 秒；Linux 把下限放到了 200 毫秒，实际约是一个来回再加 200 毫秒（内核源码里的 `TCP_RTO_MIN`）。按本系列手机网络的 200 毫秒来回，就是 **400 毫秒**。

重传的包又丢了，计时器再翻倍。

## 2. 算一下：聊天、直播间、通话

换个角度，盯住一个没丢的包看。在它之前不久发出的包里，只要有一个丢了、还没补上，它就得陪着等；“不久”有多久，就是上面算的那段“要等的时间”。这段时间里平均发出“每秒包数 × 要等的时间”个包，它们全都没丢的机会是 (1 − 丢包率) 的这么多次方。所以，被别人的丢包挡住的比例大约是：

```
1 − (1 − 丢包率) ^ (每秒包数 × 要等的时间)
```

拿三种流量来算，丢包率取两个：1%（一张还不错的手机网络，这里的假设）和 10%（本系列假设的差网络）。来回都是 200 毫秒。

- **Ben 的聊天**：v1 高峰每秒 1,390 次投递，分给 1 万个在线的人，每人每秒 0.139 条，**7.2 秒才一条**（v3 也一样：13.9 万次分给 100 万人）。等后面 3 个包要 21.6 秒，所以每次都是计时器先到：400 毫秒。这 400 毫秒里平均只发出 0.06 个包。
- **热闹的直播间**：假设每秒给每个观众推 20 条（这里的假设，每条单独一个包；第 41 章会把每人每秒限在 20 条，并把一秒的消息打成一批推，那时每秒只推一次，就更像聊天了）。后面 3 个包 150 毫秒就到了，再加一个来回，350 毫秒后重传（比计时器快），期间发出 7 个包。
- **语音通话**：每 20 毫秒一个音频包，每秒 50 个。后面 3 个包 60 毫秒，加一个来回，260 毫秒后重传，期间发出 13 个包。

demo.py 每种跑 20 万个包，结果和上面的公式大致对得上（直播间和通话略低于公式：自己也丢了的包，算作等自己，不算被别人挡）。表里“按顺序”是 TCP：自己的包丢了要等，别人的包丢了也要等；“各自”是每条消息单独交付（UDP，或每条消息一条 QUIC 流），只等自己的。“晚了多久”从不丢包时该到的时间算起：

| | 丢包 1%：被别人挡住 | 丢包 10%：被别人挡住 | 丢包 10%：最慢 1% 晚了多久（按顺序 / 各自） |
|---|---|---|---|
| Ben 的聊天 | 0.1% | 0.6% | 758 / 400 毫秒 |
| 直播间，每秒 20 条 | 6.5% | 49.3% | 1,349 / 400 毫秒 |
| 通话，每秒 50 个包 | 11.7% | 72.3% | 1,540 / 660 毫秒 |

三种流量里，被别人挡住的消息平均多等 0.14 到 0.31 秒。

**聊天这一行，什么也没坏。** 被别人挡住的不到 1%，多等的也就零点几秒，和自己的包丢了要等的 400 毫秒是一个量级。原因很简单：聊天太稀疏了，一个包丢了的时候，它后面几乎没有别的包。

**直播间**在差网络上有一半的消息被挡，而且一挡就是一串：屏幕停一下，然后几条一起蹦出来。

**通话**最怕晚。一个音频包晚到了，播放时间已经过了，就等于丢了。通话软件会留一小段缓冲，假设 100 毫秒，晚过这个就不要了：

- 走 TCP，丢包 1% 时有 **8.5%** 的音频晚过缓冲，10% 时是 67.9%，一个丢包变成一串卡顿；
- 走 UDP、丢了不补，只少 **1%**（或 10%），其余全部准时；少的那一点，解码器可以拿前后的声音补个大概。

所以实时音视频走 UDP：宁可丢，不能晚。

## 3. 谁在用 UDP 和 QUIC

**通话的音视频：UDP。** 浏览器和 App 里的通话大多用 WebRTC，媒体走 UDP。Discord 在 2018 年讲语音架构的[文章](https://discord.com/blog/how-discord-handles-two-and-half-million-concurrent-voice-users-using-webrtc)里，客户端和语音服务器之间交换的是 UDP 消息，而聊天、在线状态这些事件走另一条 WebSocket 连到网关。UDP 被挡的时候，WebRTC 可以经 TURN 中继服务器，用 TCP 或 TLS 绕过去（[RFC 8656](https://www.rfc-editor.org/rfc/rfc8656)），声音会差一些，但能通。

**App 的普通请求：越来越多走 QUIC。**

- Google 在 SIGCOMM 2017 的[论文](https://research.google/pubs/the-quic-transport-protocol-design-and-internet-scale-deployment/)里估计，当时 7% 的互联网流量是 QUIC；搜索的延迟在电脑上降了 8.0%、手机上降了 3.6%，YouTube 的卡顿率降了 18.0% 和 15.3%。
- Meta 在 2020 年[写道](https://engineering.fb.com/2020/10/21/networking-traffic/how-facebook-is-bringing-quic-to-billions/)，它超过 75% 的互联网流量走 QUIC 和 HTTP/3；Facebook App 的动态请求，和 HTTP/2 相比，出错少了 6%，尾部延迟低了 20%。

这些收益大多来自握手少一个来回、换网络不断连、丢包恢复更好，而不只是没有队头阻塞。

**聊天的长连接：公开资料里大多还是 TCP。** Discord 的网关是 WebSocket；Telegram 的 MTProto [列出的传输方式](https://core.telegram.org/mtproto/transports)是 TCP、WebSocket、HTTP 和 HTTPS，没有 UDP。

还要注意一点：**QUIC 只去掉流和流之间的队头阻塞。** 一条流里的数据仍然按顺序交付。要是所有聊天消息都放在一条流里，丢一个包，后面的照样等。要真正分开，得每个会话（或者每条消息）一条流。

## 4. 聊天连接要换到 QUIC，先备好四样东西

**一、UDP 被挡时，要有 TCP 的路。** 上面那篇 Google 论文里，2016 年的数据显示 4.4% 的客户端用不了 QUIC（UDP 被挡，或者路径的 MTU 太小，即一路上能通过的最大包装不下 QUIC 要求的 1,200 字节），大多在公司网络里，多半是防火墙挡的；另有 0.3% 的客户端所在的网络会给 UDP 限速。[RFC 9308](https://www.rfc-editor.org/rfc/rfc9308#section-2) 引的测量是 3% 到 5% 的网络挡掉所有 UDP，并且明说：用 QUIC 的应用要么接受在这些网络上连不上，要么准备退回别的协议。

放到 v3：100 万在线的 4.4%，就是 **4.4 万台手机**，每台网关 2,200 台，只能走 TCP。

那篇论文里，Chrome 的做法是两条一起试：同时连 QUIC 和 TLS/TCP，TCP 那条最多晚 300 毫秒才开始，谁先连上用谁。网关就得两套协议都跑、都测。

**二、负载均衡要按连接 ID 转发。** QUIC 不按“地址 + 端口”认连接，而按包里的**连接 ID**。手机从 Wi-Fi 换到 4G，地址变了，连接 ID 没变，连接可以接着用（[RFC 9000 第 9 节](https://www.rfc-editor.org/rfc/rfc9000.html#section-9)），这叫连接迁移。

可网关前面的四层负载均衡（只看 IP 地址和端口，不拆包里的内容），通常按地址和端口算哈希，决定把包交给哪台网关。地址一变，哈希就变。20 台网关，新地址落回原来那台的机会只有 1/20，**95% 的迁移会被送到一台不认识这条连接的网关**，迁移等于白做。

所以负载均衡得能读出连接 ID，按它转发：[RFC 9308 第 11.1 节](https://www.rfc-editor.org/rfc/rfc9308#section-11.1)要求部署保证包总被送到有这条连接状态的那台机器，办法之一是把路由信息编进连接 ID 里（IETF 的 [QUIC-LB 草案](https://datatracker.ietf.org/doc/draft-ietf-quic-load-balancers/)）。另外，QUIC 的第一版只有客户端能迁移。

**三、NAT 忘 UDP 忘得更快，心跳要更密。** [第 23 章](/zh/heartbeats/)按 NAT 5 分钟忘掉一条空闲 TCP 连接来算，每 4 分钟一次心跳。UDP 的标准本身就短一些：[RFC 4787](https://www.rfc-editor.org/rfc/rfc4787) 要求 NAT 的 UDP 映射（NAT 记下的“手机的地址和端口 ↔ 对外的端口”这条对应）至少保留 2 分钟，建议 5 分钟以上。实际更短：RFC 9308 引了 2010 年的一项研究，说 UDP 应用可以认为 NAT 记录**空闲 30 秒**就可能过期。

按 30 秒算，心跳每 25 秒一次（[RFC 8085](https://www.rfc-editor.org/rfc/rfc8085) 要求 UDP 的保活间隔不短于 15 秒）。推送能力按第 22 章的假设，一台网关每秒推 5 万次：

| | NAT 多久忘掉 | 心跳间隔 | 100 万条连接每秒心跳 | 每台网关（占推送能力） | 空闲手机一天无线电亮 |
|---|---|---|---|---|---|
| TCP（第 23 章） | 5 分钟 | 4 分钟 | 约 4,170 | 208（0.4%） | 1 小时 |
| UDP / QUIC | 30 秒 | 25 秒 | 40,000 | 2,000（4%） | 9.6 小时 |

服务端多出近 10 倍，还扛得住；手机的电量就是另一回事了。最后一列这样算（第 23 章：无线电每醒一次要亮约 10 秒）：一天 86,400 秒，4 分钟一次心跳是 360 次，亮 3,600 秒，1 小时；25 秒一次是 3,456 次，亮约 9.6 小时。

连接 ID 在这里也救不了推送。NAT 忘了这条映射以后，分两种情况：手机先发，NAT 给它新开一个端口，服务端看到的端口变了，但凭连接 ID 认得出是谁，连接接着用；服务端先发（来了一条新消息），它只知道旧的端口，包到了 NAT，NAT 已经不记得这个端口对应哪台手机，包就丢了。RFC 9308 第 3.2 节说的就是这一点：只有在超时后先开口的是对方时，连接 ID 才有用。

**四、网页那边，WebSocket 跑在 HTTP/3 上还很少见。** [RFC 9220](https://www.rfc-editor.org/rfc/rfc9220)（2022 年）规定了怎么在 HTTP/3 上开 WebSocket：一个 WebSocket 占一条 HTTP/3 流。所以就算用上了，所有消息还在一条流里，队头阻塞没变。浏览器的支持也有限：Chrome 在 2022 年 11 月发了“试做”的公告（[Intent to Prototype](https://groups.google.com/a/chromium.org/g/blink-dev/c/KOupRe29WhY)），写这篇时我没找到哪个主流浏览器默认开启了它。网页的聊天连接，眼下还是 TCP 上的 WebSocket。

## 5. 这一篇的决定

主线的聊天连接留在 TCP：App 是 TLS 上的自定义协议，网页是 WebSocket。理由是第 2 节的数：在聊天的流量下，队头阻塞只让不到 1% 的消息多等零点几秒；而换成 QUIC，要多跑一套 TCP 退路、改负载均衡、把心跳加密近 10 倍。

通话的音视频走 UDP，UDP 被挡时经 TURN 用 TCP/TLS 中继。

换网络时的断线，主线不靠连接迁移，靠快速重连和同步（第 6、11 章；[第 26 章](/zh/app-lifecycle/)讲切网络）。什么时候该重算：直播间的消息流（第 41 章），或者有一天 TCP 退路、按连接 ID 转发的负载均衡和浏览器的支持都成了现成的东西。

## 延伸阅读

用 UDP 也会碰到 TCP 替你挡掉的那些麻烦，比如丢包到底丢在哪一层。作者写过一次排查：[Troubleshooting a UDP Packet Loss Issue on Linux](https://blog.liko.page/2024/07/07/Troubleshooting-a-UDP-Packet-Loss-Issue-on-Linux/)（英文）。

**决策卡**

- 问题：TCP 按顺序交付，丢一个包，后面已到的数据都要等它重传（Linux 上约 400 毫秒）。直播间、通话里这会让一大串数据晚到；聊天的长连接是不是也该换成 UDP 或 QUIC？
- 选择：聊天连接留在 TCP（App 用 TLS 上的自定义协议，网页用 WebSocket）。通话的音视频走 UDP，被挡时经 TURN 走 TCP/TLS。以后要把聊天换到 QUIC，先备好：和 TCP 同时试的退路、按连接 ID 转发的负载均衡、25 秒左右的心跳、每个会话一条流。
- 代价：聊天保留队头阻塞：0.1%–0.6% 的消息平均多等 0.2–0.3 秒；用不上 QUIC 的一个来回握手和连接迁移，换网络靠重连；通话要多维护一种传输和一套中继。
- 什么时候重新考虑：直播间要给每个观众一条条地推、每秒几十条时（第 41 章改成每秒一批）；网关前的负载均衡能按连接 ID 转发、浏览器默认支持 WebSocket over HTTP/3 时；挡 UDP 的网络少到可以不管时。
- 其他答案：一切都走 QUIC（Meta 的 App 请求、Google）；每个会话一条 QUIC 流；只在 TCP 上的聊天协议（Telegram MTProto、Discord 网关）。

主线从[第 23 章“心跳”](/zh/heartbeats/)继续：100 万条连接大多数时候不说话，可不说话的连接，可能早就断了。
