旁支 W3
TCP 还是 UDP
TCP 上丢一个包,后面的消息全得等它。聊天会因此慢多少?什么时候该用 UDP 或 QUIC?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
第 22 章把 100 万条 TCP 长连接长连接long-lived connection设备和服务端之间一直开着的一条 TCP 或 WebSocket 连接。有了它,服务端可以随时主动把消息推下去,不用等客户端来问。在术语表里查看放进了 20 台网关网关gateway连接层的服务器。每台持有大量长连接,负责鉴权、心跳和收发,不看消息内容。它是服务端里少数有状态的部分:重启会断开身上所有的连接。在术语表里查看。常有人问:TCP 丢一个包,后面的数据全要等它,为什么不用 UDP,或者跑在 UDP 上的 QUICQUIC跑在 UDP 上的传输协议,自己做重传、加密和拥塞控制,HTTP/3 就跑在它上面。一条连接里可以有很多条互不相干的流,每条流内部有顺序。在术语表里查看?
第 2 章也在这里留了三件事:有的网络挡 UDP;QUIC 的连接迁移连接迁移connection migrationQUIC 按包里的连接 ID 认连接,不按地址和端口:手机从 Wi-Fi 换到 4G,地址变了,连接接着用。前提是负载均衡也按连接 ID 转发。本书的主线不用它,换网络靠重连和同步。在术语表里查看;WebSocket 跑在 HTTP/3 上。这篇旁支先算清楚 TCP 的这个毛病让聊天慢了多少,再看谁真的在用 UDP 和 QUIC,最后列出聊天连接要换过去得先准备什么。
先说两个词。UDP 只管把一个个数据报送出去,丢了不管,也不排顺序。QUIC 是跑在 UDP 上的传输协议,自己做重传、加密和拥塞控制,HTTP/3 就跑在它上面;它的一条连接里可以有很多条互不相干的流,每条流内部有顺序。
1. 一个丢包挡住后面所有的数据
TCP 保证字节按顺序交给应用。假设服务器给 Ben 连发了三条消息,第一条所在的包丢了,第二、三条的包已经到了手机。TCP 不能先把它们交上去,因为它只认“下一个该到的字节”。这两条只能在内核里等,等第一条重传到达,三条一起交出。这叫队头阻塞队头阻塞head-of-line blockingTCP 按顺序交付:一个包丢了,后面已经到的数据都要在内核里等它重传。QUIC 只去掉流和流之间的这种等待,一条流里照样有。在术语表里查看(head-of-line blocking):排在队头的那个丢了,后面的都被堵住。
旁支 W1 说过“好几条消息挤在一次 read 里”,丢包后被堵住的几条一起交出,就是原因之一。
堵多久,取决于发送方多快发现丢了包。有两种发现方式:
- 后面的包作证:后面又有 3 个包到了,接收方回的 TCP 确认(ACK,TCP 自己的,不是第 3 章服务端回的那个)都在说“我还缺那一个”,发送方就马上重传(快速重传)。要等的时间 = 再发 3 个包的时间 + 一个来回。
- 计时器:后面没包了,就只能等重传计时器到点。RFC 6298 说这个计时器最少 1 秒;Linux 把下限放到了 200 毫秒,实际约是一个来回再加 200 毫秒(内核源码里的
TCP_RTO_MIN)。按本系列手机网络的 200 毫秒来回,就是 400 毫秒。
重传的包又丢了,计时器再翻倍。
2. 算一下:聊天、直播间、通话
换个角度,盯住一个没丢的包看。在它之前不久发出的包里,只要有一个丢了、还没补上,它就得陪着等;“不久”有多久,就是上面算的那段“要等的时间”。这段时间里平均发出“每秒包数 × 要等的时间”个包,它们全都没丢的机会是 (1 − 丢包率) 的这么多次方。所以,被别人的丢包挡住的比例大约是:
1 − (1 − 丢包率) ^ (每秒包数 × 要等的时间)
拿三种流量来算,丢包率取两个:1%(一张还不错的手机网络,这里的假设)和 10%(本系列假设的差网络)。来回都是 200 毫秒。
- Ben 的聊天:v1 高峰每秒 1,390 次投递,分给 1 万个在线的人,每人每秒 0.139 条,7.2 秒才一条(v3 也一样:13.9 万次分给 100 万人)。等后面 3 个包要 21.6 秒,所以每次都是计时器先到:400 毫秒。这 400 毫秒里平均只发出 0.06 个包。
- 热闹的直播间:假设每秒给每个观众推 20 条(这里的假设,每条单独一个包;第 41 章会把每人每秒限在 20 条,并把一秒的消息打成一批推,那时每秒只推一次,就更像聊天了)。后面 3 个包 150 毫秒就到了,再加一个来回,350 毫秒后重传(比计时器快),期间发出 7 个包。
- 语音通话:每 20 毫秒一个音频包,每秒 50 个。后面 3 个包 60 毫秒,加一个来回,260 毫秒后重传,期间发出 13 个包。
demo.py 每种跑 20 万个包,结果和上面的公式大致对得上(直播间和通话略低于公式:自己也丢了的包,算作等自己,不算被别人挡)。表里“按顺序”是 TCP:自己的包丢了要等,别人的包丢了也要等;“各自”是每条消息单独交付(UDP,或每条消息一条 QUIC 流),只等自己的。“晚了多久”从不丢包时该到的时间算起:
| 丢包 1%:被别人挡住 | 丢包 10%:被别人挡住 | 丢包 10%:最慢 1% 晚了多久(按顺序 / 各自) | |
|---|---|---|---|
| Ben 的聊天 | 0.1% | 0.6% | 758 / 400 毫秒 |
| 直播间,每秒 20 条 | 6.5% | 49.3% | 1,349 / 400 毫秒 |
| 通话,每秒 50 个包 | 11.7% | 72.3% | 1,540 / 660 毫秒 |
三种流量里,被别人挡住的消息平均多等 0.14 到 0.31 秒。
聊天这一行,什么也没坏。 被别人挡住的不到 1%,多等的也就零点几秒,和自己的包丢了要等的 400 毫秒是一个量级。原因很简单:聊天太稀疏了,一个包丢了的时候,它后面几乎没有别的包。
直播间在差网络上有一半的消息被挡,而且一挡就是一串:屏幕停一下,然后几条一起蹦出来。
通话最怕晚。一个音频包晚到了,播放时间已经过了,就等于丢了。通话软件会留一小段缓冲,假设 100 毫秒,晚过这个就不要了:
- 走 TCP,丢包 1% 时有 8.5% 的音频晚过缓冲,10% 时是 67.9%,一个丢包变成一串卡顿;
- 走 UDP、丢了不补,只少 1%(或 10%),其余全部准时;少的那一点,解码器可以拿前后的声音补个大概。
所以实时音视频走 UDP:宁可丢,不能晚。
3. 谁在用 UDP 和 QUIC
通话的音视频:UDP。 浏览器和 App 里的通话大多用 WebRTC,媒体走 UDP。Discord 在 2018 年讲语音架构的文章里,客户端和语音服务器之间交换的是 UDP 消息,而聊天、在线状态这些事件走另一条 WebSocket 连到网关。UDP 被挡的时候,WebRTC 可以经 TURN 中继服务器,用 TCP 或 TLS 绕过去(RFC 8656),声音会差一些,但能通。
App 的普通请求:越来越多走 QUIC。
- Google 在 SIGCOMM 2017 的论文里估计,当时 7% 的互联网流量是 QUIC;搜索的延迟在电脑上降了 8.0%、手机上降了 3.6%,YouTube 的卡顿率降了 18.0% 和 15.3%。
- Meta 在 2020 年写道,它超过 75% 的互联网流量走 QUIC 和 HTTP/3;Facebook App 的动态请求,和 HTTP/2 相比,出错少了 6%,尾部延迟低了 20%。
这些收益大多来自握手少一个来回、换网络不断连、丢包恢复更好,而不只是没有队头阻塞。
聊天的长连接:公开资料里大多还是 TCP。 Discord 的网关是 WebSocket;Telegram 的 MTProto 列出的传输方式是 TCP、WebSocket、HTTP 和 HTTPS,没有 UDP。
还要注意一点:QUIC 只去掉流和流之间的队头阻塞。 一条流里的数据仍然按顺序交付。要是所有聊天消息都放在一条流里,丢一个包,后面的照样等。要真正分开,得每个会话(或者每条消息)一条流。
4. 聊天连接要换到 QUIC,先备好四样东西
一、UDP 被挡时,要有 TCP 的路。 上面那篇 Google 论文里,2016 年的数据显示 4.4% 的客户端用不了 QUIC(UDP 被挡,或者路径的 MTU 太小,即一路上能通过的最大包装不下 QUIC 要求的 1,200 字节),大多在公司网络里,多半是防火墙挡的;另有 0.3% 的客户端所在的网络会给 UDP 限速。RFC 9308 引的测量是 3% 到 5% 的网络挡掉所有 UDP,并且明说:用 QUIC 的应用要么接受在这些网络上连不上,要么准备退回别的协议。
放到 v3:100 万在线的 4.4%,就是 4.4 万台手机,每台网关 2,200 台,只能走 TCP。
那篇论文里,Chrome 的做法是两条一起试:同时连 QUIC 和 TLS/TCP,TCP 那条最多晚 300 毫秒才开始,谁先连上用谁。网关就得两套协议都跑、都测。
二、负载均衡要按连接 ID 转发。 QUIC 不按“地址 + 端口”认连接,而按包里的连接 ID。手机从 Wi-Fi 换到 4G,地址变了,连接 ID 没变,连接可以接着用(RFC 9000 第 9 节),这叫连接迁移。
可网关前面的四层负载均衡(只看 IP 地址和端口,不拆包里的内容),通常按地址和端口算哈希,决定把包交给哪台网关。地址一变,哈希就变。20 台网关,新地址落回原来那台的机会只有 1/20,95% 的迁移会被送到一台不认识这条连接的网关,迁移等于白做。
所以负载均衡得能读出连接 ID,按它转发:RFC 9308 第 11.1 节要求部署保证包总被送到有这条连接状态的那台机器,办法之一是把路由信息编进连接 ID 里(IETF 的 QUIC-LB 草案)。另外,QUIC 的第一版只有客户端能迁移。
三、NATNAT(地址转换)运营商或家用路由器上的设备:把手机的内网地址换成公网的地址和端口,并记下这条映射,推下来的包靠它才找得回手机。映射空闲太久就被删掉,所以长连接要靠心跳保住。在术语表里查看 忘 UDP 忘得更快,心跳要更密。 第 23 章按 NAT 5 分钟忘掉一条空闲 TCP 连接来算,每 4 分钟一次心跳心跳heartbeat连接空闲时定期发的小包。用来发现已经断掉的连接,也防止运营商的设备把太久没说话的连接忘掉。在术语表里查看。UDP 的标准本身就短一些:RFC 4787 要求 NAT 的 UDP 映射(NAT 记下的“手机的地址和端口 ↔ 对外的端口”这条对应)至少保留 2 分钟,建议 5 分钟以上。实际更短:RFC 9308 引了 2010 年的一项研究,说 UDP 应用可以认为 NAT 记录空闲 30 秒就可能过期。
按 30 秒算,心跳每 25 秒一次(RFC 8085 要求 UDP 的保活间隔不短于 15 秒)。推送能力按第 22 章的假设,一台网关每秒推 5 万次:
| NAT 多久忘掉 | 心跳间隔 | 100 万条连接每秒心跳 | 每台网关(占推送能力) | 空闲手机一天无线电亮 | |
|---|---|---|---|---|---|
| TCP(第 23 章) | 5 分钟 | 4 分钟 | 约 4,170 | 208(0.4%) | 1 小时 |
| UDP / QUIC | 30 秒 | 25 秒 | 40,000 | 2,000(4%) | 9.6 小时 |
服务端多出近 10 倍,还扛得住;手机的电量就是另一回事了。最后一列这样算(第 23 章:无线电每醒一次要亮约 10 秒):一天 86,400 秒,4 分钟一次心跳是 360 次,亮 3,600 秒,1 小时;25 秒一次是 3,456 次,亮约 9.6 小时。
连接 ID 在这里也救不了推送。NAT 忘了这条映射以后,分两种情况:手机先发,NAT 给它新开一个端口,服务端看到的端口变了,但凭连接 ID 认得出是谁,连接接着用;服务端先发(来了一条新消息),它只知道旧的端口,包到了 NAT,NAT 已经不记得这个端口对应哪台手机,包就丢了。RFC 9308 第 3.2 节说的就是这一点:只有在超时后先开口的是对方时,连接 ID 才有用。
四、网页那边,WebSocket 跑在 HTTP/3 上还很少见。 RFC 9220(2022 年)规定了怎么在 HTTP/3 上开 WebSocket:一个 WebSocket 占一条 HTTP/3 流。所以就算用上了,所有消息还在一条流里,队头阻塞没变。浏览器的支持也有限:Chrome 在 2022 年 11 月发了“试做”的公告(Intent to Prototype),写这篇时我没找到哪个主流浏览器默认开启了它。网页的聊天连接,眼下还是 TCP 上的 WebSocket。
5. 这一篇的决定
主线的聊天连接留在 TCP:App 是 TLS 上的自定义协议,网页是 WebSocket。理由是第 2 节的数:在聊天的流量下,队头阻塞只让不到 1% 的消息多等零点几秒;而换成 QUIC,要多跑一套 TCP 退路、改负载均衡、把心跳加密近 10 倍。
通话的音视频走 UDP,UDP 被挡时经 TURN 用 TCP/TLS 中继。
换网络时的断线,主线不靠连接迁移,靠快速重连和同步(第 6、11 章;第 26 章讲切网络)。什么时候该重算:直播间的消息流(第 41 章),或者有一天 TCP 退路、按连接 ID 转发的负载均衡和浏览器的支持都成了现成的东西。
延伸阅读
用 UDP 也会碰到 TCP 替你挡掉的那些麻烦,比如丢包到底丢在哪一层。作者写过一次排查:Troubleshooting a UDP Packet Loss Issue on Linux(英文)。
主线从第 23 章“心跳”继续:100 万条连接大多数时候不说话,可不说话的连接,可能早就断了。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。