第 23 章
心跳
Ben 的 App 开着,连接显示正常,可 Ana 发来的消息一条也没到。连接什么时候断的?谁该先发现?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
晚上,徒步群很安静。Ben 的 App 开着,连接图标是绿的。Ana 在群里问明天几点集合,Ben 的手机没响。二十多分钟后 Ben 自己发了一句,几条消息才一起冒出来。
连接没有断开的通知,可它早就不通了。这一章要回答:一条长连接怎么会悄悄死掉,以及谁、用多久发现它。
1. 开着的连接为什么会死
手机连服务端,中间要过运营商的 NAT(地址转换):手机用的是运营商内网的地址,NAT 替它换成一个公网的地址和端口,并记下这条对应关系。服务端推下来的包,要靠这条记录才找得回手机。
NAT 的记录有空闲超时:一段时间没有包经过,就删掉。删掉以后:
- 服务端往连接里写推送,包到了 NAT 找不到主人,被丢掉。TCP 会重传,Linux 默认要重传 13 到 30 分钟才放弃(tcp(7) 的
tcp_retries2)。这期间在线路由表在线路由表online routes记着每台在线设备连在哪台网关上。设备连上时由网关登记,分发时按它找到网关。在术语表里查看(第 20 章:每台设备连在哪台网关)里 Ben 还在线;而第 17 章的系统推送,只发给不在线的设备,所以也不会发。 - 手机什么也收不到,也没有任何报错。要等它自己发东西、发不过去(收到一个“连接已重置”,或者一直等不到回应),才知道连接没了。
TCP 自己有保活(keepalive),可默认关着,打开了也要空闲 2 小时才开始探测(RFC 1122 要求默认不少于 2 小时,Linux 默认 7,200 秒)。所以“TCP 是可靠的”帮不上忙:可靠的是数据会重传,不是连接会一直在。
2. 网络给多长时间
标准是宽的:RFC 5382 要求 NAT 对空闲的 TCP 连接,至少保留 2 小时 4 分钟,正好能等到 TCP 默认的保活。
实际的网络短得多:
- 2011 年的一项测量(Wang 等,SIGCOMM 2011),测了 73 家运营商的 3G 网络:11 家不到 10 分钟,其中 4 家最多 5 分钟。
- 同一项测量里,美国一家大运营商的防火墙,空闲 255 秒就发一个伪造的“重置”,把连接断掉。
- 微信团队在 2013 年底到 2014 年初测过几张网(文章,WeMobileDev 原创、52im 转载):中国移动 2G/3G、中国联通 2G 是 5 分钟,中国电信 3G 超过 28 分钟。
这些都是十多年前 2G/3G 网络上的测量,说明不了今天的 4G/5G 网络。新一点的只有个人的经验:2020 年,一位自己架 XMPP 聊天服务器的人写到,法国的一张移动网上,TCP 保活要缩到 270 秒(4.5 分钟)才保得住连接,再长,NAT 网关就会掐断它(博客);这只是一张网,不算测量。何况没人能告诉手机“这张网的超时是多少”,它还因网而异。这个系列假设 5 分钟。
3. 心跳
办法是不让连接安静太久:心跳心跳heartbeat连接空闲时定期发的小包。用来发现已经断掉的连接,也防止运营商的设备把太久没说话的连接忘掉。在术语表里查看。
- 客户端发。 客户端 4 分钟没往连接里发过任何东西,就发一个很小的心跳帧,网关回一个。客户端发出的任何一帧都算数:Ben 发了一条消息,计时就从头开始。收到的消息不算:网关要靠听到客户端的声音,才知道它还活着(第 4 节)。
- 间隔由服务端给。 连上时,网关在第一帧里告诉客户端间隔是多少。这样改间隔不用发新版 App。
为什么是客户端发?网关只要回答,不用替 100 万条连接各自安排发送;手机也最清楚自己在哪张网上、App 在前台还是后台。
为什么不用 WebSocket 协议自带的 Ping 帧(RFC 6455,对方收到要回一个 Pong)?因为浏览器里的 WebSocket 接口只有 send 和 close(MDN),网页发不了 Ping。用一个普通的应用帧,所有客户端都一样。
下面是 Ben 安静的一小时:收到 15 条、发了 6 条,NAT 5 分钟没包就忘掉连接。四种设置,各跑一遍:
- 不发心跳:15 条里 9 条掉进了 NAT,最晚的一条晚了 26.4 分钟,要等 Ben 自己发消息、发现连接死了、重连、同步才回来。
- 每 6 分钟,比 NAT 长一点:只掉了 1 条,可连接死了 3 次,每次都要重连、握手、同步。
- 每 4 分钟:一条没掉,心跳 11 次。
- 每 30 秒:一条没掉,心跳 116 次。
换 200 个安静的小时:不发心跳,36% 的推送掉进 NAT,200 个小时里 191 个都有;每 4 分钟,一条没掉,平均每小时 12.2 次心跳(一小时有 15 个 4 分钟,Ben 自己发的消息顶掉了几次)。
图上的模型有几个假设:任何包经过都会刷新 NAT 的记录;被忘掉的连接,推下来的包被悄悄丢掉,Ben 发东西则马上发现连接死了;手机重连后的同步(第 6、11 章)会补回所有错过的消息。所以掉了的不会丢,只是晚到,而且没有通知。
4. 发现死了的连接
心跳还管另一件事:连接真的断了(Ben 进了地铁、手机没电),两边要尽快知道。
- 客户端:心跳发出去 10 秒没回,就关掉连接、重连、同步。App 在前台时,最晚 4 分 10 秒就知道。
- 网关:一条连接 3 个间隔(12 分钟)里什么也没收到,就关掉它,从在线路由表里删掉 Ben 这台设备。之后给他的消息,就走第 17 章的系统推送。
网关为什么等 3 个间隔,不等 1 个?手机在后台时,系统会推迟 App 的定时器;网络差时,心跳要重传几次才到。关早了,一台活着的手机要白白重连一次。等得久的代价是:这 12 分钟里,Ben 在路由表里还“在线”,高峰时给他的约 6.7 条消息(每人每天 267 条,高峰按 3 倍,12 分钟),一条通知也没有。
网关上,100 万条连接不必各开一个定时器:每条连接只记一个“最晚什么时候要听到它”,按时间分桶,每秒扫一个桶就够了(时间轮)。
5. 算一下
- 服务端:100 万条连接,每 4 分钟一次,每秒约 4,170 个心跳;分到 20 台网关,每台每秒 208 个,约占它推送能力的 0.4%。每 30 秒一次也只有 3.3%。这个数差不多每条连接都要付:只有客户端自己发东西才省得掉心跳,而大多数人收的比发的多。
- 手机:心跳的代价在电量。第 2 章说过,无线电每醒一次,要亮 10 秒左右才回到低功耗(2012 年发表的一项测量,美国一张 LTE 网上是 11.6 秒)。
- 手机别的什么都不做、只保持连接:每 4 分钟一次心跳,一天 360 次,每次亮 10 秒,无线电一天亮 1 小时;每 30 秒一次,一天 2,880 次,就是 8 小时。
第二笔账只在“屏幕关着、连接还开着”时才算数:在前台,屏幕比无线电费电得多。后台的连接 iOS 不让 App 留,大多数安卓也会停掉(第 26 章);所以手机系统自己维持一条连接,所有 App 的通知共用它,这就是 APNs 和 FCM。在用不了 FCM 的地方,安卓 App 自己保持后台连接,这笔账就是它的;微信那篇文章,讲的正是这种情况。
6. 代价
- 电量和发现速度只能换。 间隔减半,无线电多亮一倍;间隔加长,死连接被发现得更晚。
- 5 分钟是猜的。 超时比 4 分钟还短的网,连接照样会死,只是每次都会被下一个心跳发现、重连。
- 会有误判。 网络差时心跳回得慢,10 秒没回就重连,有时连接其实还活着。
7. 其他答案
- 按网络自己找间隔:微信的智能心跳。前台用固定间隔;退到后台,按网络(数据网络按类型、Wi-Fi 按名字)分别试:连续 3 次短心跳成功后,试一次更长的,成功就再加长,失败了退回,最后用比最后一次成功稍短一点的值;每周再往上探一次。灰度时 70% 的用户达到了间隔的上限(文章)。
- 服务端给间隔,第一次加随机:Discord 的网关在第一帧(Hello)里给出
heartbeat_interval,客户端等“间隔 × 0 到 1 之间的随机数”再发第一个心跳;收不到回应,就当连接是“僵尸”,关掉重连并恢复会话(Discord 网关文档)。文档说,第一次加随机,是为了不让太多客户端在同一刻重连、带来一波流量(第 24 章)。 - 服务端只等 1.5 倍:MQTT 3.1.1 规定客户端空闲时发 PINGREQ,服务端 1.5 个保活周期没收到任何包就断开(§3.1.2.10)。按 4 分钟算是 6 分钟,比 12 分钟发现得快,误判也多。
- 客户端告诉服务端等多久:Telegram 的 MTProto 里有一种心跳
ping_delay_disconnect,带着一个disconnect_delay:服务端收到后开始计时,这么多秒内没再收到下一个,就关掉连接。文档的例子是每 60 秒发一个、等 75 秒(MTProto 服务消息)。等多久由客户端定,而且只等 1.25 个间隔;这一章是网关定、等 3 个间隔。 - TCP 保活:服务器之间,把间隔调短就能用;可它只证明对方的系统内核还活着,进程卡死了内核照样回。
- 让中间的设备放宽:负载均衡、代理是自己的,就把超时设长。比如 nginx 代理 WebSocket,默认 60 秒没数据就断(nginx 文档)。运营商的 NAT 改不了。2011 年那项测量里,那家 255 秒就断连接的运营商,唯独给谷歌推送用的 5228 端口留了 1,600 秒。
8. 这一章的决定
心跳让一台手机知道自己掉线了。可一个可用区的网关一起停掉时,50 万台手机会在同一秒知道,又在同一秒回来。下一章:重连风暴。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。