# 第 23 章：心跳

> Ben 的 App 开着，连接显示正常，可 Ana 发来的消息一条也没到。连接什么时候断的？谁该先发现？

深入理解 IM 系统 · https://im.liko.page/zh/heartbeats/

晚上，徒步群很安静。Ben 的 App 开着，连接图标是绿的。Ana 在群里问明天几点集合，Ben 的手机没响。二十多分钟后 Ben 自己发了一句，几条消息才一起冒出来。

连接没有断开的通知，可它早就不通了。这一章要回答：一条长连接怎么会悄悄死掉，以及谁、用多久发现它。

## 1. 开着的连接为什么会死

手机连服务端，中间要过运营商的 **NAT**（地址转换）：手机用的是运营商内网的地址，NAT 替它换成一个公网的地址和端口，并记下这条对应关系。服务端推下来的包，要靠这条记录才找得回手机。

NAT 的记录有空闲超时：一段时间没有包经过，就删掉。删掉以后：

- **服务端**往连接里写推送，包到了 NAT 找不到主人，被丢掉。TCP 会重传，Linux 默认要重传 13 到 30 分钟才放弃（[tcp(7)](https://man7.org/linux/man-pages/man7/tcp.7.html) 的 `tcp_retries2`）。这期间在线路由表（第 20 章：每台设备连在哪台网关）里 Ben 还在线；而[第 17 章](/zh/offline-push/)的系统推送，只发给不在线的设备，所以也不会发。
- **手机**什么也收不到，也没有任何报错。要等它自己发东西、发不过去（收到一个“连接已重置”，或者一直等不到回应），才知道连接没了。

TCP 自己有保活（keepalive），可默认关着，打开了也要空闲 2 小时才开始探测（[RFC 1122](https://www.rfc-editor.org/rfc/rfc1122) 要求默认不少于 2 小时，Linux 默认 7,200 秒）。所以“TCP 是可靠的”帮不上忙：可靠的是数据会重传，不是连接会一直在。

## 2. 网络给多长时间

标准是宽的：[RFC 5382](https://www.rfc-editor.org/rfc/rfc5382) 要求 NAT 对空闲的 TCP 连接，至少保留 2 小时 4 分钟，正好能等到 TCP 默认的保活。

实际的网络短得多：

- 2011 年的一项测量（[Wang 等，SIGCOMM 2011](https://web.eecs.umich.edu/~zmao/Papers/netpiculet.pdf)），测了 73 家运营商的 3G 网络：11 家不到 10 分钟，其中 4 家最多 5 分钟。
- 同一项测量里，美国一家大运营商的防火墙，空闲 255 秒就发一个伪造的“重置”，把连接断掉。
- 微信团队在 2013 年底到 2014 年初测过几张网（[文章](http://www.52im.net/thread-120-1-1.html)，WeMobileDev 原创、52im 转载）：中国移动 2G/3G、中国联通 2G 是 5 分钟，中国电信 3G 超过 28 分钟。

这些都是十多年前 2G/3G 网络上的测量，说明不了今天的 4G/5G 网络。新一点的只有个人的经验：2020 年，一位自己架 XMPP 聊天服务器的人写到，法国的一张移动网上，TCP 保活要缩到 270 秒（4.5 分钟）才保得住连接，再长，NAT 网关就会掐断它（[博客](https://blog.wirelessmoves.com/2020/09/carrier-grade-nat-timeouts-and-how-to-configure-your-xmpp-server.html)）；这只是一张网，不算测量。何况没人能告诉手机“这张网的超时是多少”，它还因网而异。这个系列假设 **5 分钟**。

## 3. 心跳

办法是不让连接安静太久：**心跳**。

1. **客户端发。** 客户端 4 分钟没往连接里发过任何东西，就发一个很小的心跳帧，网关回一个。客户端发出的任何一帧都算数：Ben 发了一条消息，计时就从头开始。收到的消息不算：网关要靠听到客户端的声音，才知道它还活着（第 4 节）。
2. **间隔由服务端给。** 连上时，网关在第一帧里告诉客户端间隔是多少。这样改间隔不用发新版 App。

为什么是客户端发？网关只要回答，不用替 100 万条连接各自安排发送；手机也最清楚自己在哪张网上、App 在前台还是后台。

为什么不用 WebSocket 协议自带的 Ping 帧（[RFC 6455](https://www.rfc-editor.org/rfc/rfc6455#section-5.5.2)，对方收到要回一个 Pong）？因为浏览器里的 WebSocket 接口只有 `send` 和 `close`（[MDN](https://developer.mozilla.org/en-US/docs/Web/API/WebSocket)），网页发不了 Ping。用一个普通的应用帧，所有客户端都一样。

下面是 Ben 安静的一小时：收到 15 条、发了 6 条，NAT 5 分钟没包就忘掉连接。四种设置，各跑一遍：

- **不发心跳**：15 条里 9 条掉进了 NAT，最晚的一条晚了 26.4 分钟，要等 Ben 自己发消息、发现连接死了、重连、同步才回来。
- **每 6 分钟**，比 NAT 长一点：只掉了 1 条，可连接死了 3 次，每次都要重连、握手、同步。
- **每 4 分钟**：一条没掉，心跳 11 次。
- **每 30 秒**：一条没掉，心跳 116 次。

换 200 个安静的小时：不发心跳，36% 的推送掉进 NAT，200 个小时里 191 个都有；每 4 分钟，一条没掉，平均每小时 12.2 次心跳（一小时有 15 个 4 分钟，Ben 自己发的消息顶掉了几次）。

图上的模型有几个假设：任何包经过都会刷新 NAT 的记录；被忘掉的连接，推下来的包被悄悄丢掉，Ben 发东西则马上发现连接死了；手机重连后的同步（第 6、11 章）会补回所有错过的消息。所以掉了的不会丢，只是晚到，而且没有通知。

## 4. 发现死了的连接

心跳还管另一件事：连接真的断了（Ben 进了地铁、手机没电），两边要尽快知道。

- **客户端**：心跳发出去 10 秒没回，就关掉连接、重连、同步。App 在前台时，最晚 4 分 10 秒就知道。
- **网关**：一条连接 **3 个间隔**（12 分钟）里什么也没收到，就关掉它，从在线路由表里删掉 Ben 这台设备。之后给他的消息，就走第 17 章的系统推送。

网关为什么等 3 个间隔，不等 1 个？手机在后台时，系统会推迟 App 的定时器；网络差时，心跳要重传几次才到。关早了，一台活着的手机要白白重连一次。等得久的代价是：这 12 分钟里，Ben 在路由表里还“在线”，高峰时给他的约 6.7 条消息（每人每天 267 条，高峰按 3 倍，12 分钟），一条通知也没有。

网关上，100 万条连接不必各开一个定时器：每条连接只记一个“最晚什么时候要听到它”，按时间分桶，每秒扫一个桶就够了（时间轮）。

## 5. 算一下

- **服务端**：100 万条连接，每 4 分钟一次，每秒约 **4,170** 个心跳；分到 20 台网关，每台每秒 208 个，约占它推送能力的 0.4%。每 30 秒一次也只有 3.3%。这个数差不多每条连接都要付：只有客户端自己发东西才省得掉心跳，而大多数人收的比发的多。
- **手机**：心跳的代价在电量。第 2 章说过，无线电每醒一次，要亮 10 秒左右才回到低功耗（2012 年发表的一项测量，美国一张 LTE 网上是 [11.6 秒](https://web.eecs.umich.edu/~zmao/Papers/Thesis/JunxianHuangThesis2013.pdf)）。
- 手机别的什么都不做、只保持连接：每 4 分钟一次心跳，一天 360 次，每次亮 10 秒，无线电一天亮 **1 小时**；每 30 秒一次，一天 2,880 次，就是 **8 小时**。

第二笔账只在“屏幕关着、连接还开着”时才算数：在前台，屏幕比无线电费电得多。后台的连接 iOS 不让 App 留，大多数安卓也会停掉（第 26 章）；所以手机系统自己维持一条连接，所有 App 的通知共用它，这就是 APNs 和 FCM。在用不了 FCM 的地方，安卓 App 自己保持后台连接，这笔账就是它的；微信那篇文章，讲的正是这种情况。

## 6. 代价

- **电量和发现速度只能换。** 间隔减半，无线电多亮一倍；间隔加长，死连接被发现得更晚。
- **5 分钟是猜的。** 超时比 4 分钟还短的网，连接照样会死，只是每次都会被下一个心跳发现、重连。
- **会有误判。** 网络差时心跳回得慢，10 秒没回就重连，有时连接其实还活着。

## 7. 其他答案

- **按网络自己找间隔**：微信的智能心跳。前台用固定间隔；退到后台，按网络（数据网络按类型、Wi-Fi 按名字）分别试：连续 3 次短心跳成功后，试一次更长的，成功就再加长，失败了退回，最后用比最后一次成功稍短一点的值；每周再往上探一次。灰度时 70% 的用户达到了间隔的上限（[文章](http://www.52im.net/thread-120-1-1.html)）。
- **服务端给间隔，第一次加随机**：Discord 的网关在第一帧（Hello）里给出 `heartbeat_interval`，客户端等“间隔 × 0 到 1 之间的随机数”再发第一个心跳；收不到回应，就当连接是“僵尸”，关掉重连并恢复会话（[Discord 网关文档](https://docs.discord.com/developers/events/gateway)）。文档说，第一次加随机，是为了不让太多客户端在同一刻重连、带来一波流量（第 24 章）。
- **服务端只等 1.5 倍**：MQTT 3.1.1 规定客户端空闲时发 PINGREQ，服务端 1.5 个保活周期没收到任何包就断开（[§3.1.2.10](https://docs.oasis-open.org/mqtt/mqtt/v3.1.1/os/mqtt-v3.1.1-os.html)）。按 4 分钟算是 6 分钟，比 12 分钟发现得快，误判也多。
- **客户端告诉服务端等多久**：Telegram 的 MTProto 里有一种心跳 `ping_delay_disconnect`，带着一个 `disconnect_delay`：服务端收到后开始计时，这么多秒内没再收到下一个，就关掉连接。文档的例子是每 60 秒发一个、等 75 秒（[MTProto 服务消息](https://core.telegram.org/mtproto/service_messages)）。等多久由客户端定，而且只等 1.25 个间隔；这一章是网关定、等 3 个间隔。
- **TCP 保活**：服务器之间，把间隔调短就能用；可它只证明对方的系统内核还活着，进程卡死了内核照样回。
- **让中间的设备放宽**：负载均衡、代理是自己的，就把超时设长。比如 nginx 代理 WebSocket，默认 60 秒没数据就断（[nginx 文档](https://nginx.org/en/docs/http/websocket.html)）。运营商的 NAT 改不了。2011 年那项测量里，那家 255 秒就断连接的运营商，唯独给谷歌推送用的 5228 端口留了 1,600 秒。

## 8. 这一章的决定

**决策卡**

- 问题：连接安静太久，NAT 会悄悄忘掉它：推送掉进空处，服务端以为设备在线、不发系统推送，手机也以为自己连着。TCP 的保活要 2 小时才开始。
- 选择：客户端 4 分钟没发过任何东西就发心跳（短于假设的 5 分钟 NAT 超时），它发出的任何一帧都算数，间隔由服务端在连上时给出；10 秒没回就重连、同步；网关 3 个间隔（12 分钟）没听到任何东西就关掉连接、删掉路由，改走系统推送。
- 代价：服务端每秒约 4,170 个心跳，不到网关能力的 1%；手机若只为保持连接而醒，一天无线电约亮 1 小时；死连接最长 12 分钟才被网关发现；NAT 超时是猜的。
- 什么时候重新考虑：一批设备同时断、同时回（第 24 章）；App 退到后台、切换网络（第 26 章）；浏览器里的定时器（第 27 章）。
- 其他答案：按网络自适应的智能心跳（微信）；服务端下发间隔、首次加随机（Discord）；1.5 倍超时（MQTT）；客户端定等待时间（Telegram）；TCP 保活；放宽自己的代理超时。

心跳让一台手机知道自己掉线了。可一个可用区的网关一起停掉时，50 万台手机会在同一秒知道，又在同一秒回来。下一章：重连风暴。
