深入理解 IM 系统

一条消息从 Ana 的手机到 Ben 的手机,中间要经过什么?

一步步设计一个 IM 系统:从一台服务器到百万人同时在线,每一章只做一个设计决策。服务端和客户端都讲,中文和英文都有。

开始阅读

内容校验中:全书初稿(第 0–45 章和四个旁支)都已上线,作者正在逐章校对,文字和数字可能会改。第 15 章以后的模拟器和架构地图还没做。

v1 在动:一条消息走过的路。四个场景循环播放;点场景跳过去,也可以暂停,一步步看。
Ana发件箱(本地库)◂ 现在Ben版本 + seq(本地库)一台服务器,一个程序连接层持有长连接;记着 用户 → 连接消息层(收)认出重复的消息 ID;取 seq;写入;回 ACK分发层(发)推送带 seq;回来时给各会话的最新 seq业务层(旁路)Ana 在这个会话里吗存储层消息只存一份发送者+消息ID会话+seq会话.last_seq会话记录+版本对象存储+ CDN,上传服务在前消息ACK + seq推送 + seq同步、补拉上传地址照片分片上传,每片 512 KiB(上传服务 → 对象存储)缩略图和原图经 CDN 到 BenAna发件箱(本地库)◂ 现在Ben版本 + seq(本地库)连接层长连接;用户 → 连接消息层(收)去重、取 seq、写入、回 ACK分发层(发)推送带 seq;回来时给最新 seq存储层消息只存一份;唯一键:发送者+消息ID、会话+seq会话记录+版本;每个会话的 last_seq对象存储 + CDN上传服务在前面消息ACK推送同步左:照片分片上传(每片 512 KiB)右:缩略图和原图经 CDN 到 Ben
已投递
0
重发
0
去重
0
补拉
0

00:00.00 Ana 写进本地库:msg_id 7f3a,状态“发送中”(这就是发件箱)

IM 只做两件事:可靠地收下每一条消息,再把它送到每一台设备,包括离线后回来的那台。

图中没画:音视频通话、端到端加密、多机房容灾、合规留存、搜索。

业务系统你的 App 后端系统推送苹果、谷歌、厂商第三方,尽力而为Ana周六还去吗?App 里的 SDK:发件箱、本地库、重发Ben周六还去吗?✓手机和电脑上的网页版,各自同步公网IM 服务端业务层(旁路)被调用,消息不流经它账号与鉴权好友、拉黑、审核发送前检查群与成员开放接口业务消息、回调连接层和每台在线设备保持一条长连接,能主动推送成本:在线设备数;有状态,重启会让设备集体重连消息层(收)收下消息:不丢、不重、有序;存好就回复“已发送”成本:消息量分发层(发)送到每一台设备:在线就推送,离线就发系统通知成本:消息数 × 接收人数(500 人的群:推约 750 台设备)存储层保存消息和每人的会话记录,设备回来都能补齐成本:消息量 × 保留时间(写扩散的会话还要 × 接收人数)↑ 收下:存好就回复“已发送”,Ana 不再等↓ 送达:推到每一台设备账号、关系离线时唤醒消息日志1234
  1. 发送:Ana 的消息经长连接进入 IM
  2. 存好就回复“已发送”(不是“已送达”),Ana 不再等后面的事
  3. 推送到 Ben 在线的设备;离线时发系统通知,只是提醒
  4. 任何错过消息的设备,回来后自己拉取补齐

点任意一层,看它做什么、难在哪、在哪几章深入讲。

每一章都按这个顺序走

  1. 问题一个具体场景,比如“同一条消息出现了两次”。
  2. 看它坏掉在页面里的模拟器上跑简单方案。
  3. 估算一个纸笔就能核对的数字,说明为什么会坏。
  4. 修好它在同一个模拟器里打开修复,对比前后。
  5. 代价修复要付出什么,别的产品会怎么选。

为什么写这个

讲 IM 架构的文章很多,但大多只给一张最终的架构图,或者讲某一家公司的历史。很少有人一步步讲清楚:一个系统为什么会长成这样。

这里跟着一个聊天 App 从 1,000 个用户长到 100 万人同时在线。系统的四层和旁路的业务层一开始挤在一个程序里,每一次增长都逼着其中一部分被拆出来、做深。

最后几章换成 toB 办公、社区、直播、隐私通讯、客服,以及给别的业务用的 IM 平台,看同样的决策怎样反过来。架构没有唯一正确的答案,产品决定答案。

章节地图

主干跟着一个 App 从 v0 长到 v3,每一站写着它的规模和为什么要长大;然后是稳定性专项;最后分出去换成别的产品。每章前面的色点是它主要讲的那一层,颜色和架构图一致。

连接层消息层分发层存储层业务层客户端跨层蓝色标题:已经发布(目前是初稿)

  1. 开篇

    先看整个系统。

    1. 0全景
  2. v0:一台服务器

    1,000 用户

    “App 里要加个聊天。”先做出能用的。

    1. 1最小的聊天
    2. 2从轮询到推送
  3. v1:在手机上不出错

    10 万用户

    移动网络下,消息会丢、会重复、会乱序。

    1. 3确认与重传
    2. 4去重
    3. 5顺序
    4. 6离线补齐
    5. 7本地数据库
    6. 8图片与文件
    7. 9v1:一条可靠的通道
  4. v2:一群人,好几台设备

    10 万用户,每人几台设备

    产品要做桌面端,每人几台设备;还要管群:进群、退群、角色。

    1. 10会话谁来建
    2. 11会话同步
    3. 12入群与退群
    4. 13群资料与群成员同步
    5. 14读到哪与未读数
    6. 15已读回执
    7. 16多端同步
    8. 17唤醒离线的手机
    9. 18撤回与编辑
    10. 19v2:十万用户的群聊
  5. v3:多台服务器

    100 万人同时在线

    一台服务器扛不住,每次发布还会踢掉所有人。

    1. 20拆出网关
    2. 21在线状态
    3. 22百万连接
    4. 23心跳
    5. 24重连风暴
    6. 25账号:App 的用户和 IM 的用户
    7. 26App 的生命周期
    8. 27网页端
    9. 28把会话分出去
    10. 29存储前的队列
    11. 30一套 SDK,多个平台
    12. 31旧 App,新服务器
    13. 32v3:百万在线
  6. 专项:稳定性

    系统长大以后,难的是一直稳:怎么知道消息真的到了,过载、发布、依赖和机房出故障时怎样不丢、不断。

    1. 33我的消息去哪了?
    2. 34过载:限流与降级
    3. 35不断线的发布
    4. 36依赖变慢的时候
    5. 37丢了一个机房
    6. 38演练与复盘
  7. 分支:不同的产品

    同一套系统换成 toB、社区、直播、客服、平台,哪些决策会反过来?

    1. 39办公 IM(toB)
    2. 40社区服务器
    3. 41直播间
    4. 42隐私通讯
    5. 43客服
    6. 44IM 作为平台
    7. 45同一个决策,不同的产品

旁支:线路上的细节选读

协议层面的选读。

  1. W1拆包与组帧
  2. W2编码
  3. W3TCP 还是 UDP
  4. W4群组端到端加密