第 42 章
隐私通讯
Ana 想要一个连运营它的公司都读不到她说了什么的聊天 App。主线的服务器什么都存、什么都读得懂,哪些得改?
这一章是初稿:作者还在逐章校对,内容和数字可能会改。
Ana 想换一个聊天 App。她的要求只有一条:她和 Ben 说的话,除了他们俩的设备,谁都读不到,包括运营这个 App 的公司。
主线的服务器做不到。从第 1 章起,服务器就读得懂它转的每一条消息:即使连接用 TLS 加密,防的也只是路上的人,服务器自己解开、存下、读得懂。这一章从 v3 出发,看看服务器读不懂消息以后,主线的哪些决定得改。
1. 先看产品要什么
先说清端到端加密端到端加密end-to-end encryption消息在发送的设备上加密,只有收件人的设备能解开,服务器只转交它读不懂的字节。钥匙在每台设备上,所以加密的单位是设备,不是人。在术语表里查看。每台设备自己生成一对钥匙:公钥交给服务器,谁都可以拿;私钥只在这台设备上,永远不离开。用公钥加密过的消息叫密文,看起来是一串乱码,只有配对的私钥能把它变回原文。Ana 给 Ben 的手机发消息,先从服务器拿 Ben 手机的公钥,在自己手机上加密;服务器只转交一串它解不开的字节。真正的协议(Signal 协议)还会不停地换钥匙,这里不展开;只需要记住:一份密文,只有它为之加密的那台设备打得开。
还有一种更简单的钥匙:同一把既能加密也能解密,谁拿到谁就打得开。后面的群聊和照片都会用到它。
“加密”按服务器放弃了多少,分几档:
| 档 | 服务器能看到什么 | 例子 |
|---|---|---|
| 只加密传输 | 全部内容;存全部历史 | 主线;Telegram 的普通聊天(云聊天) |
| 端到端加密,服务器存密文历史 | 谁和谁说话、什么时候;内容读不懂,但一直存着 | Matrix(一个开放的聊天协议);Facebook Messenger(2023 年起) |
| 端到端加密,送达就删 | 谁和谁说话、什么时候;内容只在路上停一会儿 | WhatsApp、Signal |
| 再藏起谁发的、群里有谁 | 发给谁;连谁发的都尽量不知道 | Signal(第 8 节) |
这条分支选第三档:内容只有设备读得懂,服务器存得越少越好。第四档在第 8 节。
2. 主线的哪些决定要读内容
主线的每个决定当初都有道理,可服务器读不懂消息以后,有六个站不住了:
| 主线的决定 | 要服务器做什么 | 端到端加密以后 |
|---|---|---|
| 历史一直存在服务器上,新设备从服务器拉(第 6、10、16 章) | 存每条消息 | 每份密文只给当时的那几台设备;新设备没有钥匙,存着也打不开 |
| 一份消息推给每台设备(第 16 章) | 存一份,推多次 | 每台设备钥匙不同,要各一份 |
| 服务端数未读,跳过系统消息和自己发的(第 14 章) | 认得每条是什么 | 分不出哪条是哪种 |
| 通知里放内容,角标用服务端的未读数(第 17 章) | 读内容、数未读 | 两样都没有 |
| 撤回,服务端检查时限(第 18 章) | 认得哪条是撤回 | 撤回也是密文,只有客户端能查 |
| 照片放在对象存储对象存储object storage按名字存取整个文件的存储服务(例如 S3),图片和文件放在这里,而不是消息表里。手机拿到一个限时的上传地址,直接传给它;下载通常再经过 CDN。在术语表里查看,拿到地址就能看(第 8 章) | 存文件 | 存的必须是密文,钥匙放在消息里 |
第一行最容易想错:服务器把密文一直存着,新设备不能拉吗?不行。Ana 去年发的那条,是给她当时的手机、电脑和 Ben 的两台设备各加密的;她今天买的平板那时还没有钥匙,一份也打不开。端到端加密以后,服务器存历史,对新设备没有用。
主线没有服务端搜索,可办公 IM 那条分支(第 39 章)有:服务器读不懂,就没有东西可以建索引。
下面三节改三件事:怎么发、服务器存什么、历史怎么到新设备。
3. 发:每台设备一份
主线里 Ana 发一条,上传一份,服务器再推给每台设备(第 16 章)。现在每台设备钥匙不同,所以由 Ana 的手机 给每台设备各加密一份:
- 问服务器:Ben 有哪几台设备,各自的公钥是什么;她自己除了这台手机,还有哪几台。
- 给每台设备各加密一份,包括她自己的其他设备(不然她的电脑看不到她用手机发的,这是第 16 章的那个问题)。
- 一次交给服务器,服务器按设备放进各自的信箱(下一节)。
单聊,Ana 两台设备,Ben 两台:Ben 的 2 份,加 Ana 自己电脑 1 份,一共 3 份。主线只传 1 份。
WhatsApp 的多设备文章(2021)就是这样:每台设备有自己的钥匙,发消息的客户端把一条消息加密、发送 N 次,给 N 台设备;手机之外最多再带 4 台。
设备列表要对。Ana 手上的“Ben 有几台设备”可能是旧的:Ben 昨天刚登录了一台电脑。Signal 的服务端会检查这一点,列表对不上就拒收,回错误码 409,说明里写着“给收件人的设备不对”(MessageController)。回复里列出缺了哪几台、多了哪几台,客户端补上、去掉,再发一次。
群里就贵了。 一个 100 人的群,每人 3 台设备,是 300 台;去掉发出的那台,299 份。加密会在 200 字节的消息上加钥匙编号、计数器和校验码,每份还带着收件设备的地址,和旁路 W4 一样按每份 300 字节算:一条消息要上传 89.7 KB,在第 8 章那种 2 Mbit/s 的弱网上要 0.36 秒,主线只传 200 字节。主线 500 人的徒步群,750 台设备,749 份,224.7 KB,0.9 秒。
所以群聊用另一种办法:发送者钥匙发送者密钥sender keys端到端加密的群里,每台设备生成一把自己的链钥匙,先经两两会话发给群里每台设备;以后每条消息只加密一次、上传一份。代价是有人退群时,每台设备都要换一把新的,再发一遍。在术语表里查看(sender key)。每台设备在群里有一把自己的钥匙(第 1 节说的那种,谁有谁就打得开),先像单聊那样给每个成员的每台设备各加密一份,发过去一次;之后每条消息只用它加密一份,交给服务器,由服务器发给群里所有设备。它们都已经有这把钥匙,所以一份就够。WhatsApp 的安全白皮书就是这样做的;有成员退群,所有人都清掉自己的 Sender Key,重新开始。299 份变 1 份,代价是钥匙分发和换钥匙,细节在旁支 W4:群组端到端加密。
照片不能乘 300。 一张 200 KB 的照片给每台设备各加密一份,是 299 × 200 KB = 59.8 MB,弱网上传 239 秒。白皮书里的做法:手机生成一把随机钥匙,把照片加密一次,上传到存储;再发一条普通的加密消息,里面放这把钥匙、文件的地址和哈希(文件内容的“指纹”,用来核对下载的文件没被换过)。上传还是 200 KB、0.8 秒;发 299 份的只是那条小消息。第 8 章“地址就是权限”的问题也跟着没了:拿到地址的人,没有钥匙也打不开。
4. 存:每台设备一个信箱,取走就删
主线的服务器把每条消息写进会话的时间线,一直留着;设备拿着自己的 seq序号(seq)会话里每条消息的编号,由负责这个会话的消息服务连续分配。它决定会话里的顺序,也让客户端发现缺了哪一条;手机回来时,也按它判断哪个会话落后了。在术语表里查看 来问“这之后有什么”(第 6 章)。现在每台设备的那份都不一样,服务器存的就是一份份给具体设备的密文。最直接的形状是:
- 每台设备一个信箱,按到达的顺序排。
- 设备连上就取;取到、存进本地数据库本地数据库local database手机上自己存的一份消息、会话和同步游标(记录版本、每个会话的 seq),通常是 SQLite。界面只读它,网络收到的东西先写进它;游标和它代表的消息在同一个事务里提交。在术语表里查看以后回 ACKACK(确认)接收方回给发送方的“收到了”。在本书里,服务端的 ACK 表示消息已经写进消息日志,不表示对方已经收到。在术语表里查看,服务器把这一份删掉。
- 设备一直不来取,过一段时间也删。
这是“存储转发存储转发store and forward服务器只替还没来取的设备暂存消息:取走就删,一直不来取的过一段时间也删(WhatsApp 是 30 天)。历史在用户自己的设备上,不在服务器。在术语表里查看”(store and forward),不是存档。Signal 的服务端代码里,删除就是按“收件人 + 设备 + 消息 id”删(MessagesManager);它的隐私政策说,服务器为暂时离线的设备排队存放端到端加密的消息,消息历史存在你自己的设备上。WhatsApp 的隐私政策说,消息送达后就从服务器上删掉;送不出去的,加密存最多 30 天,然后删除。
第 16 章的“其他答案”里有一条“每台设备一个信箱信箱inbox每人一份的收件索引,记着“有哪些新消息要给你”,有自己按人递增的序号。写扩散时写它,设备从自己的位置之后拉。第 6、10 章拿它和问遍所有会话比较,本书的 v2 没有用它。在术语表里查看”,当时没选:一条消息要给每台设备各写一条,徒步群一条写 750 条。这里它回来了,因为那 750 份本来就是 750 份不同的密文,写哪儿都得写。
算一下存多少。 按 v3 的量,每天 4 亿条消息:
- 主线存全部历史:4 亿 × 200 字节 = 每天 80 GB,一年 29.2 TB,三份副本 87.6 TB,还在一直涨。
- 信箱:每条平均到 10 台设备(本书从第 1 章起的假设:单聊到的少,群聊到的多),就是每天 40 亿份、每份 300 字节、1.2 TB 流过服务器。存着的量 = 流量 × 每份停留的时间。假设平均停 1 小时(在线的立刻取走,不在线的等推送叫醒),就是一小时的流量,50 GB;再假设 1% 的设备一去不回,它们的那份要停满 30 天:1.2 TB × 1% × 30 = 360 GB。一共 410 GB,三份副本 1.23 TB,不再增长。
一年以后,信箱存的只有主线的约 1/70(87.6 TB ÷ 1.23 TB = 71)。还有一点值得注意:这 1.23 TB 里 88% 是没人来取的那些。信箱的大小,主要由“多久算放弃”决定,不是由正常的设备决定。
写的次数却没有少。 v3 高峰,主线每秒写 13,900 条消息,再加第 11 章每个收件人一次的记录更新(每条平均 6.67 个收件人,第 6 章的假设)92,700 次、每次两行,一共每秒 199,300 行,按第 29 章一台存储每秒写 20,000 行,是 10 台。信箱每秒放进 139,000 份(13,900 × 10 台设备),又在 ACK 后删掉 139,000 份,删也是写:每秒 278,000 次,13.9 台,约 1.4 倍。存得少,换来的是写得多。
信箱也换掉了同步的形状。服务器不再按会话存时间线,就没有“每个会话最新的 seq”可扫(第 6 章),也没有服务器上的会话记录会话记录conversation record每人每个会话一行:置顶、免打扰、这个会话的最新 seq,以后还有读到哪。进群、退群、改设置时写;从第 11 章起,来了消息也改(写上最新 seq)。每次改动给这个人的记录版本加一。消息本身不在这里。在术语表里查看(第 10、11 章)。设备回来只问一句:“我的信箱里有什么。”会话列表由手机自己根据收到的消息排出来,就是第 10 章“客户端自己建”的那个答案。
5. 历史:在自己的设备之间搬
服务器上没有历史,Ana 的新平板第一次登录,就什么也拿不到。办法是让她的旧设备来给:
- WhatsApp:新设备一连上,主设备就把最近会话的消息打成一个包,加密以后传过去,钥匙用一条端到端加密的消息发给新设备(多设备文章)。
- Signal(2025 年 1 月):连接新的电脑或 iPad 时,用户可以选择带上聊天记录:手机把它压成一个包,用一把一次性的随机钥匙加密,经服务器转给新设备;最近 45 天的照片也可以带上。
用第 16 章的数,Ana 一年收发约 11 万条,文字 22 MB,由旧手机打包、加密一次,经服务器转给平板。前提是旧设备还在、还能开机。
所有设备都丢了,记录就没了。 除非用户自己开了加密备份:WhatsApp 2021 年起可以把备份端到端加密,钥匙由用户的密码或一串 64 位数字保护;Signal 2025 年推出安全备份,先在 Android 测试版上,用一串只在用户手里的 64 个字符的恢复码。备份的钥匙忘了,备份也打不开:这一点服务器帮不了。
6. 剩下的,搬到手机上
未读数。 由手机数(第 14 章说过)。手机有全部消息(它们都从信箱里取过),数起来不难;难的是几台设备之间读到哪要一致:“读到哪”也成了一条加密消息,发给自己的其他设备。
通知。 通知里什么都不放,只用它把 App 叫醒,App 自己去信箱取、解密,再显示。Signal 的服务端代码可以看到(APNSender、FcmSender):发给 iPhone 的是一条带 mutable-content 的通知,正文只是一个占位的 APN_Message,由 App 的通知扩展在手机上换成真正的内容;发给 Android 的是 FCM 的数据消息,键叫 newMessageAlert,值是空的。第 17 章说的是同一个扩展的另一种用法:通知里带着密文,由扩展在手机上解开,不用再去信箱取。两种都行;Signal 选的是通知里什么内容都不带。角标也由手机算。
撤回和编辑。 第 18 章的设计是:撤回也是会话里的一条,像普通消息一样走到每台设备。这一点不用大改,撤回就是一条加密消息:“把 msg_id 为 X 的删掉”,发给每台设备。变的是谁来查:第 18 章让服务端查时限,现在服务器看不出这是撤回,只能由收到的手机检查“是不是本人发的、有没有过时限”。改过的客户端可以不照办。
搜索。 只能搜本地数据库里的。第 16 章说过新设备上搜不全;在这里,这是唯一的搜索。
去重。 第 4 章的 msg_id消息 IDmessage ID客户端在发送之前给每条消息生成的唯一 ID,重发时不变。服务端靠它认出重发的消息。在术语表里查看 在密文里,服务器看不到;收件的手机解密以后按“发送者 + msg_id”去重,第 7 章本地库的唯一索引本来就这么做。
顺序。 第 5 章的 seq 是服务器给的;服务器看不懂内容,也就没法替两边担保顺序。Telegram 的私密聊天把两个计数器放在密文里,由两边的客户端自己数:收到的号比期待的小,是重复,扔掉;比期待的大,中间就有缺,先把这条放着,请对方把缺的那几条重发一遍;补不上,这个私密聊天就结束(Sequence numbers in secret chats)。这是第 5 章“跳号就补”搬到了手机之间。
7. 代价
- 丢了设备,就丢了记录。 除非用户开了加密备份,并且记得住钥匙。
- 新设备一开始是空的。 只有旧设备给的那些;旧设备不在手边,就从今天开始。
- 发一条更贵。 每台设备一份,群里靠发送者钥匙;设备列表要随时对;写的次数约 1.4 倍。
- 服务器帮不上忙。 没有服务端搜索、没有服务端算的角标、通知里没有内容;内容安全只能靠用户举报时自己交出消息。
- 撤回和编辑靠客户端守规矩。
- 钥匙要管。 换手机、重装 App,钥匙就变了,联系人那边要能看到“安全码变了”(安全码是由两人的公钥算出的一串数字,两人当面对一下,就知道中间没人换过钥匙);设备列表要能证明是本人加的。
8. 其他答案
- 服务器存密文历史。 Matrix 的房间历史一直存在服务器上,加密的也一样;为了让新设备读得了旧消息,客户端可以把解密用的钥匙加密后备份到服务器上,新设备用只有用户知道的那把钥匙解开它(服务器端钥匙备份)。Facebook Messenger 2023 年改成默认端到端加密时,没有走“送达就删”:它的手机一直只留一小份缓存、靠服务器上的历史,所以做了一套加密存储 Labyrinth,密文存在服务器上,设备按需取(文章)。
- 两种聊天并存。 Telegram 的普通聊天只加密传输,存在服务器上,哪台设备都能看;“私密聊天”端到端加密,只在创建它的那台设备上,不进云端。它的 FAQ 说,在端到端加密的框架里,新设备恢复聊天记录没有优雅的办法。
- 连谁发的都藏起来。 服务器总要知道送给谁,但不一定要知道谁发的。Signal 的 sealed sender(2018)把发送者放进密文里;它的私密群组系统(2019 年设计,2020 年起是它新群组的基础)把群成员名单加密存在服务器上,服务器能验证“你是成员”,却不知道成员是谁。
- 主线:只加密传输。 第 2 节那六件事都留得住。大多数聊天产品是这一档。
9. 这一章的决定
服务器读不懂的产品,讲完了。下一章正好反过来:客服。消息不只给对方看,还要给公司里的第二个、第三个客服看。
评论
评论存在 GitHub Discussions,需要 GitHub 账号。