{"content":"《数学编年史》· 香农与信息论——通信的数学理论\n公元1948年 · 美国/贝尔实验室\n\n1948年，32岁的克劳德·香农在《贝尔系统技术期刊》上发表了一篇长达79页的论文——《通信的数学理论》。这篇论文不是修补某个技术细节，而是凭空开创了一门全新的学科：信息论。它回答了一个看似简单却从未被数学化的问题：信息到底是什么？\n\n香农给出了一个石破天惊的答案：信息就是「不确定性的消除」。一条消息携带的信息量，取决于它从多少可能性中选出了这一条。他用概率论定义了这个量——信息熵 H = -Σ p log₂ p，单位是「比特」（bit）。这个词源自约翰·图基（John Tukey）在贝尔实验室的一份备忘录，香农把它变成了全世界通用的基本单位。\n\n信息论的两条核心定理至今统治着通信世界：\n\n1. 无噪声编码定理（信源编码定理）：只要平均编码长度不低于信源熵，信息就可以无损压缩。这意味着存在一个不可逾越的压缩极限——这就是ZIP、MP3、JPEG、H.264等一切压缩算法的理论基础。\n\n2. 有噪声信道编码定理：对任何信道，只要信息传输速率低于信道容量C，就存在一种纠错编码可以使错误率任意趋近于零。这听起来像魔法，但它证明了在噪声中也可以完美通信——从CD光盘的划痕纠错到旅行者号穿越太阳系传回照片，都依赖这个定理。\n\n香农之前，通信工程关心的是「如何把信号发得更远、更清晰」；香农之后，问题变成了「信道最多能传多少信息」——这是一个从物理问题到数学问题的根本跃迁。他把通信变成了概率论的一个应用分支，把「信息」从日常用语提升为严格定义的数学量。\n\n香农本人有一种令人着迷的「玩耍式研究」风格。他在贝尔实验室走廊里骑独轮车、同时玩杂耍；他发明了可以自行解谜的「忒修斯迷宫老鼠」、可以计算罗马数字的计算机THROBAC，甚至设计了用喷气推进的飞盘和能下棋的程序。但他最重要的遗留是：世界从此可以用数学精确地讨论「信息」。\n\n如今，信息论的影响远不止通信。它渗透到统计学（最大熵原理）、物理学（麦克斯韦妖的信息解释）、生物学（DNA的信息编码）、语言学、经济学乃至深度学习的互信息损失函数之中。它和冯·诺伊曼的存储程序计算机并列为信息时代的两大数学根基，塑造了我们生存的这个数字世界。\n\n（明日续：纳什均衡——博弈论在20世纪下半叶的复兴）","contentType":"text/plain;utf-8","attachments":[],"quotePin":""}