信道容量

当我们说 A 与 B 通信时，我们指的是什么？我们的意思是，A 的物理行为在 B 中引发了期望的物理状态。这种信息传输是一个物理过程，因此会受到不可控的环境噪声和物理信号传输过程本身缺陷的影响。如果接收方 B 和发送方 A 就发送的内容达成一致，则通信成功。

在本章中，我们将找出通信信道使用 n 次时可分辨信号的最大数量。这个数字随 n 指数增长，其指数称为信道容量。将信道容量（可分辨信号数的对数）表征为最大互信息是信息论的核心和最著名的成就。

物理信号系统的数学模拟如图 7.1 所示。来自某个有限字母表的源符号被映射到某个信道符号序列中，然后产生信道的输出序列。输出序列是随机的，但其分布取决于输入序列。我们尝试从输出序列中恢复传输的消息。