熵、相对熵和互信息

本章将介绍后续理论发展所需的大部分基本定义。我们忍不住要尝试它们之间的关系和解释，并相信它们未来的实用性。在定义了熵和互信息之后，我们将建立链式法则、互信息的非负性以及数据处理不等式，并通过考察充分统计和法诺不等式来说明这些定义。

信息的概念过于宽泛，无法用单一定义完全概括。然而，对于任何概率分布，我们定义了一个称为熵的量，它具有许多与信息度量的直观概念相符的属性。该概念被扩展用于定义互信息，互信息是衡量一个随机变量包含的关于另一个随机变量的信息量的指标。熵随后成为随机变量的自信息。互信息是更通用的量——相对熵——的一个特例，相对熵是衡量两个概率分布之间距离的指标。所有这些量都密切相关，并具有许多简单的属性，其中一些属性我们将在本章中推导。

在后面的章节中，我们将展示这些量是如何自然地解答通信、统计、复杂性和赌博等诸多领域的问题的。这将是对这些定义价值的终极检验。