率失真理论

描述任意实数都需要无限数量的比特（bits），因此连续随机变量的有限表示永远不可能完美。我们能做到多好呢？为了恰当地提出这个问题，有必要定义源表示的“优度”。这可以通过定义失真度量来实现，该度量衡量随机变量与其表示之间的距离。率失真理论的基本问题可以表述如下：给定源分布和失真度量，在特定率下可实现的最小预期失真是多少？或者，等效地，实现特定失真所需的最小率描述是多少？

该理论最引人入胜的方面之一是，联合描述比单独描述更有效。用一个描述来描述大象和鸡比单独描述它们更简单。即使对于独立的随机变量也是如此。同时描述 X1 和 X2（每个变量都具有给定的扭曲度）比单独描述它们更简单。为什么独立问题没有独立的解？答案就在几何学中。显然，矩形网格点（由独立描述产生）无法有效地填充空间。

率失真理论既可以应用于离散随机变量，也可以应用于连续随机变量。第五章中的零误差数据压缩理论是率失真理论的一个重要特例，它应用于零失真的离散源。我们首先考虑一个简单的问题：用有限数量的比特表示单个连续随机变量。