随机过程的熵率

第三章中的渐近均分性质表明，平均而言，nH(X) bits足以描述 n 个独立同分布的随机变量。但如果这些随机变量是相关的呢？特别是，如果这些随机变量构成一个平稳过程呢？我们将证明，就像在独立同分布的情况一样，熵 \(H(X_1, X_2, \dots, X_n)\) 随 n 以速率 \(H(\mathcal{X})\)（渐近地）线性增长，我们称之为该过程的熵率。 \(H(\mathcal{X})\)作为最佳可实现数据压缩的解释将在第5章中进行分析。