1. 1. 概览
2. 2. 熵、相对熵和互信息
3. 1. 2.1. 熵
   2. 2.2. 联合熵和条件熵
   3. 2.3. 相对熵和互信息
   4. 2.4. 熵和互信息之间的关系
   5. 2.5. 熵、相对熵和互信息的链式法则
   6. 2.6. Jensen不等式及其结果
   7. 2.7. 对数求不等式及其应用
   8. 2.8. 数据处理不等式
   9. 2.9. 充分统计量
   10. 2.10. 法诺不等式
   11. 2.11. 总结
4. 3. 渐近均分性质
5. 1. 3.1. 渐近均分性定理
   2. 3.2. AEP 的结果：数据压缩
   3. 3.3. 高概率集合和典型集合
   4. 3.4. 总结
   5. 3.5. 问题
6. 4. 随机过程的熵率
7. 1. 4.1. 马尔可夫链
   2. 4.2. 随机过程的熵率
   3. 4.3. 示例：加权图上随机游走的熵率
   4. 4.4. 热力学第二定律
   5. 4.5. 马尔可夫链的函数
   6. 4.6. 总结
8. 5. 数据压缩
9. 1. 5.1. 编码示例
   2. 5.2. Kraft不等式
   3. 5.3. 最优编码
   4. 5.4. 最优码长的边界
   5. 5.5. 唯一可解码编码的 Kraft 不等式
   6. 5.6. 霍夫曼编码
   7. 5.7. 关于霍夫曼编码的一些评论
   8. 5.8. 霍夫曼码的最优性
   9. 5.9. 香农-法诺-埃利亚斯编码
   10. 5.10. 香农码的竞争最优性
   11. 5.11. 从公平硬币生成离散分布
   12. 5.12. 总结
10. 6. 赌博和数据压缩
11. 1. 6.1. 赛马
    2. 6.2. 赌博和附加信息
    3. 6.3. 依赖赛马和熵率
    4. 6.4. 英语的熵
    5. 6.5. 数据压缩和赌博
    6. 6.6. 英语熵的赌博估计
    7. 6.7. 总结
12. 7. 信道容量
13. 1. 7.1. 信道容量示例
    2. 7.2. 对称信道
    3. 7.3. 信道容量的性质
    4. 7.4. 信道编码定理预览
    5. 7.5. 定义
    6. 7.6. 联合典型序列
    7. 7.7. 信道编码定理
    8. 7.8. 零误差编码
    9. 7.9. 法诺不等式及其编码定理的逆定理
    10. 7.10. 信道编码定理逆定理的等式
    11. 7.11. 汉明编码
    12. 7.12. 反馈容量
    13. 7.13. 源信道分离定理
    14. 7.14. 总结
14. 8. 微分熵
15. 1. 8.1. 定义
    2. 8.2. 连续随机变量的AEP
    3. 8.3. 微分熵与离散熵的关系
    4. 8.4. 联合和条件微分熵
    5. 8.5. 相对熵和互信息
    6. 8.6. 微分熵、相对熵和互信息的性质
    7. 8.7. 总结
16. 9. 高斯信道
17. 1. 9.1. 高斯信道：定义
    2. 9.2. 高斯信道编码定理的逆
    3. 9.3. 带限信道
    4. 9.4. 并行高斯信道
    5. 9.5. 有色高斯噪声信道
    6. 9.6. 带反馈的高斯信道
    7. 9.7. 总结
18. 10. 率失真理论
19. 1. 10.1. 量化
    2. 10.2. 定义
    3. 10.3. 率失真函数的计算
    4. 10.4. 率失真定理的逆
    5. 10.5. 率失真函数的可实现性
    6. 10.6. 强典型序列和率失真
    7. 10.7. 率失真函数的表征
    8. 10.8. 信道容量计算和率失真函数
    9. 10.9. 总结
20. 11. 信息论与统计学
21. 1. 11.1. 类型方法
    2. 11.2. 大数定律
    3. 11.3. 通用源编码
    4. 11.4. 大偏差理论
    5. 11.5. 萨诺夫定理示例
    6. 11.6. 条件极限定理
    7. 11.7. 假设检验
    8. 11.8. 切尔诺夫-斯坦引理
    9. 11.9. 切尔诺夫信息
    10. 11.10. 费舍尔信息与克莱默-拉奥不等式
    11. 11.11. 总结
22. 12. 最大熵
23. 1. 12.1. 最大熵分布
    2. 12.2. 示例
    3. 12.3. 异常最大熵问题
    4. 12.4. 频谱估计
    5. 12.5. 高斯过程的熵率
    6. 12.6. 伯格最大熵定理
    7. 12.7. 总结
24. 13. 通用信源编码
25. 1. 13.1. 通用编码和信道容量
    2. 13.2. 二进制序列的通用编码
    3. 13.3. 算术编码
    4. 13.4. Lempel-Ziv编码
    5. 13.5. Lempel–Ziv 算法的最优性
    6. 13.6. 总结
26. 14. 柯尔莫哥洛夫复杂性
27. 1. 14.1. 计算模型
    2. 14.2. 柯尔莫哥洛夫复杂性：定义和示例
    3. 14.3. 柯尔莫哥洛夫复杂性和熵
    4. 14.4. 整数的柯尔莫哥洛夫复杂性
    5. 14.5. 算法随机且不可压缩的序列
    6. 14.6. 普遍概率
    7. 14.7. 柯尔莫哥洛夫复杂性
    8. 14.8. 欧米噶
    9. 14.9. 通用赌博
    10. 14.10. 奥卡姆剃刀
    11. 14.11. 柯尔莫哥洛夫复杂性和普遍概率
    12. 14.12. 柯尔莫哥洛夫充分统计
    13. 14.13. 最小描述长度原理
    14. 14.14. 总结
28. 15. 网络信息论
29. 1. 15.1. 高斯多用户信道
    2. 15.2. 联合典型序列
    3. 15.3. 多址信道
    4. 15.4. 相关源的编码
    5. 15.5. Slepian-Wolf编码与多址信道的对偶性
    6. 15.6. 广播信道
    7. 15.7. 中继信道
    8. 15.8. 带有辅助信息的源编码
    9. 15.9. 带有辅助信心的率失真
    10. 15.10. 通用多端网络
    11. 15.11. 总结
30. 16. 信息论与投资组合理论
31. 1. 16.1. 股票市场：一些定义
    2. 16.2. 对数最优投资组合的Kuhn-Tucker特征
    3. 16.3. 对数最优投资组合的渐近最优性
    4. 16.4. 附加信息和增长率
    5. 16.5. 固定市场投资
    6. 16.6. 对数最优投资组合的竞争最优性
    7. 16.7. 通用投资组合
    8. 16.8. 香农-麦克米兰-布雷曼定理（通用AEP
    9. 16.9. 总结
32. 17. 信息论中的不等式
33. 1. 17.1. 信息论基本不等式
    2. 17.2. 微分熵
    3. 17.3. 熵和相对熵的界限
    4. 17.4. 类型的不等式
    5. 17.5. 熵的组合边界
    6. 17.6. 子集的熵率
    7. 17.7. 熵和费雪信息
    8. 17.8. 熵幂不等式和布伦-闵可夫斯基不等式
    9. 17.9. 行列式不等式
    10. 17.10. 行列式比率不等式
    11. 17.11. 总结