问题

3.1 马尔可夫不等式和切比雪夫不等式

（a）（马尔可夫不等式）对于任意非负随机变量X，和任意\(t\gt 0\)，证明 \[Pr\{X\ge t\} \le \frac{EX}{t}. \tag{3.31}\]

展示一个满足该不等式中等式的随机变量。

（b）（切比雪夫不等式）设Y为均值为\(\mu\)，方差为\(\sigma^2\)的随机变量。通过令\(X =(Y-\mu)^2\)，证明

对于任意\(\epsilon \gt 0\)，

\[Pr\{|Y-\mu|\gt \epsilon\}\le \frac{\sigma^2}{\epsilon^2}.\tag{3.32}\]

（c）（弱大数定律）设\(Z_1,Z_2,\dots,Z_n\)是均值为\(\mu\)，方差为\(\sigma^2\)的随机变量的i.i.d序列。\(\overline{Z_n} = \frac{1}{n}\sum_{i=1}^n Z_i\)为样本均值。证明

\[Pr\{|\overline{Z_n} -\mu| \gt \epsilon\} \le \frac{\sigma^2}{n\epsilon^2}.\tag{3.33}\]

因此，\(Pr\{|\overline{Z_n} -\mu| \gt \epsilon\} \rightarrow 0\)随着\(n \rightarrow\infty\)。这被称为弱大数定律。

3.2 AEP和互信息。 设\((X_i,Y_i)\)为服从p(x,y)的i.i.d。我们形成X和Y是独立的假设vs. X和Y是相关的假设的对数似然比率。下式的极限是？ \[\frac{1}{n}\ \text{log}\ \frac{p(X^n)p(Y^n)}{p(X^n, Y^n)}?\]