切比雪夫不等式

切比雪夫不等式是概率论里的一个基本的不等式。利用这个不等式,我们可以证明概率论里的一些重要的定理,例如大数定律。这个视频我们证明了切比雪夫不等式并且由此证明了一个随机变量依概率1取常数值的充分必要条件为它的方差为0。

1,定理(切比雪夫不等式):设随机变量 \(X\) 具有数学期望 \(E(X)\),方差为 \(D(X)\),则对于任何正数 \(\epsilon>0\),有

\[P(|X-E(X)|)\ge\epsilon)\le\frac{D(X)}{\epsilon^2}\]或者

\[P(|X-E(X)|<\epsilon)>1-\frac{D(X)}{\epsilon^2}\]

证明:若 \(X\) 是离散型随机变量,具有分布律 \(P(X=x_i)=p_i\),则

\begin{align*}P(|X-E(X)|\ge\epsilon)&=\sum_{|X-E(X)|\ge\epsilon}p_i\\ &=\sum_{|X-E(X)|\ge\epsilon}1\cdot p_i\end{align*}

注意到 \(|X-E(X)|\ge\epsilon\),所以在此范围内 \((x_i-E(X))^2\ge\epsilon^2, \frac{x_i-E(X))^2}{\epsilon^2}\ge 1\),所以

\begin{align*}P(|X-E(X)|\ge\epsilon) &=\sum_{|X-E(X)|\ge\epsilon}1\cdot p_i\\ &\le \sum_{|X-E(X)|\ge\epsilon}\frac{(x_i-E(X))^2}{\epsilon^2}\cdot p_i\\ &\le \frac{1}{\epsilon^2}\sum_{i}(x_i-E(X))^2\cdot p_i\\ &=\frac{D(X)}{\epsilon^2}\end{align*}

若 \(X\) 是连续型,具有概率密度 \(f(x)\),则

\begin{align*}P(|X-E(X)|\ge\epsilon)&=\int_{|x_i-E(X)|\ge \epsilon}f(x)dx\\ &=\int_{|x_i-E(X)|\ge \epsilon}1\cdot f(x)dx\\ &\le \int_{|x_i-E(X)|\ge \epsilon}\frac{(x-E(X))^2}{\epsilon^2}\cdot f(x)dx\\ &\le \frac{1}{\epsilon^2}\int_{-\infty}^{\infty}(x-E(X))^2f(x)dx\\ &=\frac{D(X)}{\epsilon^2}\end{align*}

例1,设 \(X\) 在 \((0,10)\) 上服从均匀分布,估计 \(X\) 小于等于 \(1\) 或者大于等于 \(9\) 的概率。

解:均匀分布的期望与方差为

\[E(X)=\frac{a+b}{2}=5,\quad D(X)=\frac{(b-a)^2}{12}=\frac{25}{3}\]

由切比雪夫不等式,

\begin{align*}P(X\le 1\cup X\ge 9)&=P(|X-5|\ge 4\le \frac{D(X)}{4^2})\\ &=\frac{25}{3}\cdot \frac{1}{16}=\frac{25}{48}\end{align*}

实际上,由均匀分布的性质,可以知道 \(P(X\le 1\cup X\ge 9)=\frac{1}{5}\)。由此可以看出,切比雪夫不等式给出的估计是相当粗糙的。这个定理的意义在于可以证明一些定理,至于估计概率,它并不能给出很好的结果。

由切比雪夫不等式,可以得到随机变量取常数的充分必要条件:

2,定理:随机变量的方差为 \(0\) 的充分必要条件是 \(X\) 依概率 \(1\) 等于它的期望。即 \[P(|X-E(X)|=0)=1 \quad \text{或者}\quad P(|X-E(X)|>0)=0\]

证明:充分性:

\begin{align*}P(|X-E(X)|=0)=1&\Rightarrow\quad P(X=E(X))=1\\ \Rightarrow P(X^2=E^2(X))=1&\Rightarrow\quad P(X^2-E^2(X)=0)=1\\ &\Rightarrow \quad D(X)=E(X^2)-E^2(X)=0\end{align*}

必要性:若 \(D(X)=0\),则由切比雪夫不等式

\begin{align*}P(|X-E(X)|\ge\epsilon)\le \frac{D(X)}{\epsilon^2}\end{align*}

取 \(\epsilon=\frac{1}{n}\),则

\begin{align*}P(|X-E(X)|\ge\frac{1}{n})\le \frac{D(X)}{1/n^2}=0\end{align*}

因为

\[\{|X-E(X)|>0\}=\cup_{n=1}^{\infty}\{|X-E(X)|\ge\frac{1}{n}\}\]

所以

\begin{align*}P\{|X-E(X)|>0\}&=P\left(\cup_{n=1}^{\infty}\{|X-E(X)|\ge\frac{1}{n}\}\right)\\ &\le\sum_{n=1}^{\infty}P(|X-E(X)|\ge\frac{1}{n})\\ &=0 \end{align*}

也就是

\[P\{|X-E(X)|>0\}=0\quad\Rightarrow\quad P(|X-E(X)|=0)=1\]