估计量的评选标准

我们从前面的点估计方法知道,参数的点估计方法有多种。原则上,任何统计量都可以作为未知参数的点估计,那么问题来了:哪一种估计更好、更接近于未知参数呢?这里我们有一些评估的标准,主要的有三个:无偏性、有效性和相合性(也叫一致性)。

这里我们叙述了这三个标准的定义,并且用例题说明了如何判断估计量符合这样的要求。

1,无偏性: \(E(\hat{\theta})=\theta\)。

例1,\(\bar{x}\) 是总体均值的无偏估计。因为\(\displaystyle\bar{x}=\frac{1}{n}\sum_{i=1}^nx_i\),所以

\[E(\bar{x})=E\left(\frac{1}{n}\sum_{i=1}^nx_i\right)=\frac{1}{n}\sum_{i=1}^nE(x_i)=\frac{1}{n}\cdot n\mu=\mu\]

例2,样本方差 \(\displaystyle s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2\) 是总体方差 \(\sigma^2\) 的无偏估计。

证明:首先,将和式里的表达式简化

\begin{align*}\sum_{i=1}^n(x_i-\bar{x})^2&=\sum_{i=1}^n(x_i^2-2x_i\bar{x}+\bar{x}^2)\\ &=\sum_{i=1}^nx_i^2-2\bar{x}\sum_{i=1}^nx_i+n\bar{x}^2\\ &=\sum_{i=1}^nx_i^2-2\cdot\frac{1}{n}\sum_{i=1}^nx_i\cdot\sum_{i=1}^nx_i+n\bar{x}^2\\ &=\sum_{i=1}^nx_i^2-2n\frac{1}{n}\sum_{i=1}^nx_i\cdot\frac{1}{n}\sum_{i=1}^nx_i+n\bar{x}^2\\ &=\frac{1}{n}\sum_{i=1}^nx_i^2-2n\bar{x}^2+n\bar{x}^2\\ &=\frac{1}{n}\sum_{i=1}^nx_i^2-n\bar{x}^2\end{align*}

所以样本方差为

\[S^2=\frac{1}{n-1}\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)\]

它的期望为

\begin{align*}E(S^2)&=E\left\{\frac{1}{n-1}\left(\sum_{i=1}^nx_i^2-n\bar{x}^2\right)\right\}\\ &=\frac{1}{n-1}\left(\sum_{i=1}^nE(x_i^2)-nE(\bar{x}^2)\right)\\ &=\frac{1}{n-1}\left(\sum_{i=1}^n(\sigma^2+\mu^2)-n(D(\bar{x})+E(\bar{x}^2))\right)\\&=\frac{1}{n-1}\left(\sum_{i=1}^n(\sigma^2+\mu^2)-n(D(\bar{x})+E(\bar{x}^2))\right)\\&=\frac{1}{n-1}\left(n\sigma^2+n\mu^2-n(\frac{\sigma^2}{n}+\mu^2\right)\\ &=\frac{1}{n-1}(n-1)\sigma^2=\sigma^2\end{align*}

所以,样本方差 \(S^2\) 是总体方差 \(\sigma^2\) 的无偏估计。

2,有效性:若 \(D(\hat{\theta_1})\le D(\hat{\theta_2})\),称 \(\hat{\theta_1}\) 比 \(\hat{\theta_2}\) 更有效。

例3,设 \(x_1,x_2,x_3\) 为来自于均值为 \(\mu\),方差为 \(\sigma^2\) 的一组样本观测值,\(\displaystyle\hat{\theta_1}=\frac{1}{3}(x_1+x_2+x_3)\), \(\displaystyle\hat{\theta_2}=\frac{1}{2}x_1+\frac{1}{3}x_2+\frac{1}{6}x_3)\),试证明 \(\hat{\theta_1}\) 和 \(\hat{\theta_2}\) 都是 \(\mu \) 的无偏估计并确定哪一个估计量更有效。

证明:\begin{align*}E(\hat{\theta_1})&=E\left(\frac{1}{3}(x_1+x_2+x_3)\right)\\ &=\frac{1}{3}(E(x_1)+E(x_2)+E(x_3))\\&=\frac{1}{3}(\mu+\mu+\mu)=\mu\end{align*}

所以 \(\hat{\theta_1}\) 是 \(\mu\) 的无偏估计。

\begin{align*}E(\hat{\theta_2})&=E\left(\frac{1}{2}x_1+\frac{1}{3}x_2+\frac{1}{6}x_3)\right)\\ &=\frac{1}{2}E(x_1)+\frac{1}{3}E(x_2)+\frac{1}{6}E(x_3))\\&=\frac{1}{2}\mu+\frac{1}{3}\mu+\frac{1}{6}\mu)=\mu\end{align*}

所以 \(\hat{\theta_2}\) 也是 \(\mu\) 的无偏估计。

\begin{align*}D(\hat{\theta_1})&=D\left(\frac{1}{3}(x_1+x_2+x_3)\right)\\ &=\frac{1}{9}(D(x_1)+D(x_2)+D(x_3))\\ &=\frac{1}{9}(\sigma^2+\sigma^2+\sigma^2)=\frac{1}{3}\sigma^2\end{align*}

\begin{align*}D(\hat{\theta_1})&=D\left(\frac{1}{2}x_1+\frac{1}{3}x_2+\frac{1}{6}x_3)\right)\\ &=\frac{1}{4}D(x_1)+\frac{1}{9}D(x_2)+\frac{1}{36}D(x_3)\\ &=\left(\frac{1}{4}+\frac{1}{9}+\frac{1}{36}\right)\sigma^2=\frac{7}{18}\sigma^2\end{align*}

可以看到 \(D(\hat{\theta_1})<D(\hat{\theta_2})\),所以 \(\hat{\theta_1}\) 比 \(\hat{\theta_2}\) 更有效。

3,相合性(一致性):若对任意的 \(\epsilon>0\),

\[\lim_{n\to \infty}P\{|\hat{\theta}-\theta|<\epsilon\}=1\]

则称 \(\hat{\theta}\) 是 \(\theta\) 的相合估计量。

例4,\(\bar{x}\) 是总体均值 \(\mu \) 的相合估计。

证明:由切比雪夫不等式,

\begin{align*}P\{|\bar{x}-E(\bar{x})|<\epsilon\}\ge 1-\frac{D(\bar{x})}{\epsilon^2}\end{align*}

因为 \(E(\bar{x})=\mu\), 上式就 是

\begin{align*}P\{|\bar{x}-\mu)|<\epsilon\}&\ge 1-\frac{D(\bar{x})}{\epsilon^2}\\ &=1-\frac{1}{\epsilon}\cdot\frac{\sigma^2}{n}\\ &\to 1,\quad n\to\infty\end{align*}

所以 \(\bar{x}\) 是总体均值 \(\mu \) 的相合估计。