这里我们用具体的例子来说明如何使用最大似然估计法来估计未知参数。
上一个视频我们讲述了最大似然估计的求法，就是对对数似然函数 \(\ln L(\theta)\) 求 \(\theta\) 的导数，利用微积分知识求出最大值。我们来看一些最大似然估计的例子。
例1，设 \(x_1,x_2,\cdots,x_n\) 为来自于两点分布的总体的一组样本观测值，未知参数为 \(p\)，试求 \(p\) 的最大似然估计值。
解：因为两点分布的分布律为 \(P(X=0)=1-p, P(X=1)=p\)，可以用一个函数表示为
\[P(X=x)=(1-p)^{1-x}p^x, x=0,1\]
所以最大似然函数为
\begin{align*}L(\theta)=\prod_{i=1}^{n}(1-p)^{1-x_i}p^{x_i}\\&=(1-p)^{1-x_1}p^{x_1}\cdot (1-p)^{1-x_2}p^{x_2}\cdots(1-p)^{1-x_n}p^{x_n}\\ &=(1-p)^{\sum_{i=1}^n(1-x_i)}\cdot p^{\sum_{i=1}^nx_i}\end{align*}
对数似然函数为 \[\ln L(\theta)=\ln(1-p)\sum_{i=1}^n(1-x_i)+\ln p\sum_{i=1}^nx_i\]
对 \(\theta\) 求导，
\[\frac{d \ln L(\theta)}{d\theta}=-\frac{\sum_{i=1}^n(1-x_i)}{1-p}+\frac{\sum_{i=1}^nx_i}{p}\]
令导数等于 \(0\)，得到
\begin{array}{lll}\frac{d \ln L(\theta)}{d\theta}=0&\Rightarrow& \frac{\sum_{i=1}^n(1-x_i)}{1-p}=\frac{\sum_{i=1}^nx_i}{p}\\ &\Rightarrow& p\sum_{i=1}^n(1-x_i)=(1-p)\sum_{i=1}^nx_i\\ &\rightarrow& pn=\sum_{i=1}^nx_i\\ &\Rightarrow& \hat{p}=\frac{1}{n}\sum_{i=1}^nx_i=\bar{x}\end{array}
例2，设 \(x_1,x_2,\cdots,x_n\) 为来自于正态分布 \(N(\mu,\sigma^2)\) 的总体的一组样本观测值，求 \(\mu,\sigma^2\) 的最大似然估计。
解：因为 \(X\) 的概率密度为 \(f(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)，所以似然函数为
\begin{align*}L(\mu,\sigma^2)&=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}\\ &=(2\pi)^{-\frac{n}{2}}(\sigma^2)^{-\frac{n}{2}}e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2}\end{align*}
对数似然函数为
\[\ln L(\mu,\sigma^2)=-\frac{n}{2}\ln(2\pi)-\frac{n}{2}\ln(\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\]
关于 \(\mu,\sigma^2\) 求偏导 （将 \(\sigma^2\) 看成一个变量），有
\begin{align*}\frac{\partial \ln L(\mu,\sigma^2)}{\partial\mu}&=-\frac{1}{2\sigma^2}\sum_{i=1}^n2(x_i-\mu)\cdot(-1)\\ &=\frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu)=\frac{1}{\sigma^2}\sum_{i=1}^nx_i-n\mu\end{align*}
\begin{align*}\frac{\partial \ln L(\mu,\sigma^2)}{\partial \sigma^2}&=-\frac{n}{2}\cdot\frac{1}{\sigma^2}+\frac{1}{2}\cdot\frac{1}{(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2\end{align*}
令这两个偏导数都等于 \(0\)，得到
\begin{cases}\frac{1}{\sigma^2}\sum_{i=1}^nx_i-n\mu=0\\ -\frac{n}{2}\cdot\frac{1}{\sigma^2}+\frac{1}{2}\cdot\frac{1}{(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2=0\end{cases}
第一个方程给出 \(\sum_{i=1}^nx_i=n\mu\)，也就是 \[\hat{\mu}=\frac{1}{n}\sum_{i=1}^nx_i=\bar{x}\]
第二个方程给出 \(n\sigma^2=\sum_{i=1}^n(x_i-\mu)^2\)，也就是
\[\hat{\sigma^2}=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2\]