最大似然估计法基于这样的理论：未知应该就是使得样本函数达到最大值的那个值。从而可以使用微积分来估计未知参数。
我们先看一个例子
例1，设有两袋球，\(A\) 袋中有 \(99\) 个白球，\(1\) 个黑球，\(B\) 袋中有 \(99\) 个黑球，\(1\) 个白球。现任取一袋，从中任取一球，取到黑球，问是哪一个袋中的球。
很显然，一般都认为是 \(B\) 袋中的球，因为 \(B\) 袋中的黑球占比远大于 \(A\) 袋中的，也就是说，在 \(B\) 袋中取到黑球的概率要远远大于 \(A\) 袋中取到黑球的概率。这就是最大似然估计的思想：未知参数应该就是能够取到这些样本的最可能的值。
1，最大似然函数：设 \(x_1,x_2,\cdots,x_n\) 为来自于总体的一组样本观测值。设总体的分布律为 \(p(x;\theta)\) 或者概率密度为 \(f(x;\theta)\)，则函数
\[L(x_1,\cdots,x_n;\theta)=\prod_{i=1}^{n}p(x_i;\theta)\]
或者\[L(x_1,\cdots,x_n;\theta)=\prod_{i=1}^{n}f(x_i;\theta)\]
称为样本的似然函数。最大似然估计就是求似然函数的最大值。
2，最大似然估计：求出 \(\hat{\theta}\)，使得似然函数在这一点处取到最大值，也就是
\[L(x_1,\cdots,x_n;\hat{\theta})=\max_{\theta\in I}L(x_1,\cdots,x_n;\theta)\]
其中 \(I\) 是 \(\theta\) 的取值范围。而求函数的最大值可以通过求函数的导数得到。
3，对数似然函数：因为直接求似然函数的最大值比较烦琐，因为是一系列的连乘积，它的导数很复杂；又因为函数和它的对数在同一点处取到最大值，所以我们对对数似然函数
\[\ln L(x_1,x_2,\cdots,x_n;\theta)\]
求最大值，它的导数比较好求，因为对数将乘积化成了和。
4，最大似然估计的求法：对对数似然函数求 \(\theta\) 的导数，利用微积分知识求出最大值。如果有多个未知参数，则求偏导数。