大数定律是概率论里的基本定理。它说明了试验的频率收敛于概率这一事实，或者说从理论上说明了随机变量依概率收敛于它的期望。
1，伯努利大数定律：设 \(S_n\) 为 \(n\) 重伯努利试验中 \(A\) 出现的次数，\(p\) 为每次试验中 \(A\) 出现的概率，则对于任意的 \(\epsilon>0\)，有
\[\lim_{n\to\infty}P\left\{\left|\frac{1}{n}S_n-p\right|<\epsilon\right\}=1\]也就是说，\(A\) 出现的频率收敛于它的概率。
证明：由切比雪夫不等式 \(1\ge P\left\{\left|\frac{1}{n}S_n-p\right|<\epsilon\right\}\ge 1-\frac{D\left(\frac{1}{n}S_n\right)}{\epsilon^2}\)
但是 \(S_n=X_1+X_2+\cdots+X_n\)，\(X_1,X_2,\cdots,X_n\) 相互独立同分布，\(E(X_i)=p\)， \(D(X_i)=p(1-p)\)，
\begin{align*}D\left(\frac{1}{n}S_n\right)&=D\left(\frac{1}{n}\sum_{i=1}^nX_i\right)=\frac{1}{n^2}\sum_{i=1}^nD(X_i)\\&=\frac{np(1-p)}{n^2}=\frac{p(1-p)}{n}\end{align*}
所以
\[1\ge P\left\{\left|\frac{1}{n}S_n-p\right|<\epsilon\right\}\ge 1-\frac{1}{\epsilon^2}\cdot\frac{p(1-p)}{n}\]
当 \(n\to\infty\) 时，就得到了（极限的夹挤原理，三明治定理）
\[\lim_{n\to\infty}P\{\left|\frac{1}{n}S_n-p\right|<\epsilon\}=1\]
2，一般大数定律的形式是随机变量的平均值收敛于数学期望的平均值
\[\lim_{n\to\infty}P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)\right|<\epsilon\right\}=1\]
3，辛钦大数定律（弱大数定律）：设 \(X_1,X_2,\cdots,X_n\) 独立同分布，期望为 \(E(X_i)=\mu, i=1,2,\cdots,n\)，则对任意的 \(\epsilon>0\)， 有
\[\lim_{n\to\infty}P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\mu\right|<\epsilon\right\}=1\]
证明：因为 \(\displaystyle E\left(\frac{1}{n}\sum_{i=1}^nX_i\right)=\mu\)，由切比雪夫不等式，
\begin{align*}1\ge P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\mu\right|<\epsilon\right\}&\ge 1-\frac{D\left(\frac{1}{n}\sum_{i=1}^nX_i\right)}{\epsilon^2}\\ &=1-\frac{1}{n^2}\frac{D(\sum_{i=1}^nX_i)}{\epsilon^2}\\ &=1-\frac{1}{n^2}\frac{n\sigma^2}{\epsilon^2}=1-\frac{\sigma^2}{n\epsilon^2}\\ &\to 1\end{align*}这里 \(\sigma^2=D(X_i), i=1,2,\cdots,n\)，证毕。
4，切比雪夫大数定律：设 \(\{X_i\}\) 为两两独立的随机变量序列，若 \(E(X_i)=\mu_i, i=1,2,\cdots\)， \(D(X_i)=\sigma_i^2\) 存在，且 \(\sigma_i^2,\le c\)，则
\[\lim_{n\to\infty}P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)\right|<\epsilon\right\}=1\]
证明：\begin{align*}1\ge P\left\{\left|\frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^nE(X_i)\right|<\epsilon\right\}&\ge 1-\frac{D\left(\frac{1}{n}\sum_{i=1}^nX_i\right)}{\epsilon^2}\\ &=1-\frac{1}{n^2}\frac{\sum_{i=1}^nD(X_i)}{\epsilon^2}\\ &\ge 1-\frac{1}{n^2}\frac{nc}{\epsilon^2}\\ &=1-\frac{c}{n\epsilon^2}\\ &\to 1\end{align*}