极大似然估计与贝叶斯估计

极大似然估计

核心思想

已知某个随机变量的样本集合X符合某种概率分布，但是这个分布的超参数$\theta$还未知。此时即可通过极大似然估计得到$\hat \theta$，令估计得到的$\hat \theta$使得这个样本集合出现的概率最大。即
$\hat{\boldsymbol{\theta}}=\arg \max _{\boldsymbol{\theta}} P(D | \boldsymbol{\theta})$
也就是说参数是自变量，集合出现的概率是应变量。

一般步骤

写出似然函数
$L\left(\theta_{i}\right)=\prod_{i=1}^{N} f\left(x_{i}, \theta_{1}, \theta_{2} \dots \theta_{n}\right)$
对似然函数取对数
$\ln L\left(\theta_{i}\right)$
对$\theta_i$求偏导数
$\frac{\partial}{\partial \theta_{t}} \ln L(\theta)$
解似然方程组
$\frac{\partial}{\partial \theta_{t}} \ln L(\theta)=0$

具体实例

来推导下面正态分布中，概率密度函数的参数$\mu$的极大似然估计。概率密度函数如下
$f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)$
按照上面所给的一般步骤，第一步求各个样本$x_i$出现的概率之积，也就是似然函数：
$\mathrm{L}(\mu)=\prod_{i=1}^{n} f\left(x_{i}, \mu\right)=\prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right)$
第二步对似然函数取对数：
$\ln \mathrm{L}(\mu)=-\mathrm{n} \ln (\sqrt{2 \pi} \sigma)-\frac{1}{2 \sigma^{2}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)^{2}$
第三步对所有的自变量（超参数）求偏导数，这里只有一个自变量也就是$\mu$，所以对其求导即可：
$\frac{\partial}{\partial \mu} \ln \mathrm{L}(\mu)=-\frac{1}{\sigma^{2}} \sum_{i=1}^{n}\left(x_{i}-\mu\right)$
第四部解似然方程（多个自变量超参数的时候就是解方程组）
$\frac{\partial}{\partial \mu} \ln \mathrm{L}(\mu)=0 \Rightarrow \hat{\mu}=\frac{1}{n} \sum_{i=1}^{n} x_{i}=\bar{x}$

贝叶斯估计

核心思想

已知某个随机变量的样本集合X符合某种概率分布，但是这个分布的超参数$\theta$还未知。此时即可通过贝叶斯估计得到$\hat \theta$，通过已经发生的样本集合X（也可以理解为数据集D）找到对应概率最大的那个$\hat \theta$。即
$\hat{P}(\theta | D)=\frac{P(\theta) P(D | \theta)}{P(D)}$
而极大似然估计求取的目标是找到最大的那个$\hat{P}(D | \theta)$。这就是极大似然估计和贝叶斯估计不一样的地方。
贝叶斯估计的基础条件就是认为参数$\theta$本身就符合某个概率分布，这就解释了上式中的$P(\theta)$，这是一个先验概率分布。而$P(D | \theta)$是似然函数，$P(\theta | D)$是后验概率分布。

一般步骤

第一步是得出表达式，其他步骤和极大似然估计的一般步骤部分相同。

具体实例

求解下面正态分布的参数$\mu$的贝叶斯估计，假设已知$\mu$的先验分布是正态分布$N(0, \tau^2)$，根据数据集（也就是n个样本）写出贝叶斯估计。正态分布概率密度函数如下
$f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)$
首先写出待求的已知样本集情况下参数分布的表达式，也就是$\hat{P}(\theta | D)$：
$\mathrm{P}\left(\mu | \mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)=\frac{P\left(\mu, \mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)}{P\left(\mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)}=\frac{P(\mu) P\left(\mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}} | \mu\right)}{P\left(\mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)}$
由于数据集都是假设独立同分布，所以上式等价于：
$\frac{P(\mu) P\left(x_{1} | \mu\right) \ldots P\left(x_{n} | \mu\right)}{\int {P\left(\mu, x_{1}, x_{2} \ldots x_{n}\right) d \mu}}$
分母是样本集的全概率，也就是每一个参数$\mu$的情况下样本集发生的概率，将其求和（离散情况）或积分（连续情况）。这是一个常数。
所以只要关注分子，也就是似然函数和先验分布的乘积就行了，这里两者的差别就更加明显了，可见数学表达式上，贝叶斯估计比极大似然主要也就多了一个参数的先验分布。
那么接下来就是延续求解步骤第一步的内容，代入具体表达式后第一步写出表达式步骤即可结束：
$\mathrm{P}\left(\mu | \mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)=\mathrm{k} \frac{1}{\sqrt{2 \pi} \tau} \exp \left(-\frac{\mu^{2}}{2 \tau^{2}}\right) \prod_{i=1}^{n} \frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right)$
之后是第二步取对数：
$\ln \mathrm{P}\left(\mu / \mathrm{x}_{1}, \mathrm{x}_{2} \ldots \mathrm{x}_{\mathrm{n}}\right)=\mathrm{k}^{\prime}-\frac{\mu^{2}}{2 \tau^{2}}+\sum_{i=1}^{n}\left(-\frac{\left(x_{i}-\mu\right)^{2}}{2 \sigma^{2}}\right)$
然后是第三步求导：
$\frac{\partial}{\partial \mu} \ln \mathrm{P}\left(\mu / \mathrm{x}_{1}, \mathrm{x}_{2}, \ldots \mathrm{x}_{\mathrm{n}}\right)=-\frac{\mu}{\tau^{2}}+\sum_{i=1}^{n} \frac{x_{i}-\mu}{\sigma^{2}}$
最后是第四部解方程或者方程组：
$-\frac{\mu}{\tau^{2}}+\sum_{i=1}^{n} \frac{x_{i}-\mu}{\sigma^{2}} \Rightarrow \hat{\mu}=\frac{\sum_{i=1}^{n} x_{i}}{n+\frac{\sigma^{2}}{\tau^{2}}}$

总结

当n趋向于无穷大的时候，贝叶斯估计就是极大似然估计，但是当n很小的时候，贝叶斯估计就会比极大似然估计准确（前提是先验分布是对的）。