假设条件
1、参数为标量形式,θ
2、加性模型(x[n]=s[n;θ]+w[n],n=0,1,…N−1
3、噪声的概率密度pw(w[n])
4、本文中没有严格区分概率分布列和概率密度函数之间的区别
概述
如果我们把待估计参数θ
那么我们通常说的θ=θ0
自然而然,我们想知道让观测数据x
最大似然估计就是要找到这样一个估计,基于已知的观测数据,θ
观测的概率密度函数
当被估计参数θ
p(x[n]−s[n;θ])=pw(x[n]−s[n;θ])
p(x[n]−s[n;θ])这样的函数,可以统一写为p(x[n];θ),这就是观测的概率密度函数。实际上,是用观测数据和信号模型表示噪声,进而体现随机性。
我们可以从两方面来看这个函数,一方面,固定θ,则p(x[n];θ)是观测的概率密度函数;另一方面,固定x[n],则是不同θ取值下,观测数据x[n]可能出现的概率。还是用高斯电平的估计(x[n]=A+w[n])来举例,参数A的每个不同的值对应一个观测数据的概率密度函数p(x[n];A),如A=2时,x[n]∼N(2,σ2),A=3时,x[n]∼N(3,σ2)。那么,当A固定时,比如A=2,则p(x[n];A)=p(x[n];2),它的图像就在x=2附近呈现左右对称的钟形高斯分布的随机特性;如果固定x[n]=2,则p(x[n];A)=p(x[n]=2;A),它的自变量为A,因变量是不同的概率密度函数p(x[n];A)中,x[n]=2时的概率p(x[n]=2;A),这也就是单次观测的似然函数。
似然函数
通过之前讨论的“似然”,我们可以理解什么叫做似然函数。似然函数是在参数θ的函数,反映了不同的θ取值下,取得当前这组观测数据的概率。那么,似然函数和观测数据的概率密度函数有什么关系呢?
首先,似然函数表示的是取得当前这组观测数据的概率,那么一组数据出现的概率我们用什么来描述呢?离散情况下,我们用联合概率分布列来描述
pX(x[0],x[1],…,x[N−1])
其次,这个联合概率分布列是受参数θ影响的,从而改写成
pX(x[0],x[1],…,x[N−1];θ)
这样,我们得到了似然函数。总结一下,它是不同θ取值下,观测数据的联合概率分布列。为了简化数学计算,我们再通过加上独立观测的条件,就可以将似然函数与单次观测的概率密度函数联系起来,将联合分布列写成单次观测概率密度乘积的形式
pX(x[0],x[1],…,x[N−1];θ)=∏N−1n=0pX(x[n];θ)
如此,我们得到了似然函数的最终形式
∏N−1n=0pX(x[n];θ)
为了简化计算(将乘除化为加减),通常也会对似然函数取对数,得到对数似然函数
∑N−1n=0lnpX(x[n];θ)
最大似然估计
之前已经讨论了,最大似然估计是使得似然函数取得最大值的参数值ˆθ,作为对未知参数θ的估计。函数取得最大值是一个函数极値问题,一般的处理方法是如果可以写出似然函数的解析表达式,可以用似然函数对参数θ求一阶导数,令一阶导数为零的参数值ˆθ作为参数的估计。如果这种方法行不通,我们可以画出似然函数的图像,从而找到最大值,进而确定最大似然估计。
通过这种方法我们能够得到最大似然估计,那么最大似然估计的性能怎么样呢?它有着什么样的优点和弊端呢?
进一步完善:
1、最大似然估计的性质
2、矢量参数情况
问题:
- 如何得到独立的观测?
- 加性模型代表什么意思?有没有其他的模型?
参考文献
[1] Kay S , 罗鹏飞. 统计信号处理基础[M]. 电子工业出版社, 2014.
[2] Tsitsiklis D B J N . 概率导论(第2版)(图灵数学统计学丛书40)[M]. 人民邮电出版社, 2009.
转载:https://blog.csdn.net/fjtth0034/article/details/104924407