Slide 1

统计信号处理基础 估计理论 杨文电子信息学院测绘校区教学实验大楼十楼 1008 室 E-mail: yw@eis.whu.edu.cn

估计的数学问题 必须估计一组参数的值 例如 : 雷达, 声纳, 语音, 图像分析, 生物医学, 通信, 控制, 地震学等 参数估计问题 : 假设有 N 点数据集, 它与未知参数有关, 我们希望为定义一个估计量 : θ θ ˆ = g( x[0], x[1], x[2] x[ N 1]) 用 PDF( 概率密度函数 ) 来描述数据模型 :PDF 以未知量 θ 为参数, 即 : p( x; θ ) 是确定参数 / 随机参数经典估计 / 贝叶斯估计 θ

估计量性能评估 估计量的性能评估 估计量是否接近参数的真实值? 是否还有更好的估计? eg. 样本平均 vs. X[0] 估计量是随机变量, 它的性能只能由统计或者 PDF 来描述 为了评估估计性能, 采用计算机模拟将永远不会得出明 确的结论, 尽管它在洞察一些问题和促进作一些推测方 面相当有价值 性能与计算复杂性之间的折衷

性能评价指标 无偏性 : 一致性 : b= E( ˆ θ ) θ lim ˆ θ θ( wp..1) N = 方差 ( 有效性 ): [( ˆ )( ˆ T E θ θ θ θ) ] 分布 : 估计误差的渐进分布 ( 理想正态 ) N( ˆ θ θ) N(0, C) d

无偏性 无偏估计意味着估计量的平均值是未知参数的真值 估计量是无偏的, 如果参数 θ 满足 E( ˆ θ) = θ, 当 θ是确定信号时, E( ˆ θ) = E( θ), 当 θ是随机信号 无偏估计不一定总是存在, 并且它们可能很难计算 无偏估计的性质在经过函数变换后并不是不变的

一致性 对于任意的 ε > 0, 如果 { ˆ θ θ ε} lim Pr > = 0 N 此时的估计量 ˆ θ称为一致估计 (consistent)

有效性 方差衡量了估计量的性能 估计量的有效性可以通过比较 与所有无偏估计的最小 误差方差的大小来进行评价 如果 Var( θˆ 1)< Var( θˆ 2) 并且 E( θˆ 1)=E( θˆ 2), 那么, θˆ 的有效性比 θˆ 的有效性好 1 如果一个估计值是无偏的并且达到了 C R 的下限那它 被称为有效的 2 两个基于观测值的估计值 T 1 和 T 2 的相对有效性为 : Var( T2 ( N)) Var( T ( N)) 1 θˆ

MSE: mean square error 最小均方误差准则 最佳的估计准则 : MSE = E( θˆ θ) 2 [ ] MSE = E θˆ E θˆ + E θˆ θ) 2 {[( ( )) ( ( ) ] } = Var θˆ + θ 2 ( ) bias ( ) E.g. 对于 xn [ ] = A+ wn [ ], n= 0,1 N 1 1 N 1 令 A = a x[ n] n = 0 N 为均值样本估计值我们试图找一个 a, 使 MSE 最小

最小均方误差准则 EA ( ) = aa, 2 2 Var( A) = a σ / N 我们得到 : 对 MSE 求导, 令其导数为零, 可得到 : a 2 2 a σ M SE( A) = + ( a 1) A N opt 2 = A A N 不可实现的 2 + σ 2 / 2 2

MVU: Minimum variance unbiased 最小方差无偏估计 一般来说,MSE 最小的估计量是不可实现的 θˆ 当是一个未知的确定性参数时, 使 MSE 最小的估计量是一个典型的有偏估计量 从实际的观点来看, 需要放弃最小 MSE 估计 另一种方法就是约束偏差为零, 从而求出使方差最小的估计量 - 最小方差无偏 (MVU) 估计量 或者在允许较小偏差情况下运用 MSE 准则 允许较小偏 差可以有效地减小 MSE 一个使 MSE 最小的无偏估计量也是一个最小方差估计量

最小方差无偏估计 无偏估计量 : 例子 : 白色高斯白噪声中 DC 电平的无偏估计量 xn [ ] = A+ wn [ ], n= 0,1, N 1, A 是要估计的参数,w[n] 是 WGN 1 < A < A = x n N 有偏估计量 : 例子 : E ( Aˆ ) A 1 2 N N 1 ˆ [ ] n = 0 N 1 ˆ = x[ n] n = 0 A

最小方差无偏估计的存在性 θˆ 3 也称为一致最小方差无偏估计量 MVU 不总是存在 单一的无偏估计量也有可能不存在, 在这种情况下寻找 MVU 估计量的任何努力都是没有结果的

最小方差无偏估计的求解 即使一个 MVU 存在我们可能也无法求解, 目前还不存在一种普遍的方法 以下是几种寻找 MVU 的途径 : 确定 CRLB 并检查是否有估计量满足该条件 应用 Rao-Blackwell-Lehmann-Scheffe 定理 进一步限定估计量为线性的, 然后在这些限制中寻找最小方差估计

C-R 不等式的引出 由上面的讨论我们知道, 无偏估计的方差越小越好, 一个很自然的问题是 : 无偏估计的方差是否可以任意小? 如果不可以任意小, 那么这个无偏估计方差的下界是什么? 这个下界能否达到? 回答这些问题的最重要结果是 Cramer 和 Rao 分别在 1945 年和 1946 年所证明的一个重要不等式, 即被称之为 C-R 不等式

CRLB(Cramer-Rao lower bound) CRLB 允许我们确定对于任意的无偏估计量, 它的方差肯定大于或等于一个给定的值, 如下图所示 :

Cramer-Rao 下限 对任何无偏估计量的方差确定一个下限, 这在实际中证明是极为有用的 最好的情况下, 允许确定估计量是 MVU 估计量 最坏的情况下, 为比较无偏估计量的性能提供了一个标准 也提醒我们不可能求得方差小于下限的无偏估计量

Cramer-Rao 下限 一般而言, 未知参量对概率密度函数的影响越大, 所得的估计就越好 假设一个信号抽样的观测值为 :x[0]=a+w[0],, 当方差很小时, 我们期望得到一个好的估计值 当把 PDF 作为未知参数的函数时 (x 固定 ), 我们称其为似然函数 直观地看, 似然函数的 尖锐 程度决定了我们估计未知参数的精度 考虑由对数似然函数在其峰值处的负二阶导数来度量 尖锐 性, 即对数似然函数的曲率

Cramer-Rao 下限 方差随曲率的增加而减少 曲率更一般的度量是对数似然函数的平均曲率, 它度量了

Cramer-Rao 定理 定理 3.1 CRLB- 标量参数假设 pdf 满足正则条件 ln p(x; θ ) E 0 θ θ = 对于所有的 数学期望是对 p(x; θ ) 求取的 那么, 任何无偏估计量 θˆ 的方差必须满足 1 var( ˆ θ ) 2 ln p(x; θ ) E 2 θ 其中导数是在 θ 的真值处计算的, 数学期望是对 p(x; θ ) 求取的 而且对于某个函数 gi, 下限的无偏估计量就可以求得 ln p(x; θ ) θ p(x; θ ), 当且仅当下式成立时, 对所有 θ 达到 = I( θ )( g(x) θ ) 该估计量是 ˆ θ = g(x), 它是 MVU 估计量, 最小方差是 1/ I( θ )

Cramer-Rao 定理 - 例 3.3

Cramer-Rao 定理 - 例 3.3 可以看到, 样本均值估计量达到了下限, 因此肯定是 MVU 估计量, 且最小方差为

Cramer-Rao 定理 - 例 3.4 本例中, 不满足下限成立的条件, 因此, 不存在无偏的且达到 CRLB 的相位估计量 然而,MVU 仍然可能存在, 后面的章节将讨论这类问题

Cramer-Rao 定理 - 例 3.4

Cramer-Rao 定理 - 例 3.4

有效性与最小方差

Cramer-Rao 下限 Cramer Rao 不等式为估计误差方差的估计提供了下限 最小可获得的方差一般大于 CRLB 估计 CRLB 需要知道 pdf 一般我们无法知道这些信息也无法估计其范围, 但当数据为已知分布的多元高斯信号或 iid 信号则可以被估计 如果估计误差方差是所有无偏估计中的最小值并且达到了 CRLB, 那么该估计是有效的

CRLB-Fisher 信息 Fisher 信息 : Fisher 信息的基本性质 非负的 对独立观测的可加性

Fisher 信息的非负性 导出了计算 Fisher 信息的另外一种方法

Fisher 信息的独立可加性

高斯白噪声中信号的一般 CRLB 由于通常将信号假定为高斯白噪声的, 推导这种情况的 CRLB 是值得的 假定在 WGN 中观测到具有未知参数 θ的确定性, 即 xn [ ] = sn [ ; θ ] + wn [ ] n= 0,1,, N 1 其中清楚地标明了信号对 θ的依赖性 2 var( ˆ σ θ ) (3.14) N 1 2 sn [ ; θ ] n= 0 θ 下限的形式表明了信号依赖 θ的重要性 信号随未知参数的改变而迅速改变将产生精确的估计量

例 3.5 正弦频率估计

CRLB- 参数变换 实际情况中常常出现所要估计的参数是某个基本参数的函数的情况, 如果希望估计, 那么 CRLB 为 例如, 的估计为 估计的有效性被非线性变换破坏

CRLB- 参数变换 1 估计的有效性具有仿射变换不变性 2 非线性变换破坏了一个估计量的有效性, 但是如果数据记录足够大, 有效性也可大致保持 3 例如 : 是渐进无偏的, 由, 我们可以估计方差是渐进有效的

CRLB- 矢量参数 定理 3.2 CRLB 矢量参数 : 假设概率密度函数满足正则条件 其中数学期望是对的协方差矩阵满足 求取的 那么任何无偏估计量 其中 解释为矩阵是半正定的 Fisher 信息矩阵 为 其中导数是在 θ 的真值上计算的, 数学期望是对求取的

CRLB- 矢量参数 而且对于某个 p 维函数 g 和某个 p p 的矩阵 I, 当且仅当 可以求得达到下限的无偏估计量, 这个估计量是, 它是 MVU 估计, 其协方差矩阵是

例 3.6 高斯白噪声中的 DC 电平

例 3.6 高斯白噪声中的 DC 电平

例 3.6 高斯白噪声中的 DC 电平

例 3.7 直线拟合

例 3.7 直线拟合

例 3.7 直线拟合

例 3.7 直线拟合

矢量参数变换的 CRLB 如果要估计, 是 r 维的函数 则 雅可比 (Jacobian) 矩阵 CRLB 是一个很强大的工具, 允许我们寻找线性模型的 MVU 估计

信号处理的例子 -pp:44 现在将 CRLB 理论应用到感兴趣的几个信号处理问题 : 距离估计 - 声纳 雷达 机器人学 频率估计 - 声纳 雷达 计量经济学 光谱测定 方位估计 - 声纳 雷达 自回归参数估计 - 语音 计量经济学

例 3.13 距离估计 (pp:44( pp:44)

例 3.13 距离估计 (pp:44( pp:44)

例 3.13 距离估计 (pp:44( pp:44)

距离估计续

例 3.13 距离估计 (pp:44( pp:44)

例 3.14 正弦参数估计 (pp:46( pp:46)

例 3.14 正弦参数估计

例 3.14 正弦参数估计

例 3.15 方位估计 (pp:48( pp:48)

例 3.15 方位估计 (pp:48( pp:48)

方位估计续

练习题 1,2

练 习 一

练 习 二

练习题 3,4

练 习 三

练 习 四

练习四

思考题 P21:2.9 P53:3.3 P55:3.18

谢谢大家