第五章信号估计理论

Size: px

Start display at page:

Download "第五章信号估计理论"

龙胡宁
5 years ago
Views:

1 信号统计分析第 5 章信号估计理论

2 本章内容 5.1 引言 5.2 估计准则 5.3 多参量的常用估计准则 5.4 估计量评价的指标 5.5 克拉美 - 罗不等式 5.6 应用

3 5.1 引言信号检测 : 判断是否存在信号或存在哪种信号信号估计 : 对信号的参量甚至波形进行定量的推断从信号检测到信号估计, 是对事物从定性的判断到定量的描述

4 不同应用领域 : 数理统计领域 : 估计总体的均值方差各阶矩相关函数等 ; 信息与通信工程领域 : 估计信号的振幅相位频率时延等 ; 控制工程领域 : 估计动态系统的参量和状态, 如飞行体的质量位置速度加速度等 ; 经济领域 : 估计预测各种反应经济运行的指标, 如人均国民生产总值物价指数等

5 分类确定参量估计和随机参量估计单维 ( 标量 ) 参量估计和多维 ( 矢量 ) 参量估计时变参量估计和时不变参量估计线性参量估计与非线性参量估计

6 5.2 估计准则最大后验概率估计最大似然估计最小均方误差估计线性最小均方误差估计最小平均绝对误差估计贝叶斯估计最小二乘估计

7 观测信号其中 s t; θ1, θ2, θm 为有用信号, θ = θ1, θ2,, θ M 为待估计参量, n t ( ) ( θ θ θ ) ( ) x t = s t;,,, + n t 0 t ( ) ( ) 1 2 为观测噪声利用 N 个观测样本 x = 记为 ˆ = g ( x) θ M [,,, ] x1 x2 x N [ ] 进行估计, 估计量

8 5.2.1 最大后验概率估计使后验概率密度最大的一种估计, 即 ( ) f θ x ( θ ) ˆ θ = arg max f x MAP θ 其中为单个待估计量 θ 的后验概率密度函数估计量 θˆmap 可以通过如下方程得到 f ( θ x) = 0 or ln f ( θ ) = 0 θ x θ θ= ˆ θ θ= ˆ θ MAP MAP

9 利用 f ( x) θ = f ( x θ ) f ( θ ) f ( x) 进一步可得 ln f ( x θ) + ln f ( θ) = 0 θ θ θ= ˆ θ MAP

10 例 5.1 已知如下观测样本 x = s+ n, i = 1,2,, N i i 2 2 其中信号 s N 0, σ s, 噪声 ni N 0, σ n 独立同分布, 并且信号与噪声不相关求 s ˆMAP ( ) ( )

11 5.2.2 最大似然估计计, 即使观测样本的似然函数 ˆ θ = arg max f x ML θ f ( x θ ) ( θ ) 取得最大值的一种估估计量 θˆml 可以通过如下方程得到 f ( x θ) = 0 or ln f ( x θ) = 0 θ θ θ= ˆ θ θ= ˆ θ ML ML 适用于确定参量估计和先验分布未知的随机参量估计

12 例 5.2 已知如下观测样本 2 2 其中信号 s N 0, σ s, 噪声 ni N 0, σ n 独立同分布, 并且信号与噪声不相关求 s ˆML x = s+ n, i = 1,2,, N i i ( ) ( )

13 5.2.3 最小均方误差估计使估计的均方误差最小的一种估计定义估计误差估计的均方误差 ( ) 2 ( ) ( ˆ) e θ = θ ˆ θ { } ( ) 2 (, ) ( ) ( ) ξ ˆ θ = E e ˆ θ = θ ˆ θ f θ x dxdθ = ξ ˆ θ x f x dx ( θ )( x) ( x) 则 ˆ θ ( ) ( ) ˆ θ = arg minξ ˆ θ = arg min ξ ˆ θ x MS ˆ θ

14 利用 ξθ ( ˆ x) = 0 ˆ θ ˆ θ= ˆ θ MS 可得 ( θ ) ( ) { } ˆ θms = θ f θ x d θ = E θ x

15 例 5.3 已知如下观测样本求 sˆms ˆMS x = s+ n, i = 1,2,, N i i ( ) ( ) 2 2 其中信号 s N 0, σ s, 噪声 ni N 0, σ n 独立同分布, 并且信号与噪声不相关

16 5.2.4 线性最小均方误差估计最小均方误差估计的一种特例, 要求估计量与观测样本之间必须满足线性关系, 即 : ˆ θ = g = a+ b x = a+ ( x) N k= 1 k k b x [ ] 其中和 b = b1, b2,, b N 是待定系数, 根据最小均方误差准则确定估计的均方误差为 ( ˆ) ξ θ N = E θ a+ bkx k= 1 k 2

17 则求解得 { ( )} N ˆ E ξ θ = E 2 al bkxk 0 a θ = k = 1 { ( ˆ) } N E ξ θ = 2E θ al bkxk xk 0 b = k k = 1 L L 1 { θ} { θ, x} { x, x} { x} 1 { θ, } Cov {, } a = E Cov Cov E b = Cov x x x ˆ,, 1 即 θ = a + bx= E{ θ} + Cov{ θ x} Cov { xx} x E{ x} LMS L L

18 正交条件 : 线性最小均方误差估计的估计误差与观测样本是正交的 {( ) } x E θ ˆ θ 0 LMS = θ θ e = θ θ ˆ LMS e = θ ˆ θ LMS cx 2 2 x 2 cx 1 1 x 2 θˆ = θ ˆ LMS x 1 θˆ = θ ˆ LMS x 1

19 例 5.4 已知如下观测样本 2 2 其中信号 s N 0, σ s, 噪声 ni N 0, σ n 独立同分布, 并且信号与噪声不相关求 s ˆLMS x = s+ n, i = 1,2,, N i i ( ) ( )

20 5.2.5 最小平均绝对误差估计使绝对估计误差的统计平均值最小的一种估计定义绝对估计误差 ( ˆ) e θ = θ ˆ θ ABS 其统计平均绝对误差 ξ ( ˆ) ˆ ( ) ˆ ABS θ = θ θ f θ, x dd x θ = θ θ f ( θ x) dθ f ( x) dx ( θ)( x) ( x) ( θ) = ( x) ξ ABS ( ˆ θ ) f ( ) x x dx

21 则 ( ) ( ) ˆ θ = arg minξ ˆ θ = arg min ξ ˆ θ x ABS ˆ ABS ˆ ABS θ θ 即 ξ ˆ ( θ x) ˆ ˆ ˆ = 0 ABS θ θ= θ ABS 解得 ˆ θ ABS ( x) = ( x) ˆ f θ d θ f θ d θ θ + ABS 可见, θˆabs 位数估计是条件概率密度的中位数, 故又称作条件中

22 例 5.5 已知如下观测样本 2 2 其中信号 s N 0, σ s, 噪声 ni N 0, σ n 独立同分布, 并且信号与噪声不相关求 s ˆABS x = s+ n, i = 1,2,, N i i ( ) ( )

23 5.2.6 贝叶斯估计使估计所承担的平均风险最小的一种估计定义 θ 估计为 ˆ 所承担的风险 ( 代价函数 ) c θ, ˆ θ, 则估计的平均风险为 θ ( ) ( ˆ θ) = ( θ, ˆ θ) ( θ, ) θ = ( ˆ θ ) ( ) C c f x d dx C x f x dx ( x)( θ ) ( x) 即 ˆ θ ( ) ( ) ˆ θ arg min ˆ arg min ˆ BAY = C θ = C θ x ˆ θ

24 (1) 最小均方误差估计与贝叶斯估计若定义 (, ˆ) = ( ˆ) 2 c θ θ θ θ 平均风险 ( ) ( ) (, x) ( x) ( θ ) {( ) } 2 2 C ˆ θ = θ ˆ θ f θ dθdx = E θ ˆ θ 则 ˆ θ BAY = ˆ θ MS

25 (2) 最小平均绝对误差估计与贝叶斯估计若定义 (, ˆ) c θ θ = θ ˆ θ 则平均风险 ( ) (, x) ( x) ( θ ) { } C ˆ θ = θ ˆ θ f θ dθdx = E θ ˆ θ 则 ˆ θ = ˆ θ BAY ABS

26 (3) 最大后验概率估计与贝叶斯估计若定义 c 1, ˆ Δ θ θ, = 2 Δ>0是很小的常数 0, θ ˆ Δ θ < 2 ( θθˆ) 则 ˆ θ = ˆ θ BAY MAP

27 5.2.7 最小二乘估计基于参量的线性观测模型, 把估计作为确定的最优化问题来处理线性观测方程为估计的误差平方和为 x = hθ + n, i = 1,2,, N i i i N ( ˆ) ( ˆ) 2 = xi hiθ ξ θ N 则 ˆ ( ˆ) ( ˆ) 2 θ = argminξ θ = argmin x hθ i= 1 LS ˆ ˆ i i θ θ i= 1

28 ˆ 即 ξ( ˆ θ) ( ˆ θ) θ ˆ θ= ˆ θ i= 1 LS N = 2 x h h = 0 i i i 解得 ˆ N i= 1 θ LS = N i= 1 hx i h 2 i i

29 线性观测方程的矢量形式 x= hθ + n [ x, x,, x ], [ h, h,, h ], [ n, n,, n ] x = 1 2 N h= 1 2 N n= 1 2 N 误差平方和为 ( ˆ) = ( x h ˆ) ( x h ˆ) ξ θ θ θ 解得 ˆ θ LS ( ) 1 = hh hx

30 例 5.6 已知如下观测样本 2 2 其中信号 s N 0, σ s, 噪声 n 0, 独立同分布, i N σ n 并且信号与噪声不相关求 s ˆLS x = s+ n, i = 1,2,, N i i ( ) ( )

31 5.3 多参量的常用估计准则多参量矢量估计量 θ = [,,, ] θ θ θ M 1 2 θˆ = ˆ θ ˆ ˆ 1, θ2,, θ M 估计误差矢量 ( ˆ ) = ˆ = ( θ ˆ ) ( ˆ ) ( ˆ ) 1 θ1, θ2 θ2,, θm θm e θ θ θ

32 (1) 多参量最大后验概率估计即 ( θ x) θ ˆ = arg max f MAP θ θ ln f ( θ x) = 0 θ = θ ˆ MAP 其中第 i 个方程为 ln f ( θ x) = 0, i = 1,2,, M θ i θ = θ ˆ MAP

33 (2) 多参量最大似然估计即 ( x θ) θ ˆ = arg max f ML θ θ ln f ( x θ) = 0 θ = θ ˆ ML 其中第 i 个方程为 ln f ( x θ) = 0, i = 1,2,, M θ i θ = θ ˆ ML

34 (3) 多参量最小均方误差估计得 θˆ ( ) ( ) θ ˆ = arg min ˆ = arg min ˆ MS ξ θ ξ θ x θˆ 其中第 i ( ) ( ) θˆ MS x = θf θ x dθ ( θ) 个方程估计量为 ˆ θ ( ) f ( ) d i 1, 2,, M ims x = θ i θ x θ = ( θ )

35 (4) 多参量线性最小均方误差估计线性关系 θ ˆ = a+ Bx 估计的均方误差为则解得 a E { } ( ) θˆ E [ θ a Bx] [ θ a Bx] ξ = = 0 { } = 0 B a al { ξ( θˆ) } E ξ( θˆ) a= a = L B= B B= B L 1 { } + { } { } { } θˆ LMS = E θ Cov θ, x Cov x, x x E x L 正交条件 {( ) θ θ } LMS x E ˆ = 0

36 (5) 多参量最小平均绝对误差估计 ( ) ( ) θ ˆ = arg min ˆ = arg min ˆ ABS ξ θ ξ θ x θˆ θˆ 解得 ˆ θ iabs + ( ) ( ) f θ x d θ= f θ x d θ i = 1, 2,, M ˆ θ iabs

37 (6) 多参量贝叶斯估计则当当平均风险为 ( ) ( ) ( x) ( θ) ( ) C ˆθ c e f x,θ dθdx = ( ) ( ) ( ) c e = e θˆ e θˆ θˆ = θˆ ( ) M i= 1 BAY c e = θ θ ˆ θ ˆ = θ ˆ θˆ ( ) ( ) θ ˆ arg min ˆ arg min ˆ BAY = C θ = C θ x MS i i BAY ABS θˆ

38 (7) 多参量最小二乘估计多参量线性观测方程为 x= Hθ + n 误差的平方和为 ( ) 则 θˆ arg min ( ˆ ) LS = ξ θ θˆ ξ θˆ = ˆ ˆ x Hθ x Hθ 即 ( ˆ) ξ θ H ( x Hθˆ) θˆ= θˆ 解得 ( ) 1 LS θˆ ˆ LS = θ HH Hx = 2 = 0

39 (8) 多参量加权最小二乘估计对 ξ ( θ ˆ ) 加权后做最小二乘估计, 获得更好的估计结果性能指标 ( ) ξ ˆ ˆ ˆ W θ = x Hθ W x Hθ W 是 N N 维的对称正定加权矩阵则 θˆ LSW = arg minξ θˆ W ( θˆ)

40 即 θˆ ξ W ( ˆ ) ˆ ˆ θ = 2HWx ˆ Hθ = 0 θ= θ LSW 解得 ˆ LSW = ( ) 1 θ HWH HWx 估计误差矩阵为 E { } ˆ ˆ = ( ) ( ) θ θ θ θ H WH H WRnWH H WH LSW LSW 1 1 其中 R n = E { nn } 是对称正定矩阵, 可分解为 Rn = D D

41 利用矩阵施瓦兹不等式 ( ) ( ) 1 ( ) B B AB AA AB 令 ( ) 1 A = H D 1, B = DWH H WH 可得 E { } ˆ ˆ ( ) 1 θ θ θ θ HRnH LSW LSW 1 当 1 W = R n 时上式中等式成立, 即估计误差达到最小此时 ˆ 1 1 LSW = n n ( ) 1 θ HR H HR x

42 例 5.7 已知线性观测方程为其中 n 是 N 维高斯噪声列矢量, E{} n = 0, Var{ n} = V n ; s 是 M 维高斯信号列矢量, E{ s} = 0, Var{ s} = V s ; 信号与噪声相互独立, C是 N M 维观测矩阵 sˆ, sˆ, sˆ 试求 MAP MS LMS x = Cs+ n

43 例 5.8 对某二维矢量 θ 做了两次观测, 观测方程如下 x = H θ + n x = h θ + n 其中 x x =,, 2 H = 1 2 = 4, h = 2 2, [ ] 试求 θˆ LS

44 5.4 估计量评价的指标 (1) 无偏性对于确定参量 θ, 若估计量 ˆθ 满足 { θ ˆ } E = θ θ 或对于随机参量, 若估计量满足 E { θˆ } = E{} θ 则称所求的估计量就是有偏估计 ˆθ 具有无偏性, 是无偏估计, 否则

45 确定参量有偏估计的偏差量为 E { θ ˆ } θ 随机参量有偏估计的偏差量为 E { θˆ } E{} θ 当观测样本数趋于无穷时, 若或 lim N + E { θ ˆ } = θ lim N + E { θˆ } = E{} θ 则称估计量 ˆθ 具有渐进无偏性, 是渐近无偏估计

46 (2) 有效性均方误差衡量了估计量在真值附近的密集程度如果某个无偏估计量的均方误差是所有估计量均方误差的最小值, 称该估计量是有效估计量均方误差的最小值由克拉美 - 罗不等式给出无偏估计量的有效率 ξ { ˆ} min θ η = ξ θˆ { } 1 { } { θ ˆ } ( ) ( ) 1 E θ ˆ ˆ 1 θ θ1 θ ξ = η 越大估计质量越好, 对于有效估计 η = 1

47 当观测样本数 N 趋于无穷时, 若 lim η = 1 N + 则称该估计量为渐近有效估计量对某一估计量, 若 lim η = η 1 N + 0 则称 η 0 为渐进有效率

48 (3) 一致性若观测样本数 N 趋于无穷时, 估计量越来越接近其真值, 则此时的估计量称为一致估计量一致估计的两种度量方法 : A 当 N + 时, 估计量 ˆθ 在概率意义上收敛于 θ ( θˆ θ ε ) lim P < = 1 N + B 当 N + 时, 估计量 ˆθ 在均方意义上趋近于 θ { ˆ } θ θ lim E = 0 N + 2

49 (4) 充分性对待定参量 θ 及其估计量 ˆθ ( x), 如果似然函数满足其中, h ( x) 0且与 θ 无关, g ˆ θ θ 是 θθ ˆ, 的函数, 则称 ˆθ ( x) 为充分估计量表明 g 中的 ˆθ 包含了观测样本中关于待定参量的 ( ) 全部信息即 : 从充分估计量中可以获取待定参量的全部信息, 而其它估计量中关于待定参量的信息总是小于充分估计量的 ( x θ) θˆ θ ( x) f = g h

50 5.5 克拉美 - 罗不等式确定单参量估计的克拉美 - 罗不等式随机单参量估计的克拉美 - 罗不等式确定矢量估计的克拉美 - 罗不等式随机矢量估计的克拉美 - 罗不等式

51 5.5.1 确定单参量估计的克拉美 - 罗不等式 E 对于确定单参量 θ 的无偏估计为 θˆ, 有 {( ) 2 ˆ } θ θ 1 1 = 2 2 E ln f ( θ ) E ln f 2 ( θ ) x x θ θ ln f x θ = K θ ˆ θ θ 当且仅当 θ 时的估计量 θˆ 为有效估计量 ( ) ( )( ) 时等号成立, 此确定单参量的有效估计是它的最大似然估计

52 5.5.2 随机单参量估计的克拉美 - 罗不等式对随机单参量 θ 的无偏估计 ˆ θ, 为定义 θ 给定时估计误差的条件数学期望为并满足 ( ) ( θ) ( θ) ( θ) ( θ) lim f g = 0, lim f g = 0 θ + ( θ) ( ˆ θ θ) ( x θ) g = f dx ( x) 若 f x θ 对 θ 的一二阶导数都存在且绝对可积, θ

53 有 E {( ) 2 ˆ } θ θ 1 1 = 2 2 E ln f (, θ ) E ln f 2 (, θ ) x x θ θ 当且仅当 ln f, θ ( x θ ) = K( ˆ θ θ) 时, 等号成立此时 θˆ 为有效估计量随机单参量的有效估计是它的最大后验概率估计

54 5.5.3 确定矢量估计的克拉美 - 罗不等式其中对确定矢量 θ 的无偏估计为 ˆθ, 有 {( ) 2 } ( 1 θ ) i θi J E ˆ i = 1, 2,, M ii J = E ln f ( x θ) ln f ( x θ) = E ln f ( x θ) θ θ θ θ M 当且仅当 ˆ θi θi = Kij ln f ( x θ) i = 1,2,, M j= 1 θ j 号成立时, 等

55 5.5.4 随机矢量估计的克拉美 - 罗不等式其中对随机矢量 θ 的无偏估计为 ˆθ, 有 {( ) 2 } ( 1 θ ) i θi J E ˆ i = 1, 2,, M M 当且仅当 ln f ( x, θ ) = ( ) ( ˆ J ) θ j θ j i = 1,2,, M ij 时, θ i j= 1 等号成立 ii J = E ln f ( x, θ) ln f ( x, θ) = E ln f ( x, θ) θ θ θ θ

56 例 5.9 以雷达系统为例, 假设观测信号为 ( ω θ) x = Acos k + + n k = 1,2, N k 0 k 式中, 振幅和相位 θ ππ, 为待估计参量, 频率 ω0 n k A [ ] 已知, 为观测噪声利用非线性最小二乘估计来估计 A 和 θ

57 例 5.10 当待估计的未知参量为信号的幅度时, 接收信号波形可表示成 ( ) ( ) ( ) ( ) ( ) x t = s t, A + n t = As t + n t 0 t ( ) 式中, s t 是已知的信号, n t 是均值为零功率谱密度为 N /2 0 的高斯白噪声 ( ) 利用最大似然估计来估计信号幅度 A

58 例 5.11 当待估计的未知参量为信号的初相位时, 接收信号波形可表示成 () ( θ ) ( ) ( ω θ) ( ) x t = s t, + n t = Asin t+ + n t 0 t 式中, 幅度和频率 ω 是已知的, n t 是均值为零功率 A 0 谱密度为 N /2 0 的高斯白噪声利用最大似然估计来估计信号的初相位 θ 0 ( )

PowerPoint Presentation

PowerPoint Presentation 信号检测与估计第章经典检测与估计理论本章内容. 信号检测模型.2 统计判决准则.3 统计判决准则的推广.4 高斯白噪声中已知信号的检测.5 估计准则.6 估计量评价指标.7 克拉美 - 罗不等式 . 信号检测模型在现实中, 人们常常要根据观测数据 ( 统称为观测信号 ) 对其产生的原因做出判决根据雷达接收机所接收的信号判定某区域内目标是否存在根据天气观测数据预测某地区次日的天气 (

第五章 信号估计理论

第五章信号估计理论