PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

慧横惠
5 years ago
Views:

1 信号检测与估计第章经典检测与估计理论

2 本章内容. 信号检测模型.2 统计判决准则.3 统计判决准则的推广.4 高斯白噪声中已知信号的检测.5 估计准则.6 估计量评价指标.7 克拉美 - 罗不等式

3 . 信号检测模型在现实中, 人们常常要根据观测数据 ( 统称为观测信号 ) 对其产生的原因做出判决根据雷达接收机所接收的信号判定某区域内目标是否存在根据天气观测数据预测某地区次日的天气 ( 晴阴雨雪雾等 )

4 几个概念假设 : 对检验对象的所有可能的判决结果的陈述假设检验 : 基于观测信号在几个假设中选取一个的判决先验知识 : 观测者事先具备的知识后验知识 : 对观测信号分析后重新形成的关于发送信号的知识

5 雷达检测系统对应的二元假设检验模型 ( ) = ( ) () = () + () H : x t n t H : x t s t n t t T

6 二元通信系统对应的二元假设检验模型 ( ) = ( ) + ( ) () = () + () H : x t s t n t H : x t s t n t t T

7 统计判决的基本步骤做出合理假设确定判决所要遵循的最佳准则进行实验, 获取判决所需的先验知识 ( ), ( ) P H f xh 形成判决规则, 划分判决域 R 设计最佳接收机, 计算统计性能

8 二元的信号检测模型

9 分类二元假设检验二元简单假设检验二元复合假设检验 M 元假设检验连续信号的检测离散信号的检测单样本检测多样本检测

10 .2 统计判决准则.2. 几个基本概念.2.2 最大后验概率准则.2.3 最小错误概率准则.2.4 贝叶斯准则.2.5 极小极大准则.2.6 纽曼 - 皮尔逊准则.2.7 似然比检验

11 .2. 几个基本概念 ( ) P D H ( 第一类错误判决概率, 即虚警概率, 用 P 或 α 表示 ): H 为真但判决为 H 的概率 ( ) P D H ( 第二类错误判决概率, 即漏警概率, 用 β 表示 ): H 为真但判决为 H 的概率 ( ) P D H : H 为真也判决为 H 的概率 P D H ( 检测概率, 用 D 表示 ): H 为真也判为 H 的概率 ( ) P fa 平均错误概率 P e

12 例 : 目标回波信号, 噪声 nt N,, 利用单个观测样本进行检测 s( t ) = ( ) ( ) H : x= n H : x= + n

13 判决概率 f ( xh ) f ( xh ) x

14 .2.2 最大后验概率准则二元假设检验模型 H : x= A+ n H : x= A+ n 根据观测样本, 选择最可能产生这种观测样本的那个信号判断为信源输出的信号相应的判决规则为 H ( ) ( ) P H x P H x H ( ) ( ) ( ) ( ) λ f x H H PH ( x) = th f x H H PH =

15 .2.3 最小错误概率准则寻找合适的判决门限 th 使二元假设检验的平均错误概率达到最小 dp 即令 e dth = e ( ) ( ) ( ) ( ) + th ( ) ( ) ( ) ( ) th P = P H P D H + P H P D H = P H f x H dx+ P H f x H dx 得 ( ) ( ) f th H f th H ( ) ( ) P H P H = 相应的判决规则为 ( x) ( ) ( x H ) ( ) ( ) f x H H P H λ = f H P H = th

16 例二元通信系统, 其单样本的二元假设检验为 H : x= A+ n 2 其中, 噪声 n N, σ, H : x= A+ n A > ( ) P( H ) P( H ) = = 2 求基于最小错误概率准则进行判决的判决规则和最小错误概率

17 .2.4 贝叶斯准则判决是需要付出代价的, 引入代价函数 j (,,) C j= 一般 C C, C C 则判决所付的平均代价为 ( ) ( ) ( ) C= PH CPDH + CPDH ( ) ( ) ( ) + PH CPDH + CPDH 目标 : 寻找合适的判决门限 th, 使平均代价达到最小

18 令 dc dth = 解得 ( ) ( ) ( )( ) ( )( ) f th H P H C C = f th H P H C C 则判决规则为 λ ( x) ( ) ( x H ) ( )( ) ( )( ) f x H H P H C C = = f H P H C C th 另一种求解方法 R = R R

19 .2.5 极小极大准则贝叶斯准则要求已知先验概率和各种代价函数 ; 极小极大准则应用于仅仅知道代价函数 C, j=, ( ) (,) P H = 未知的情况 ( ), 而先验概率极小极大准则 : 把使最小平均代价 ( 贝叶斯代价 ) 取得最大值所对应的概率当作先验概率使用 j

20 设先验概率 P( H ) = ( ) ( x H ) p, 则贝叶斯判决规则为 ( ) ( p)( C C ) f x H H p C C f H 贝叶斯代价为 ( ) = α( ) + α( ) + β + β = C p+ C ( p) + ( C C ) α( p) p+ ( C C ) β( p)( p) { } ( ){ ( ) ( ) } Cmn p p C p C p p C p C p

21 当先验概率 p 未知时, 判决者按照推测的先验概率 ( p, p ) 来设计贝叶斯检验, 判决规则为 ( ) ( x H ) 此时判决所付的平均代价 ( ) ( p )( C C ) f x H H p C C f H (, ) = + ( ) + ( ) α ( ) + ( C C ) β ( p )( p) C p p C p C p C C p p

22 以及 C p, p 与 p 的关系曲线 C mn ( ) C C: C ( ) B : C p, p mn,max ( p) A: C mn ( p) C C P( H ) = p

23 推测值 p 的求解 dcmn C ( p ) ( p) 方法一贝叶斯曲线取极大值 : mn dp p= p = C( p p ) C( p, p ) 方法二直线, 斜率等于零 : p p = p = 得 ( ) + ( ) = ( ) + ( ) Cα p C α p Cβ p C β p ( 极小极大方程 )

24 .2.6 纽曼 - 皮尔逊准则纽曼 - 皮尔逊准则是在先验概率和代价都难以确定的情况下处理假设检验问题的有效准则在保证虚警概率小于等于某一给定值件下, 使检测概率 P D ( P α ) 最大其表示形式为 fa 的约束条 P( D H ).. ( ) max st P D H = α

25 采用拉格朗日待定系数法 ( ) P( D H ) L = P D H +μ 类比平均代价, 可得相应的判决规则 : ( x H ) ( x H ) 门限 th 由 P = α 确定 fa f f H H μ = th

26 例对于单样本的雷达检测问题, 有 H : x= n H : x= + n ( ) 其中噪声 n N,, 给定虚警概率请求纽曼- 皮尔逊准则的判决规则和检测概率 α

27 .2.7 似然比检验前面几种准则下的判决规则都具有如下形式 : 其中判决门限由具体的判决准则来确定似然比 λ ( x) 似然比检验似然比检验的对数形式 ( x H ) ( x H ) λ f H ( x) = th f H λ ( x) 与门限作比较的变量称为检验统计量 H H th ln λ H ( x) ln th H

28 几种判决准则的门限值 th ( ) ( ) 最大后验概率准则 / 最小错误概率准则 : th= P H P H 贝叶斯准则 : th = ( )( ) ( )( ) P H C C P H C C 极小极大准则 : th = p( C C) ( p )( C C ) 纽曼 - 皮尔逊准则 : th 由给定的虚警概率确定

29 .3 统计判决准则的推广.3. M 元假设检验.3.2 多样本假设检验.3.3 复合假设检验

30 M 元假设下的贝叶斯检验.3. M 元假设检验 M 种假设 H, H,, HM, 先验概率 PH, PH,, PHM ( ) ( ) ( ) 代价函数为 : j (, =,,, ) C j M M M = j=, 则统计判决付出的平均代价 ( ) ( ) C C P D H P H = j j j M 元假设下的贝叶斯检验就是根据使平均风险最小的准则, 将观测空间 R划分为互斥的 R =,,, M 当 x R, 则判 H 为真 ( )

31 得 M M M ( ) ( j )( j jj ) ( j ) x R = = j=, j C = P H C + P H C C f x H dx 定义则 R M ( ) = ( )( ) ( ) I x P H C C f x H j j jj j j=, j ( ) ( ) { x : I x I x, j,,, M, j } = = j 贝叶斯判决规则为 H ( ) ( ),,,,, I x I x j = M j j

32 令 C =, C = j, 贝叶斯判决规则退化成最小错误概率准则或最大后验概率准则下的判决规则, 即 H ( ) ( j ),,,,, P H x P H x j = M j 可进一步表示成如下似然比判决形式 : ( x H ) ( x H ) ( ) f H P H j λ ( x) =, j =,,, M, j f P H j ( )

33 多样本假设检验模型.3.2 多样本假设检验 H : x = A + n H : x = A + n =, 2,, N 记 x = [,,, ] x x x N 2 T 贝叶斯判决的目标是将 N 维观测空间 N N 划分为互斥的 R, R 两个区域, 使平均代价达到最小 C 相应的判决规则为 λ ( x) ( x ) ( x ) (,, N ) (,, N ) ( )( ) ( )( ) f H f x x x H H P H C C 2 = = = f H f x x x H H P H C C 2 th

34 双样本检测下二维观测空间的判决域划分示意图判决面的方程式为 : λ ( x) = th

35 纽曼 - 皮尔逊准则 P( D H ).. ( ) max st P D H = α 即 λ ( x) ( x H ) ( x H ) f H = μ = f H th 门限 th 由下式确定 + ( ) ( ) P D H = f λ H dλ = α th 在 N 维观测空间中有一系列判决面可以满足虚警概率的约束条件, 从众多的判决面中找出一个使检测概率达到最大值的判决面

36 例对于二元通信系统中的多样本检测问题, 有 H : x = A+ n H : x = A+ n =, 2,, N ( ) ( ) 2 假定 P H P H, 噪声 n N, σ 且相互独立请 = = ( ) 2 分析基于最小平均错误概率准则下的系统检测性能 x N H = x N = H

37 多样本与单样本下的性能比较 f ( xh ) f ( xh ) f ( xh ) f ( xh ) 累积技术

38 例对于 4 元多样本检测问题 : 其中 H : x = 2+ n H : x = + n H : x = + n 2 H : x = 2+ n 3 2 (, ) n N σ =, 2,, N 且相互独立, 各种假设出现的概率彼此相等请分析基于最小平均错误概率准则下的系统检测性能

39 .3.3 复合假设检验信号检测中除了由于噪声对观测样本的影响使判决产生了不确定性以外, 被检测的信号的一些参量还可能是随机的, 称为随机参量信号, 对应的检测称为复合假设检验

40 二元复合假设检验 T 与假设有关的随机参量矢量为 Φ =,,,, 先验概率密度函数为 f Φ, 先验概率为 ( ), 代价函数为 T 与假设有关的随机参量矢量为 Θ = [,,, ], 先验概率密度函数为 f Θ, 先验概率为 P H, 代价函数为 H [ φ φ2 φ m ] H C C ( Φ), C ( Φ) ( Θ), C ( Θ) ( ) ( ) P H θ θ θ n 2 ( )

41 系统判决所付的平均代价 : ( ) ( ) (, ) ( ) (, ) ( ) ( Φ) ( ) ( ) (, ) ( ) (, ) C = P H C Φ P D Φ H + C Φ P D Φ H f Φ dφ + P H C Θ P D Θ H + C Θ P D Θ H f Θ dθ ( ) ( Θ) ( ) ( Φ) ( Φ) Φ ( ) ( ) ( ) ( ) Θ Θ Θ Φ ( Θ) P( H ) C ( Φ) C ( Φ) f x Φ, H f Φ dφdx = P H C f d + P H C f d x R x R N N ( ) ( ) ( Φ) + ( ) ( ) ( ) (, ) ( ) ( Θ) P H C Θ C Θ f x Θ H f Θ dθdx

42 基于贝叶斯准则的判决规则 : λ ( x) ( Φ) ( ) ( ) (, ) ( ) C Θ C Θ f x Θ H f Θ dθ H P H ( Θ) ( ) = = C ( ) C ( ) f (, H ) f ( ) d H Φ Φ x Φ Φ Φ P( H) th C j 若各类代价函数与随机参量矢量 Φ 和 Θ 无关, 则 λ ( x) ( Θ) ( Φ) (, ) ( ) (, ) ( ) f x Θ H f Θ dθ H C C P H x Φ Φ Φ H ( ) ( ) ( C C ) P( H ) = = f H f d th 似然比为平均似然比

43 .4 高斯白噪声中已知信号的检测.4. 最佳接收机.4.2 通信接收机的性能.4.3 雷达系统的最佳接收机性能.4.4 匹配滤波器.4.5 M 元通信系统.4.6 已知信号的分集接收

44 .4. 最佳接收机二元假设检验问题 : ( ) = ( ) + ( ) () = () + () H : x t s t n t H : x t s t n t t T s ( t ) ( ) 其中和是确知信号, nt 是均值为零功率谱密度为的高斯白噪声在,T 内对接收信号采样, 获 2 得 N 个观测样本 : s t ( ) N [ ] H : x = s + n k k k H : x = s + n k k k k =, 2,, N

45 记 x = [,,, ] x x x N 2 T, 其似然比检验为 ( x) λ = (, 2,, N ) (, 2,, N ) f x x x H f x x x H H H th 如果这 N 个样本统计独立, 则 ( x) N k = λ = N k = f f ( xk H) ( xk H ) H H th

46 ( ) 当假设为, 时, 样本 x 的似然函数为 : H = k f ( xk H) = exp 2πσn ( x s ) 2 k 2σ k 2 n 此时样本矢量的似然函数为 : 似然比判决规则为 : 其中 H x ( s s) σ n ln ( th) + ( ss ss) = th H 2 T 2 T T ' ( x s ) N N 2 N ( ) ( ) 2 k k f x H = f xk H = exp 2 2 k = 2πσ n k = 2σ n s [ s, s,, s ] T, s [ s, s,, s ] = = 2 N 2 N T

47 相关接收机 (a) (b)

48 适合于连续信号检测的最佳接收机在 H 假设下的似然函数 T ( () ) exp () () 2 f xt H = F xt s t dt N 连续信号的似然比判决规则 T () () () s t s t x t dt th H H 其中 N 2 2 () () T 2 2 th = ln th + s t s t dt

49 相关接收机 (a) (b)

50 .4.2 通信接收机的性能通信接收机性能通常用平均错误概率来衡量, 设计检验统计量 ( ) ( ) T T H 2 2 N P H G = () () () () () ln s t s t x t dt+ s t s t dt 2 H 2 P H 假设下 H T 2 N T 2 E{ G H} = () (), { } () () 2 s t s t dt Var G H = s t s t d 2 t 假设下 H E G H s t s t dt Var G H Var G H 2 T 2 { } = () (), { } = { }

51 定义参数 : T T 2 2 E = ( E + E) = s () t dt+ s () t dt 2 2 和分别表示信号和 s t 的能量, E 表示信号 E ( ) s t ( ) E s ( t ) ( ) 和 s t 的平均能量 ; ρ = T s () t s () t dt E ρ s () t ( ) 表示和 s t 的时间互相关系数可证明 : ρ

52 假定通信源的先验概率近似相等, 即 P H = P H =, 则二元通信系统的平均错误概率为 : ( ) ( ) x Pe = exp dx E N ( ρ ) E N = Φ 2π 2 ( ( ρ ) ) 最佳二元通信系统

53 相干相移键控系统 (CPSK) 在 [,T ] 内可能发射信号 () = snωc () sn ( ) s t A t s t = A ω t+ π = Asnω t c c t T 判决规则 T () () x t s t dt H H 平均错误概率 ( ) ( ) P = Φ 2E N = Φ 2E N e

54 相干频移键控系统 (CFSK) 在 [,T ] 内可能发射信号 ( ) () s t = Asnω t s t = Asnω t t T 判决规则 T () () () s t s t x t dt H H 平均错误概率 ( ) ( ) P = Φ E N = Φ E N e

55 开关载波键控系统 (OOK) 在 [,T ] 内可能发射信号 ( ) () s t = s t = Bsnω c t t T 判决规则平均错误概率 T H x () t s () t dt E 2 H ( ) ( ) P = Φ E N = Φ E 2N e

56 .4.3 雷达系统的最佳接收机性能两种假设 ( ) = ( ) () = () + () H : x t n t H : x t s t n t t T () nt 2 其中是零均值, 功率谱密度为 N 的高斯白噪声判决规则其中 T () () H s t x t dt th H N 2 2 () T 2 th = ln th + s t dt

57 虚警概率 P fa 2 + x = exp dx ( η) α η = Φ = 2π 2 检测概率 2 + x PD = exp dx 2 E N η 2E N = Φ 2π 2 检测概率与各参量间关系 ( η )

58 接收机工作特性 (ROC) 检测概率 P D sqrt(e /N )= sqrt(e /N )=.5 sqrt(e /N )=. sqrt(e /N )=.5 sqrt(e /N )= 虚警概率 α

59 .4.4 匹配滤波器匹配滤波器是基于最大输出信噪比准则的最佳接收机最大输出信噪比准则就是输出信号峰值的瞬时功率与噪声的平均功率之比为最大的准则线性滤波器的输入输出模型输入 : x( t) = s( t) + n( t) () 输出 : 其中 s t 是确知信号, nt ( ) 是功率谱密度为 N 2 的广义平稳白噪声 ( ) = ( ) + ( ) y t s t n t o o

60 定义系统输出的峰值信噪比为 SNR o ( t ) () t 2 so = = E n { o } 2π + N 4π ( ) ( ) jωt S H j e d ω ω ω ( ω) H j dω 2 利用施瓦兹不等式 () () () () F t Q t dt F t dt Q t dt ( ) ( ) * ( 只有当 F t = CQ t,c 为任意常数, 上式等式才成立 )

61 可得信噪比 SNR o + S( ω) 2 dω 2π E 2E = = N 2 N 2 N 当系统传输函数为 : ( ) = ( ) j t H jω CS ω e ω * o 取 C = 系统输出达到最大信噪比 : E N 2

62 匹配滤波器的时域特性对于实信号 () F ( ) 2π + { } ( ) s t, 有 ht ( ) = st ( t) ( t t ) ( ) * * ht = H jω = S ω e dω = s t t ( ) jω s ( t) s( t) ht ( ) t t 2 t

63 性质在所有的线性滤波器中, 匹配滤波器输出信噪比最大, SNR E N ( ) omax = 2 ( ω) ( ω) ( ) = s( ) t H j = S ϕh ω ϕ ω ω 输出信噪比达到最大的时刻与 () 匹配的滤波器对 s t = As t τ 同样匹配匹配滤波器对频移信号不再匹配匹配滤波器的输出信号是输入信号的时间自相关函数匹配滤波器和相关器的等效性 t T s t ( ) ( )

64 .4.5 M 元通信系统 M 元假设检验问题 () ( ) ( ) H : x t = s t + n t, t T, =,,, M ( ) 其中 nt 是均值为功率谱密度为 N 2 的高斯白噪声 ρ T () () = s t s t dt = δ E j j j δ j = = j j 基于最小错误概率准则的判决规则为 H T () () () () T j s t x t dt s t x t dt, j =,,, M, j

65 相关接收机 xt () s s ( t) ( t) ( ) s t T T T G G G sm ( t) T GM

66 匹配滤波器 ( ) s T t G ( t) s T G x() t ( t) s T G M ( ) s T t GM

67 M 元系统的检测性能以第个相关器输出作为检验统计量 () () 推导得平均错误概率为 : T G = x t s t dt, =,,, M 2 2 M M z u + z+ 2E N 2 2 Pe = Pe( H j) P( H j) = e e du dz j 2π = 2π 平均错误概率与各参量间关系

68 .4.6 已知信号的分集接收利用分集技术可以改善信号检测的性能时间分集频率分集空间分集极化分集

69 考虑一个多站雷达系统,M 部特性一致的雷达接收机在观察时间 T 内接收信号, 记为假设检验问题为 : ( ) ( ) ( ) x t, x2 t,, xm t, 对应的二元 ( ) = ( ) + ( ) () = () H : x t s t n t H : x t n t t T, =, 2,, M 似然比判决规则为 N 2 2 = 其中 th = ln th + E M M = T () () H x t s t dt th H

70 相关接收机 x () t x2 () t s ( t) () x t s2 ( t) T G xm () t ( ) s t sm ( t)

71 选择检验统计量为 = () () 虚警概率和检测概率分别为 : M T G x t s t dt = P fa 2 + x = exp dx η = Φ 2π 2 ( η) 2 + x PD = exp dx 2 E N η 2ET N = Φ 2π 2 ( η ) T 其中 η = th 2 NET

72 接收机工作特性 (ROC) E /N = M= M=2 M=4 M=8 检测概率 P D 虚警概率 α

73 .5 估计准则.5. 最大后验概率估计.5.2 最大似然估计.5.3 最小均方误差估计.5.4 线性最小均方误差估计.5.5 最小平均绝对误差估计.5.6 贝叶斯估计.5.7 最小二乘估计

74 观测信号 : 其中 st ( ) ( θ θ θ ) ( ) x t = s t;,,, + n t t T 2 ( ; θ, θ2, θ M ) 为有用信号, θ = [,,, ] M θ θ θ 为待 2 M T ( ) 估计参量, nt 为观测噪声利用 N 个观测样本 [,,, ] x = x x x N 进行估计 2 T ˆ = g ( x) θ

75 .5. 最大后验概率估计使后验概率密度最大的一种估计, 即 ( ) ( θ ) ˆ θ = arg max f x MAP θ 其中 f θ x 为单个待估计量 θ 的后验概率密度函数估计量 θˆmap 如下可得 f ( θ x) = or ln f ( θ ) = θ x θ θ= ˆ θ θ= ˆ θ MAP MAP

76 利用 f ( x) θ = f ( x θ ) f ( θ ) f ( x) 进一步可得 ln f ( x θ) + ln f ( θ) = θ θ θ= ˆ θ MAP

77 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆmap

78 .5.2 最大似然估计使观测样本的似然函数 f ( x θ ) 取得最大值的一种估计, 即 ( θ ) ˆ θ = arg max f x ML 估计量 ˆML θ 如下可得 θ f ( x θ) = or ln f ( x θ) = θ θ θ= ˆ θ θ= ˆ θ ML ML 适用于确定参量估计和先验分布未知的随机参量估计

79 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆml

80 .5.3 最小均方误差估计使估计的均方误差最小的一种估计定义估计误差 ( ˆ) e θ = θ ˆ θ 估计的均方误差 ( ) 2 ( ) { } ( ) 2 (, ) ( ) ( ) ξ ˆ θ = E e ˆ θ = θ ˆ θ f θ x dd x θ = ξ ˆ θ x f x dx ( θ )( x) ( x) 则 ˆ θ arg mn ( ˆ ) arg mn ( ˆ ) MS = ξ θ = ξ θ x ˆ θ ˆ θ

81 利用 ξθ ( ˆ x) = ˆ θ ˆ θ= ˆ θ MS 可得 ( θ ) ( ) { } ˆ θms = θ f θ x d θ = E θ x

82 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆms

83 .5.4 线性最小均方误差估计最小均方误差估计的一种特例, 要求估计量与观测样本之间必须满足线性关系, 即 : ( x) ˆ T θ = g = a+ b x = a+ b x 其中 a 和 b = [,,, ] b b2 b N N k = 差准则确定估计的均方误差为 T k k 是待定系数, 根据最小均方误 ( ˆ) ξ θ N = E θ a+ bkx k = k 2

84 则 { ( )} N ˆ E ξ θ = E 2 al bkxk a θ = k = { ( ˆ) } N E ξ θ = 2E θ al bkxk xk b = k k = 求解得 L T L { θ} { θ, x} { x, x} { x} { θ, } Cov {, } a = E Cov Cov E b = Cov x x x 即 { } { } { } { } ˆ T θlms = al + bx L = E θ + Cov θ, xcov xx, x E x

85 正交条件 : 线性最小均方误差估计的估计误差与观测样本是正交的 {( ) } T x E θ ˆ θ LMS = θ e = θ ˆ θ LMS x 2 θˆ = θ ˆLMS x

86 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆlms

87 .5.5 最小平均绝对误差估计使绝对估计误差的统计平均值最小的一种估计定义绝对估计误差 ( ˆ) e θ = θ ˆ θ ABS 其统计平均绝对误差 ξ ( ˆ) ˆ ( ) ˆ ABS θ = θ θ f θ, x dd x θ = θ θ f ( θ x) dθ f ( x) dx ( θ) ( x) ( x) ( θ) = ( x) ξ ABS ( ˆ θ ) f ( ) x x dx

88 则即 ξ ˆ ( θ x) ˆ ˆ ˆ = ABS θ θ= θ ( ) ( ) ˆ θ = arg mn ξ ˆ θ = arg mn ξ ˆ θ x ABS ˆ ABS ˆ ABS θ θ ABS 解得 ˆ θ ABS ( x) = ( x) ˆ f θ d θ f θ d θ θ + ABS 可见,ˆABS θ 是条件概率密度的中位数, 故又称作条件中位数估计

89 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆabs

90 .5.6 贝叶斯估计使估计所承担的平均风险最小的一种估计定义 θ 估计为 ˆ θ 所承担的风险 ( 代价函数 ) c( θ ˆ θ ),, 则估计的平均风险为 ( ˆ θ) = ( θ, ˆ θ) ( θ, ) θ = ( ˆ θ ) ( ) C c f x d dx C x f x dx ( x)( θ ) ( x) 即 ˆ θ ( ) ( ) ˆ θ arg mn ˆ arg mn ˆ BAY = C θ = C θ x ˆ θ

91 () 最小均方误差估计与贝叶斯估计若定义 ( ˆ) ( ˆ) 2 c θ, θ = θ θ 平均风险 ( ) ( ) (, x) ( x) ( θ ) {( ) } 2 2 C ˆ θ = θ ˆ θ f θ dθdx= E θ ˆ θ 则 ˆ θ = ˆ θ BAY MS

92 (2) 最小平均绝对误差估计与贝叶斯估计若定义 (, ˆ) c θ θ = θ ˆ θ 则平均风险 ( ) (, x) ( x) ( θ ) { } C ˆ θ = θ ˆ θ f θ dθdx= E θ ˆ θ 则 ˆ θ = ˆ θ BAY ABS

93 (3) 最大后验概率估计与贝叶斯估计若定义 c, ˆ Δ θ θ, = 2 Δ>是很小的常数, θ ˆ Δ θ < 2 ( θθˆ) 则 ˆ θ = ˆ θ BAY MAP

94 .5.7 最小二乘估计基于参量的线性观测模型, 把估计作为确定的最优化问题来处理线性观测方程 x = hθ + n, =,2,, N N 估计的误差平方和为 ( ˆ) ( ˆ) 2 ξ θ = x hθ N 则 ˆ ( ˆ) ( ˆ) 2 θ = arg mnξ θ = arg mn x hθ = LS ˆ ˆ θ θ =

95 ˆ θ 即 ξ( ˆ θ) ( ˆ θ) = 2 x h h = ˆ θ= ˆ θ = LS N 解得 ˆ θ LS = N = N = hx h 2

96 线性观测方程的矢量形式 x= hθ + n [ x, x,, x ], [ h, h,, h ], [ n, n,, n ] T T T x= 2 N h= 2 N n= 2 N 误差平方和为 ( ˆ ) = ( x h ˆ ) T ( x h ˆ ) ξ θ θ θ ˆ T T θ LS 解得 ( ) = hh hx

97 例 : 已知如下观测样本 x = s+ n, =,2,, N 其中信号 s N(, σ 2 ) s, 噪声 ( 2 n, ) N σ n 独立同分布, 并且信号与噪声不相关求 sˆls

98 多参量最小二乘估计 : 多参量线性观测方程为 x= Hθ + n 误差的平方和为 ξ ( ) 则 θˆ arg mn ( ˆ ) LS = ξ θ θˆ θˆ θ ˆ = x Hθ ˆ x Hθ ˆ 即 ( ˆ ) T ξ θ H ( x Hθˆ ) θˆ = θˆ 解得 ( ) LS ˆ T T LS = θ HH Hx = 2 = T

99 多参量加权最小二乘估计 : 误差的平方和为 ( ) W ξ θˆ = ˆ ˆ x Hθ W x Hθ T W 为 N N 维的对称正定加权矩阵则 θˆ arg mn ( ˆ ) LSW = ξw θ ξ W 即 ( ) ˆ ˆ ˆ θ θˆ ˆ T θ = 2HWx ˆ Hθ = θ= θ LSW ˆ T T LSW = 解得 ( ) θ HWH HWx

100 估计误差矩阵为 E { } ˆ ˆ = ( ) ( ) θ θ θ θ H WH H WRnWH H WH LSW LSW T T T T 其中 R n = E { nn T } 是对称正定矩阵, 可分解为 Rn = T D D 利用矩阵施瓦兹不等式 T ( ) ( ) ( ) B B AB AA AB T T 令 T =, = ( T ) A H D B DWH H WH

101 可得 E { } ˆ ˆ ( ) θ θ θ θ HRnH LSW LSW T T 当 W = R n 时上式中等式成立, 即估计误差达到最小此时 ˆ T T LSW = n n ( ) θ HR H HR x

102 例 : 非线性最小二乘估计以雷达系统为例, 假设观测信号为 ( ω θ) x = Acos k+ + n k =, 2, N k 式中, 振幅 A 和相位 θ [ ππ, ] 为待估计参量, k n k 频率 ω 已知, 为观测噪声

103 .6 估计量评价指标 () 无偏性对于确定参量 θ, 若估计量 ˆθ 满足 { θ ˆ } E = θ 或对于随机参量 θ, 若估计量 ˆθ 满足 E { θˆ } = E{} θ 则称所求的估计量 ˆθ 具有无偏性, 是无偏估计, 否则就是有偏估计

104 确定参量有偏估计的偏差量为随机参量有偏估计的偏差量为 E E {} θ ˆ θ { θˆ } E{} θ 当观测样本数趋于无穷时, 若或 lm N + E { θ ˆ } = θ lm N + E { θˆ } = E{} θ 则称估计量 ˆθ 具有渐进无偏性, 是渐近无偏估计

105 (2) 有效性均方误差衡量了估计量在真值附近的密集程度如果某个无偏估计量的均方误差是所有估计量均方误差的最小值, 称该估计量是有效估计量均方误差的最小值由克拉美 - 罗不等式给出无偏估计量的有效率 η = Var Var { θˆ } { θˆ } mn Var { } { θ ˆ } ( ) ( ) = E θ ˆ T ˆ θ θ θ

106 η 越大估计质量越好, 对于有效估计 η = 当观测样本数 N 趋于无穷时, 若 lm η = N + 则称该估计量为渐近有效估计量对某一估计量, 若 lm η = η N + 则称 η 为渐进有效率

107 (3) 一致性若观测样本数 N 趋于无穷时, 估计量越来越接近其真值, 则此时的估计量称为一致估计量一致估计的两种度量方法 : A 当 N + 时, 估计量 ˆθ 在概率意义上收敛于 θ ( θˆ θ ε ) lm P < = N + B 当 N + 时, 估计量 ˆθ 在均方意义上趋近于 θ { ˆ } θ θ lm E = N + 2

108 (4) 充分性对待定参量及其估计量 θˆ x, 如果 θ 的似然函数满足 θ ( ) ( x θ) θˆ θ ( x) f = g h 其中, h( x) 且与 θ 无关, g ˆ θ θ 是 θθ ˆ, 的函数, 则称 ˆθ ( x) () 为充分估计量表明 g 中的 ˆθ 包含了观测样本中关于待定参量的全部信息即从充分估计量中可以获取待定参量的全部信息, 而其它估计量中关于待定参量的信息总是小于充分估计量的

109 .7 克拉美 - 罗不等式.7. 确定单参量估计的克拉美 - 罗不等式.7.2 确定矢量估计的克拉美 - 罗不等式

110 .7. 确定单参量估计的克拉美 - 罗不等式对于确定单参量 θ 的无偏估计为 θˆ, 有 { } ( ) 2 E ˆ θ θ = 2 2 E ln f ( ) E ln f 2 ( θ ) x θ x θ θ ln f ( x θ ) = K( θ)( 当且仅当 ˆ θ θ) 时等号成立, θ 此时的估计量 ˆ θ 为有效估计量确定单参量的有效估计是它的最大似然估计

111 .7.2 确定矢量估计的克拉美 - 罗不等式对确定矢量 θ 的无偏估计为 ˆθ, 有其中 {( ) 2 } ( θ ) θ J E ˆ =, 2,, M T T J = E ln f ( x θ) ln f ( x θ) = E ln f ( x θ) θ θ θ θ M ˆ 当且仅当 θ θ = K ln f ( x θ) =, 2,, M 时, θ 等号成立 j j= j

第五章信号估计理论

第五章信号估计理论信号统计分析第 5 章信号估计理论本章内容 5.1 引言 5.2 估计准则 5.3 多参量的常用估计准则 5.4 估计量评价的指标 5.5 克拉美 - 罗不等式 5.6 应用 5.1 引言信号检测 : 判断是否存在信号或存在哪种信号信号估计 : 对信号的参量甚至波形进行定量的推断从信号检测到信号估计, 是对事物从定性的判断到定量的描述不同应用领域 : 数理统计领域 : 估计总体的均值