PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

鞍满
5 years ago
Views:

1 信号检测与估计第章序贯检测与估计

2 本章内容.1 序贯检测判决规则. 分批序贯检测.3 相关样本的序贯检测.4 复合假设序贯检测.5 序贯最小均方误差估计.6 序贯最小二乘估计.7 相关样本的序贯估计

3 .1 序贯检测判决规则序贯检测 : 事先不规定样本数而留待实验过程中确定的假设检验方法基于修正纽曼 - 皮尔逊准则的二元序贯检测 : 在虚警概率 P fa α 和漏警概率 1 PD β 的约束下, 从所获得的第一个数据开始进行似然比检验, 若能做出明确判决, 检验结束 ; 若不能做出判决, 则采用新接收的数据与前面已有的数据按照同样的规则进行联合判决, 直至能做出判决为止

4 似然比判决规则 [ x, x,, x ],( 1,, ) x = = 1 ( x ) ( x ) λ th λ th th < λ ( x ) < th 0 1 判为 H 判为 H 增加一个样本, 重新判决为观测样本矢量, 为观测样本数, 随着判决过程进行不断增加, 直至做出判决为止 th th 由给定的虚警概率 α 和漏警概率 β 决定 0, 1

5 判决域

6 虚警概率 ( ) ( ) ( ( x ) ) ( x ), ( x ) α = P λ th H + P th < λ < th λ th H ( λ( x ), λ( x ), λ( x ) ) ( ) P th < < th th < < th th H + 漏警概率 ( ( ) ) ( ) ( x ) ( ( ) ( ) ) x1 1, x 0 1 β = P λ th H + P th < λ < th λ th H ( λ( x ), λ( x ), λ( x ) ) ( ) P th < < th th < < th th H +

7 可解得判决门限 1 β 1 β th1 or ln th1 ln α α β β th0 or ln th0 ln 1 α 1 α 对数似然比判决规则为 : 1 β ln λ ( x ) ln α β ln λ ( x ) ln 1 α β 1 β ln < ln λ ( x ) < ln 1 α α 判为 H 判为 H 1 0 接收下一个数据

8 平均样本数的计算若到第 = N 个样本时结束判决, 即只存在 ln λ ( x ) ln 或 N th ln λ ( x ) ln 0 N th1 则 { ln λ ( xn ) 1} ln 1 ( 1 1) + ln 0 ( 0 1) = ( 1 β) lnth + β lnth E H thp D H th P D H 1 0 { 1} { ln λ ( ) 1} E N H E x H { ln λ ( xn ) 0} ln 1 ( 1 0) + ln 0 ( 0 0) = αln th + ( 1 α) ln th E H thp D H th P D H 1 0 { 0} { ln λ ( ) 0} E N H E x H

9 可以推出 : { } E N H 1 { } E N H 0 ( β) 1 lnth + βlnth E 1 0 ( ) ( α) ( ) { ln λ x H } αlnth + 1 ln th E { ln λ x H } 0 则结束判决所需的平均取样数 : ( ) ( ) { ln λ } ( ) { ln λ( ) } αln th + 1 α ln th 1 β ln th + β ln th E{ N} = P( H ) + P H E x H E x H ( ) 可以证明 : 当观测样本数趋于无穷时判决一定结束

10 例 : 二元假设检验 H : x = n 0 H : x = + n 1 = 1,, ( ) 其中 n N 0,1 的白噪声先验概率 P H = P H, 虚警 ( ) ( ) 1 0 概率和漏警概率约束为 α = β = 0.05 采用序贯似然比检验, 求结束判决所需的平均样本数

11 . 分批序贯检测似然比判决规则 N 0 λ ( xk ) th, λ ( xk ) th, th < λ ( x ) < th 0 k , 判为 H 判为 H 舍弃该批 N 0 个样本, 获得下一批样本并重新判决其中为每次判决所用的样本数, th, th 由给定的虚警概率 α 和漏警概率 β 决定 0 1 x k = x( ), x ( 1),, x k N + k N0+ kn0

12 定义 { λ( x ) } k λ( xk) { λ( x ) } k λ( xk) { } p = P th H, q= P th H, r = 1 p q { } p = P th H, q = P th H, r = 1 p q 则当 H 0 为真时, 虚警概率和判决所用的平均样本数分别为 { } α = p+ rp+ r p+ = r E N H = N r + N r r + N r r + 0 0(1 ) 0 (1 ) 3 0 (1 ) N + k 1 0 = N0 kr ( 1 r) = k = r p

13 当 H 1 为真时, 漏警概率和判决所用的平均样本数分别为 β = q + rq + r q + = N 1 r 0 { 1} = E N H q 1 r 则结束判决所需的平均样本数为 : { } = { } + { } E N E N H P( H ) E N H P( H ) N0 N0 = PH ( 0) + PH ( 1) 1 r 1 r

14 例 : H H 0 1 : : x = n x = A+ n = 1,, 其中,, n N 0, 相互独立, 且 = ( ) A > 0 α β 根据似然比判决规则可得 : x k A ln th th H NA =, 判为 0 kn0 1 A = x + ln th0 = th 0, 判为 H0 N0 = ( k 1) N0 + 1 NA 0 其他, 重新获取样本, 再次判决

15 此时 x k H ~ N(0, ), x H ~ N( A, ) 0 k 1 N0 N0 由于 α = β th A A = δ, th = + δ ' ' 0 1 p = q, q = p A A + δ p = P xk + δ H0 = 1 Φ N 0 A A δ q= P xk δ H0 =Φ N 0

16 可得 = Φ 1 +Φ ( ) ( ) N p q A δ = ( 1 p) ( q) ( p) ( q) A Φ Φ Φ 1 +Φ 利用有 p p α = = 1 r p+ q N0 N0 N0 E{ N} = P( H0) + P( H1) = 1 r 1 r p + q ( 1 α ) α 1 1 p p Φ ( p) + qn,, δ, th th = 1 Φ ' ' mn 0 0, 1 Ap α

17 .3 相关样本的序贯检测二元假设检验模型 : H : x = n 其中 A > 0, n 是均值为零自相关函数为 R m = ρ 的高斯噪声, ρ e s,0< ρ < 1 0 H : x = A+ n 1 n ( ) m Ruxn Nu and Pramod K. Varshney, Samplng schemes for sequental detecton wth dependent observatons, IEEE ransacton on Sgnal Processng, Vol.58, No.3, March 010.

18 1. 分批采样方式每 M 个相关样本为一组, 构成一个超级样本, 超级样本之间互不相关假设检验模型 : H H 0 1 : x : x = s+ n = n 其中 x [ x1, x,, x ], s A[ 1,1,,1] [ n, n,, n ] ~ N(, ) = = M n = 0 1 M

19 1 ρ ρ ρ ρ 1 ρ ρ ρ ρ 1 ρ M 1 M M 3 ρ ρ ρ 1 M 1 M, ρ M 3 = = e s s 为组内相邻采样点间隔相邻组间间隔为 ln ε, ε 为一微小量似然比判决规则 : ( y ) ( y ) λ th λ th th < λ ( y ) < th 0 1 判为 H 1 1 判为 H 0 0 [,,, ] y = x x x 1 增加一个超级样本, 重新判决

20 其中又 1 s ln λ ( x) = s x th 1 β β, th α 1 α { ( ) } { ( ) } 1 E ln λ x H1 = E ln λ x H0 = s s 1 = 1 ρ 0 0 ρ 1 ρ (1 ρ ) ρ ρ 0 0 ρ 1

21 得 A E H1 M M (1 + ρ) { ln λ ( x ) } = [ ( ) ρ] 结束判决所需的平均组数 : { 1} E N H { 0} E N H ( 1 β) lnth + β ln E{ ln λ ( x ) H1} αln th + ( 1 α) ln E ln λ ( x ) H { 0} 平均终止时间 : E{ N}[ M + ] ( 1) s th th

22 . 均匀采样方式自回归噪声模型 { } v { } 1 1 ρz n 1 { v } 1 1 ρz 预白化 { } n 白噪声序列 ( ) v ~ N 0,(1 ρ ) n = v + ρn 1 v = n ρn 1 定义 y = x ρ x 1

23 新的检验模型 : 似然比判决规则 : H : y = v 0 H : y = (1 ρ) A+ v 1 ( y ) ( y ) λ th λ th th < λ ( y ) < th 判为 H 判为 H 增加一个样本, 重新判决其中 y = [ y, y,, y ] 1 th 1 β β, th α 1 α 1 0

24 由于 : ln λ E ( y) ( ρ ) ( + ρ) A y 1 A 1 { ln λ( y) } = ln λ( y) { } H E H 结束判决所需的平均取样数 : = ( 1 ρ ) ( + ) 1 0 = 1 A ρ 1 1= th0 ( ) ( ) λ( ) ( ) E{ ln λ ( y) H1} { ln } ( ) { ln λ( ) } ( ) ( ) A ( 1 ρ ) αln th + 1 α ln th 1 β ln th + β ln th E{ N} = P H + P H E y H E y H ( ) α= β 1 β lnth + βlnth 1 β 1+ ρ lnth = th 1 0 1

25 .4 复合假设序贯检测我们将对应随机参量信号的检测称为复合假设检验设 Φ = [ ϕ1, ϕ,, ϕ ] m 和 = [ θ1, θ,, θ ] n 分别是与假设和假设 H 1 有关的随机参量矢量, 它们的先验概率密度函数分别为 f ( ) 和 f ( ) 当取到第个样本时, 序贯似然比函数为 0 Φ 1 Θ H Θ 0 ( λ x ) = ( Θ) ( Φ) f( x Θ, H ) f ( Θ)dΘ 1 1 f( x Φ, H ) f ( Φ)dΦ 0 0

26 序贯似然比判决规则 ( λ x ) th1, 判为 H1 ( λ x ) th0, 判为 H0 th0 < ( λ x ) < th1, 增加一个样本, 重新判决 th 1 β β, th α 1 α 其中 1 0 α, β 定义如下 α = β = ( Φ) ( Θ) α( Φ) β ( Θ) f f 0 1 ( Φ)dΦ ( Θ)dΘ 可见, 复合序贯检测与一般的序贯检测相比, 使用了归一化似然比和归一化虚警和漏警概率, 其他类似

27 .5 序贯最小均方误差估计在许多信号处理的应用问题中, 接收的数据是通过对连续时间信号波形进行采样而得到的随着时间进展, 可供使用的数据越来越多我们可以等到所有可供使用的数据全部采样到时再处理, 也可以按照时间顺序进行数据处理特别地, 如果我们已经求出了基于 { x [0], x[1],, x[ N 1]} 的线性最小均方误差估计值 ˆθ, 直接根据当前数据 x[n ] 更新 ˆθ, 称之为序贯最小均方误差估计

28 .5.1 最小均方误差估计 (MMSE).5. 线性最小均方误差估计 (LMMSE).5.3 白噪声中的 DC 电平序贯模型.5.4 序贯矢量 LMMSE 估计量

29 .5.1 最小均方误差估计 (MMSE) 使估计的均方误差达到最小的一种估计估计的均方误差为推得 ξ ˆ θ E θ ˆ θ θ ˆ θ f θ xdxd θ ( ) = {( ) } = ( ) (, ) ( θ ) ( x) ˆ θ = θf ( θ x ) MS ( θ ) dθ

30 .5. 线性最小均方误差估计 (LMMSE) 最小均方误差估计的一种特例, 它要求估计量与观测样本之间必须满足线性关系, 即其中, 和 b N = = + k k = + k = 1 ˆ θ g( x) a b x a a 1 b x = [ b, b,, b ] N 是待定系数, 根据最小均方误差估计准则来确定估计的均方误差为 B ˆ E ˆ E a ( θ) = {( θ θ) } = {[ θ ( +bx)] }

31 求解 a 和 b a b { ( θ bx) } B( ˆ θ) = E a = 0 a= a L L b= b L {( θ bxx ) } B( ˆ θ) = E a = 0 a= a L L b= b L L L 解得则 a = E Cov x Cov x x E x L L 1 {} θ {,} θ {,}{} b = Cov x x x 1 { θ, } Cov {, } ˆ {} {,} 1 {,}[ {}] LMS = al + bx L = E + Cov xcov xx x E x θ θ θ B ˆ Cov Cov Cov Cov 1 mse( θ ) = { θθ, } { θ, x} { x, x} { x, θ}

32 正交原理 : 线性最小均方误差估计的估计误差与观测样本是正交的 E{( θ ˆ θ ) x } = 0 LMS

33 矢量的 LMMSE 估计假设多参量与观测样本满足线性关系 θ ˆ = a+ Bx 其中 = θ1 θ θ M θˆ ˆ, ˆ,, ˆ, a = [,,, ], x = a1 a a M [ ] x1 x x N,,,, B b b b b b b b b b N 1 N = M1 M MN { } 估计的均方误差为 B( θˆ ) = E [ θ a Bx] [ θ a Bx]

34 求解 a 和 B a B { } B( θˆ ) = E θ a B x = 0 a= a L B= B ( ) B( θˆ ) = E θ a B x x = 0 a= a L L B= B L L { } L L L 解得 1 al = E{ θ} Cov{ θ, x} Cov { x, x} E{ x} 1 B = Cov{ θ, x} Cov { x, x} L 则 ˆ { } {, 1 θ = θ + θ x} { x, x} x { x} LMS E Cov Cov E mse {( )( ) } ˆ B ( θ ) = M = E θ θˆ θ θˆ ˆ θ

35 进一步, 若观测样本具有贝叶斯线性模型形式, 即 x= Hθ + w 其中 x 是一个 N 1的数据矢量, H 是一个已知的 N M 矩阵, θ ( u, C ) 是一个 M 1 的随机矢量, N θ θ w N(0, Cw ) 是一个 N 1 的噪声矢量, 且与无关 θ C w 是对角矩阵

36 可得 ˆ 1 = θ + θ ( θ + w) ( θ) θ u C H HC H C x Hu 误差的协方差矩阵 ˆ θ {( )( ) } ( ) 1 Cθ CθH HCθH Cw HCθ θ w { } {( )} M = E θ θˆ θ θˆ = E θ θˆ θ E θ θˆ a = ( + ) = ( C + H C H) L

37 .5.3 白噪声中的 DC 电平序贯模型假设加性高斯噪声中的 DC 电平模型为 xn [ ] = A+ wn [ ] ~ (0, A), 其中,DC 电平噪声样本 w~ N(0, ) 且独立同分布, 信号与噪声不相关 A N

38 根据线性最小均方误差估计准则,A 的估计为 N 1 1 ˆ( 1) A A N = bx L = x [ n ] N n= 0 A + N 最小均方误差为 B ˆ[ mse ( A N 1]) = N + A A

39 当 x[n] 可用时更新估计量 N 1 ˆ[ ] A AN = xn [ ] N + 1 n= 0 A + N + 1 N 1 = ( xn [ ] + xn [ ]) ( N + 1) + N 1 A A N n= 0 N = N A ˆ[ N 1] + x[ N] ( N + 1) + ( + 1) + A + A A A A N A N + = ˆ[ 1] + xn [ ] ( N + 1) + ( + 1) + A A AN A N A

40 ˆ N + = A[ N 1] + ( 1) A[ N 1] + x[ N] ( N + 1) + ( + 1) + A ˆ A A N A ˆ = AN [ 1] + ( xn [ ] AN ˆ[ 1]) ( N + 1) + A A 将修正老的估计 x[ N] Aˆ[ N 1] 的系数定义为增益因子 K[ N] = ( N + 1) A A + = B Bmse( Aˆ[ N 1]) ( Aˆ[ N 1]) + mse 又 B N + ˆ A A A mse ( A[ N]) = = ( N + 1) A + ( N + 1) A + N A + = (1 KN [ ]) B ( AN ˆ[ 1]) mse

41 综述序贯 LMMSE 估计过程计算增益因子 KN [ ] 更新估计量 = B ˆ mse( A[ N 1]) ˆ B ( A[ N 1]) + mse Aˆ [ N] = Aˆ[ N 1] + K[ N]( x[ N] Aˆ[ N 1]) 更新最小均方误差 B Aˆ[ N]) = (1 K[ N]) B ( Aˆ[ N mse( mse 1])

42 利用矢量空间方法的序贯估计 { x[0], x[1]} 基于 LMMSE 估计 Â[1 ] A AA Â[0] x [0] Â[1 ]] x[1] x[1] Â[0] ΔÂ[1] Â[1] Δ ΔÂ[1] x [ 1] x ˆ[10] ] ˆx[10] x[1] (a) (b) (c)

43 x [0] 和 x[1] 可能不是正交的 Â[0] 和 ΔÂ[1] 是正交的 ˆx [10] 是基于 x[0] 的 LMMSE 估计量, 根据正交条件有 x [0] x[ 1] xˆ[10 ] 和正交 Aˆ [1] = Aˆ[0] + ΔAˆ[1]

44 计算修正项 ΔÂ[1 ] 根据 ˆ {} {, } 1 {, }[ {}] LMS = al + bl x = E + Cov x Cov x x x E x θ θ θ 可知对于零均值的变量 x 和 y,y 基于 x 的 LMMSE 估计量为得 Exy { } x x yˆ = x = y, Ex Ex Ex { } { } { } Ex { [0] x[1]} E{( A+ w[0])( A+ w[1])} xˆ[1 0] = x[0] = x[0] E x E A+ w = { [0]} {( [0]) } A A + x[0]

45 误差矢量 xˆ [1] = x[1] xˆ[10] 表示 x[1] 贡献给估计 A 的新信息, 称之为新息 A 在这个误差矢量上的投影即是修正项 : xˆ[1] xˆ[1] E{ Axˆ[1]} xˆ[1] Δ Aˆ[1] = A, = Ex { ˆ [1]} Ex { ˆ [1]} Ex { ˆ [1]} 令 K[1] = E{ Axˆ [1]} Ex { ˆ [1]} 有 Aˆ [1] = Aˆ[0] + K[1]( x[1] xˆ[10])

46 ˆ[1 0] 计算 x 根据 x[1] = A+ w[1], 若基于数据 x[0] 估计上式各项, 有 xˆ[1 0] = Aˆ [0] + wˆ[1 0] 由于 w [1] 与 w[0] 不相关, 有 w ˆ[1 0] = 0 可得 ˆ A[0] = xˆ [1 0] = x[0] A A + 此时 Aˆ [1] = Aˆ[0] + K[1]( x[1] Aˆ[0 ])

47 计算增益因子 K[1] 根据 A xˆ [1] = x[1] xˆ[10] = x[1] Aˆ[0] = x[1] + A x[0] 可得 K[1] E{ Axˆ[1]} E{ Axˆ[1]} = = = Ex { ˆ [1]} {[1][1]} A Exˆ x A + 该结果与前面的结论中的结果是一致的 KN [ ] =, ( N + 1) + A A 令 N = 1

48 采用上述矢量空间方法的流程 x[0] 1. 求出基于的 A 的 LMMSE 估计量, 得到 Â[0]. 求出基于 x[0] 的 x[1] 的 LMMSE 估计量, 得到 ˆx[10] 3. 确定新数据 [1] 的新息, 得到 x x[ 1] xˆ[10 ] 4. 将 A 基于新息的 LMMSE 估计量加到 Â [0] 上, 得到 Â[1 ] 5. 继续这个过程

49 本质上, 我们产生了一组不相关或正交的随机变量, 成为新息 { x[0], x[1] xˆ[1 0], x[] xˆ[ 0,1], }, 这个过程称为 Gram-Schmdt 正交化此时求 A 基于 {[0], x x[1], x[],, x[ N 1] } 的 LMMSE 估计量, 只需将各个估计值 ( 投影 ) 简单地相加即可 A ˆ[ N 1] = N 1 n= 0 K[ n]( x[ n] xˆ[ n 0,1,, n 1]) 其中的增益因子 Kn [ ] = E{ Axn ([] xn ˆ[ 0,1,, n 1])} E{( x[] n xˆ [ n 0,1,, n 1])}

50 计算和增益 x ˆ[ N 0,1,, N 1] K[N] xn ˆ[ 0,1,, N 1] = AN ˆ[ 1] + wn ˆ[ 0,1,, N 1] = AN ˆ[ 1] KN [ ] = E{ A([ x N] Aˆ [ N 1]) } E x N Aˆ N {([ ] [ 1]) } 由于 xn [ ] AN ˆ[ 1] 是 x[n ] 的新息, 新息与 { x[0], x[1], x[],, x[ N 1]} 正交, 因而也与 AN ˆ[ 1] 正交 ( 这些样本数据的线性组合 ) 此外 EwN { [ ]( A AN ˆ[ 1])} = 0

51 所以 E{ AxN ( [ ] AN ˆ[ 1])} = E{( A AN ˆ[ 1])( xn [ ] AN ˆ[ 1])} = E A Aˆ N = B Aˆ N {( [ 1]) } mse( [ 1]) E x N Aˆ N = E w N + A Aˆ N {( [ ] [ 1]) } {( [ ] [ 1]) } = Ew N + EA AN ˆ { [ ]} { [ 1]) } ( ˆ [ 1]) mse = + B A N 最终 K[ N] = Bmse( Aˆ[ N 1]) + B ( Aˆ[ N 1]) mse AN ˆ[ ] = AN ˆ[ 1] + K[ N]( xn [ ] AN ˆ[ 1])

52 最小均方误差的更新 B Aˆ N E A Aˆ N mse( [ ]) = {( [ ]) } = E A AN ˆ K N xn AN ˆ {( [ 1] [ ]( [ ] [ 1])) } ˆ ˆ ˆ = E{( A AN [ 1]) } K[ N] E{( A AN [ 1])( xn [ ] AN [ 1])} ˆ + K [ N] E{( x[ N] A[ N 1]) } ˆ ˆ ˆ mse mse mse = B ( A[ N 1]) K[ N] B ( A[ N 1]) + K [ N]( + B ( A[ N 1])) 利用 E{ A([ x N] Aˆ [ N 1]) } B ( Aˆ [ N 1]) KN [ ] = = E{ x N A N } B A N mse ([ ˆ ] [ 1]) + ( ˆ mse [ 1]) 可得 B mse ( Aˆ[ N]) = (1 K[ N]) B ( Aˆ[ N 1]) mse

53 .5.4 序贯矢量 LMMSE 估计量将矢量空间方法推广到序贯矢量 LMMSE 估计量首先假设观测样本具有贝叶斯线性模型形式 x= Hθ + w 其中 x 是一个 ( n + 1) 1的数据矢量, H 是一个已知的 ( n+ 1) M 矩阵, θ ( u, C ) 是一个 M 1 的随机矢 N θ θ 量, w N(0, Cw ) 是一个 ( n + 1) 1 的噪声矢量, 且与无关是对角矩阵, Ew { [ n]} = n C w θ

54 令 θ ˆ[ n] 是基于 { x[0], x[1],, x[ n]} 的 LMMSE 估计量, M[ n] 是相应的误差的协方差矩阵, 即 M[ n] = E{( θ θˆ[ n])( θ θˆ[ n]) } 分解观测矩阵 H[ n] H[ n 1] n M = = [ n] 1 M h 当 u θ = 0, 第个分量 ˆ θ [ n] = ˆ θ [ n 1] + K[ n]( xn [ ] xn ˆ[ 0,1,, n 1]) ˆ θ [ n 1] + K [ n]( x[ n] xˆ [ n n 1])

55 由于 xn [ ] = h [ n] θ + wn [ ] ˆ xnn ˆ[ 1] = h [ n][ θ n 1] + wnn ˆ[ 1] = h [ n][ θˆ n 1] 则 θˆ[ n] = θˆ[ n 1] + K[ n]( x[ n] xˆ [ n n 1]) ˆ = θ[ n 1] + K[ n]( x[ n] h [ n] θˆ[ n 1]) 又 E{ θ ([] x n xˆ [ n n 1]) } E{( θ ˆ θ [ n 1])( θ θˆ [ n 1]) } h[ n] K[ n] = = E{ x n x n n } n n n ( [ ] ˆ[ 1]) n + h [ ] M[ 1] h[ ] K[ n] = n M[n -1] h[ n] + h [ n] M[n -1] h[ n] 注 E{ ˆ θ [ n 1]( xn [ ] xnn ˆ[ 1]) }=0

56 而 [ ] {( ˆ[ ])( ˆ M n = E θ θ n θ θ[ n]) } = ( I K[ n] h [ n]) M[ n 1] 当 u, 可以将观测样本 xn [ ] E{ xn [ ]} 应用到对 θ 0, 的估计, 结论仍然一样 θ u θ 初始值设定 θˆ[ 1] = E { θ } = uθ M[ 1] = E{( θ θˆ[ 1])( θ θˆ[ 1]) } = C θ

57 综述序贯 LMMSE 估计过程计算增益矢量更新估计量 K[ n] = n M[n -1] h[ n] + h [ n] M[n -1] h[ n] ˆ ˆ θ[ n] = θ[ n 1] + K[ n]( x[ n] h [ n] θˆ[ n 1]) 更新估计误差的协方差矩阵 M[ n] = ( I K[ n] h [ n]) M[ n 1]

58 x[n] + K[n] n, h[ n], M[ n 1] + + θ ˆ[ n] h [n] θ ˆ[ n 1] 1 z 序贯 LMMSE 估计

59 例 : 假设数据模型是 xn [ ] = acosπ fn+ bsn π fn+ wn [ ] n 其中 wn [ ] 是方差为的白噪声请应用贝叶斯线性模型, 序贯估计 θ = [ ab, ] 假设 θ 的均值为 E{} θ = [ μ, μ ] 方差为 θ I a b,

60 .6 序贯最小二乘估计.6.1 线性最小二乘估计 (LS).6. 序贯矢量的 LS 估计量

61 .6.1 线性最小二乘估计 (LS) 对于标量参数, 假设满足如下线性观测模型 xn [ ] = hnθ [ ] + wn [ ] 其中 h[n] 是一个已知序列 LS 误差指标为 N 1 J[ ˆ θ ] = ( x[ n] h[ n] ˆ θ ) n= 0 使其最小, 可得 ˆ θ LS = N 1 n= 0 N 1 n= 0 xnhn [ ] [ ] h [ n]

62 对于 M 1 维矢量参数, 假设满足如下线性观测模型 x = Hθ + w 其中 H 是一个列满秩的 N M 维已知观测矩阵, x 是一个 N 1 维观测样本, w是观测噪声 LS 误差指标为 ˆ ˆ J ( θ) = ( x Hθ) ( x Hθˆ) 使其最小 θˆ J ( ˆ ) θ H ( x Hθˆ ) = = 0

63 可得 ˆ ( ) 1 θls = HH Hx J mn = ( ˆ) ( ˆ) = ( ( ) 1 x Hθ x Hθ x I H H H H )x 扩展形式 : 加权 LS 为强调那些被认为是更可靠的数据样本的贡献, 引入一个 N N 维对称正定加权矩阵 W ˆ ˆ J ( θ) = ( x Hθ) Wx ( Hθˆ) 可得 ˆ ( ) 1 θ = HWH HWx ( 1 J mn = x W WH( H WH) H W)x 最优加权矩阵是噪声协方差矩阵的逆 W = C 1 w

64 .6. 序贯矢量的 LS 估计量考虑加权 LS 假设观测噪声互不相关, 均值为零 x[ n] = H[ n] θ + w[ n] 其中 x[ n] = x[0], x[1],, x[ n] C w [ ] [ n] = dag{,,, } 0 1 n H[ n] H[ n 1] n M = = [ n] 1 M h 基于 x[ n] 得到的加权 LS 估计值 1 1 ˆ[ ] [ ] [ ] [ ] [ ] n = n n n n w [ n ] [ n ] ( ) 1 w θ H C H H C x 注 : 为保证可逆, 要求 H[ n] 列满秩

65 估计误差的协方差矩阵为 [ ] {( ˆ[ ])( ˆ M n = E θ θ n θ θ[ n]) } = H [ n] C [ n] H[ n] ( 1 ) 1 w 又 ˆ[ ] ( [ ] [ ] [ ]) [ ] n = n w n n n w [ n ] [ n ] θ H C H H C x = M H C x 1 [ n] [ n] w [ n] [ n] 1 [ 1] Cw n 0 H[ n 1] = H [ n 1] h[ n] n [ n] 0 h [ 1] Cw n 0 x[ n 1] H [ n 1] h[ n] n xn [ ] 0 1 1

66 得 ˆ[ ] [ 1] [ 1] [ 1] [ ] θ n = H n Cw n H n + h n h [ n ] n 1 H n C n x n + h n x n 1 [ 1] w [ 1] [ 1] [ ] [ ] n 1 M [ n 1] h[ n] h [ n] n 1 = H C x + h 1 [ n 1] w [ n 1] [ n 1] [ n] x[ n] n M[ n] 其中 ( 1 ) 1 M[ n 1] = H [ n 1] C [ n 1] H[ n 1] w

67 利用求逆等式 A uu A A + uu ) = A 1 1+ u A u ( 推得 M[ n] = M [ n 1] + h[ n] h [ n] n = M[ n 1] M[ n 1] h[ n] h [ n] M[ n 1] n = ( I K[ n] h [ n]) M[ n 1] + h [ n] M[ n 1] h[ n] 其中 K[ n] = n M[ n 1] h[ n] + h [ n] M[ n 1] h[ n]

68 由于 1 1 ˆ[ 1] [ 1] [ 1] [ 1] [ 1] n = n n n n w [ n 1] [ n 1] ( ) 1 w θ H C H H C x 可得 1 [ n 1] [ n 1] w [ n 1] [ n 1] = M H C x θˆ n = I K n h n M n M n θˆ n + 1 h n x n ˆ ˆ 1 = θ[ n 1] K[ n] h [ n] θ[ n 1] + M[ n 1] h[ n] x[ n] 1 [ ] ( [ ] [ ]) [ 1] [ 1] [ 1] [ ] [ ] n 1 n K[ n] h [ n] M[ n 1] h[ n] x[ n] n

69 又 1 1 M[ n 1] h[ n] K[ n] h [ n] M[ n 1] h[ n] n n 1 1 = K[ n]( + h [ n] M[ n 1] h[ n]) K[ n] h [ n] M[ n 1] h[ n] = K[ n] n n n 因此 ˆ ˆ θ[ n] = θ[ n 1] + K[ n] x[ n] K[ n] h [ n] θˆ[ n 1] ( ˆ ) = θˆ[ n 1] + K[ n] x[ n] h [ n] θ[ n 1]

70 根据 LS 误差定义进行更新 J n x n H n θˆ n C n x n H n θˆ n 1 mn[ ] = ( [ ] [ ] [ ]) w [ ]( [ ] [ ] [ ]) ( ˆ ) = x C x H θ 1 [ n] w [ n] [ n] [ n] [ n] 1 Cw [ n 1] 0 [ 1] [ 1] ˆ x n H n θ[ n] = x [ n 1] x[ n] 1 0 ˆ xn [ ] [ n] [ n] h θ n ( ˆ ) 1 [ n 1] w [ n 1] [ n 1] [ n 1] [ n] = x C x H θ 1 x [ + n] x[ n] h [ n] θˆ [ n] n ( ) 注 1 1 ˆ[ ] [ ] [ ] [ ] [ ] n = n n n n w [ n ] [ n ] ( ) 1 w θ H C H H C x

71 令 en [ ] = xn [ ] h [ n] θˆ [ n 1], 得 θˆ[ n] = θˆ[ n 1] + K[ n] e[ n] ( ˆ ) J n = n n n n n n n e n 1 mn[ ] x [ 1] Cw [ 1] x[ 1] H[ 1] θ[ 1] H[ 1] K[ ] [ ] 1 + xn [ ] xn [ ] [ n] ˆ[ n 1] [ n] [ nen ] [ ] n ( h θ h K ) = J n n n n n e n 1 mn[ 1] x [ 1] Cw [ 1] H[ 1] K[ ] [ ] 1 [ ] ( 1 + xn h [ n ] K [ n ] ) en [ ] n ˆ 1 1 = Jmn[ n 1] θ [ n 1] M [ n 1] K [ n] e[ n] + x [ n ] ( 1 h [ n ] K [ n ] ) e [ n ] n 注 1 ˆ[ 1] [ 1] [ 1] n = n n w [ n 1] [ n 1] θ M H C x

72 又 1 ( ) ˆ 1 xn [ ] 1 h [ n] K[ n] θ [ n 1] M [ n 1] K[ n] n ˆ 1 h [ n] M[ n 1] h[ n] θ [ n 1] h[ n] = xn [ ] 1 n n + h [ n] M[ n 1] h[ n] n + h [ n] M[ n 1] h[ n] xn [ ] h [ n] θˆ [ n 1] en [ ] = = + h [ n] M[ n 1] h[ n] + h [ n] M[ n 1] h[ n] n n 最终 J [ n] = J [ n 1] + mn mn n e [ n] + h [ n] M[ n 1] h[ n]

73 综述序贯 LS 估计过程计算增益矢量 K[ n] = 更新估计量 n M[ n 1] h[ n] + h [ n] M[ n 1] h[ n] ( ) θˆ[ n] = θˆ[ n 1] + K[ n] x[ n] h [ n] θˆ[ n 1] 更新估计量的协方差矩阵 M[ n] = ( I K[ n] h [ n]) M[ n 1]

74 x[n], h[ n], M[ n 1] + + K[n] n + θ ˆ[ n] h [n] θ ˆ[ n 1] z 1 序贯 LS 估计

75 初始值设定 1. 利用批估计量求为保证矩阵可逆, 要求 n M 1 1 ˆ[ 1] [ 1] [ 1] [ 1] [ 1] n = n n n n 1 w [ n 1] [ n 1] ( ) w θ H C H H C x ( 1 ) w M[ n 1] = H [ n 1] C [ n 1] H[ n 1]. 指定 θ ˆ[ 1], M[ 1], α 取个大的值 θˆ[ 1] = 0 M[ n 1] = αi 1

76 例 : 假设数据模型是 xn [ ] = acosπ fn+ bsn π fn+ wn [ ] 0 0 n 0 其中 wn [ ] 是方差为的白噪声序列请序贯 LS 估计 θ = [ ab, ]

77 .7 相关样本的序贯估计假设观测样本具有贝叶斯线性模型形式 M x[ n] = h[ n] θ + w[ n] = 1 其中是待估计参量矢量, h [ ] n θ = [,,, ] ( u, C ) θ1 θ θ M N θ θ 是已知的观测系数, wn [ ] ( ) m 是均值为零自相关函数为 R m = ρ 的高斯色噪声, 0< ρ < 1, 且与无关 n θ

78 将观测样本通过如下白化滤波器 { xn [ ]} { } 1 1 ρ z yn [ ] yn [ ] = xn [ ] ρ xn [ 1] M = 1 = 1 ( ) = h[ n] ρh[ n 1] θ + w[ n] ρw[ n 1] M h [ n] θ + v[ n] k 其中 ( ) vn [ ]~ N 0,(1 ρ ) 是高斯白噪声

79 新的观测模型 : y[ n] = H [ n] θ + v[ n] 其中 : x[0] y[1] y[ n] = yn [ ] H [ n] C v h1[0] h[0] hm [0] h [1] h [1] h [1] H [ n 1] h [ n] h 1[ n] h [ n] h M [ n] 1 M = = 0 0 ( 0 1 ρ ) 0 = ( ρ )

80 综述相关样本的序贯 LMMSE 估计过程设定初始值计算增益矢量 K[0] = { } θˆ[ 1] = E θ, M [ 1] = C θ M[-1] h[0] + h [0] M[-1] h[0] 更新估计量 ˆ ˆ θ[0] = θ[ 1] + K[0]( x[0] h [0] θˆ[ 1]) 更新估计误差的协方差矩阵 M[0] = ( I K[0] h [0]) M[ 1]

81 预白化观测样本计算增益矢量 K[ n] = 更新估计量 yn [ ] = xn [ ] ρxn [ 1], n= 1,, M[n -1] h [ n] (1 ρ ) + h [ ] M h [ ] n [n -1] n ˆ ˆ θ[ n] = θ[ n 1] + K[ n]( y[ n] h [ n] θˆ[ n 1]) 更新估计误差的协方差矩阵 M[ n] = ( I K[ n] h [ n]) M[ n 1]

第五章信号估计理论

第五章信号估计理论信号统计分析第 5 章信号估计理论本章内容 5.1 引言 5.2 估计准则 5.3 多参量的常用估计准则 5.4 估计量评价的指标 5.5 克拉美 - 罗不等式 5.6 应用 5.1 引言信号检测 : 判断是否存在信号或存在哪种信号信号估计 : 对信号的参量甚至波形进行定量的推断从信号检测到信号估计, 是对事物从定性的判断到定量的描述不同应用领域 : 数理统计领域 : 估计总体的均值