The Theory of Estmato Chapter 9 Propertes of Pot Estmators ad Methods of Estmato 9. Itroducto I ths chapter, we udertake a more formal ad detaled examato of some of the mathematcal propertes of pot estmators-partcularly the otos of effcecy, cosstecy, ad suffcecy. We preset a result, the Rao-Blackwell theorem, that provdes a lk betwee suffcet statstcs ad ubased estmators for parameters. We also demostrate a method that ca sometmes be used to fd mmum-varace ubased estmators for parameters of terest. We the offer two other useful methods for dervg estmators: the method of momets ad the method of maxmum lkelhood. Some propertes of estmators derved by these methods are dscussed as well. 9. Relatve Effcecy Defto 9. Gve two ubased estmators, ˆ ad ˆ, of a parameter, wth varacesv ( ˆ ) ad ˆ V ( ), respectvely, the the effcecy of defed to be the rato ˆ relatve to ˆ, deoted eff ( ˆ, ˆ ), s eff ( ˆ, ˆ )= V ( ˆ )/ V ( ˆ ) Note. 若 MSE( ˆ ) 為所有 之估計量中最小者, 則稱 ˆ 在估計 時具絕對有效性, 或稱絕對有效估計量. 相對有效性 (relatve effcecy): 7
The Theory of Estmato 設 ˆ, ˆ 皆為 的點估計量, 若 ˆ 的期望平方誤差相對於 ˆ 的期望平方誤差較 小 (.e. MSE( ˆ )<MSE( ˆ )), 則稱 ˆ 相對於 ˆ 估計時具相對有效性 3. 不偏估計量之相對效應 : 若 ˆ, ˆ 皆為 之不偏估計量, 若 Var( ˆ ) < Var( ˆ ) 則稱 ˆ 相對於 ˆ 為有效估 計量 Example Let Y, Y,, Y deotes a radom sample of sze from a populato wth a uform dstrbuto o the terval Y Max( Y,, Y ). Please fd the effcecy of ( ) = (0, ). Let ˆ = Y ad ˆ + = Y( ˆ relatve to ˆ. ), where 8
The Theory of Estmato Example Let Y, Y,, Y deote a radom sample from a probablty desty fucto f ( y ), whch has ukow parameter. If ˆ s a ubased estmator of, the uder very geeral codtos V( ˆ ) I( ) where I( ) =. l f ( y) E (Ths s kow as the Cramer-Rao equalty.) If V( ˆ ) = I( ), the estmator ˆ s sad to be effcet. () Suppose that f ( y) s the ormal desty wth mea μ ad varaceσ. Show that Y s a effcet estmator of μ. () Ths equalty also holds for dscrete probablty fucto p( y ). Suppose that p( y) s the Posso probablty fucto wth mea λ. Show that Y s a effcet estmator of λ. 9
The Theory of Estmato Note. 正規條件 (Regular Codtos) 若 X, X,, X ~ f ( ; ), Θ 滿足 : x () 參數空間為一開集合 () 集合 A = { x, x,, x ) f ( x; ) 0} ( > (3) f (x; ) <, Θ (4) 對於任意統計量 (X), 若滿足 則 與 無關 U E { U (X)} < U ( X) f ( x; ) dx = U ( X) f ( x; ) dx A A (5) E f ( x; ) < (6) f ( x; ) dx = f x dx A ( ; ) 則稱條件 ()~(6) 為正規條件 (Regular Codto). I( ) : Fsher formato I( ) = E ( log f ( x; )) = ( log f ( x; )) f ( x; ) dx (x 均為小寫 ) = ( f ( x; )) dx f ( x; ) log f ( x; ) 一般稱為 score fucto log f( x; ) I( ) = var( ) log f ( x; ) f ( x; ) 因為 E( ) = ( log f ( x; )) f ( x; ) dx = dx = f ( x; ) dx ( 假設微分與積分可變換條件下 ) =0 0
The Theory of Estmato 3. 假設上述定義的正規條件皆符合, 且 T (X) 為 τ ( ) 的不偏估計量, E( T ( X)) <, 則 d τ ( ) d Var( T ( X ) I( ) 其中 I ( ) = E l f ( x; ) 稱為情報數 (Fsher's Iformato Number) 此不等 式稱為情報不等式或 Cramer-Rao 不等式 4. I ( ) = E l f ( x; ) = E l f ( x; )
The Theory of Estmato 9.3 Cosstecy Defto 9. The estmator ˆ s sad to be a cosstet estmator of f, for ay postve umber ε, Note lm P ( ˆ ε = ), or, equvaletly, P ( ˆ ε) lm > = 0. I defto 9., we also call ˆ coverges probablty to. Theorem 9. A ubased estmator ˆ for s a cosstet estmator of f lm V ( ˆ ) = 0. pf Theorem 9. Suppose that ˆ coverges probablty to ad that ˆ coverges probablty to. The (a) ˆ + ˆ coverges probablty to +. (b) ˆ ˆ coverges probablty to. (c) ˆ / ˆ coverges probablty to /. (d) If g(.) s a real-valued fucto that s cotuous at, the g( ˆ ) coverges probablty to g( ).
The Theory of Estmato Theorem 9.3 Suppose that has a dstrbuto fucto that coverges to a stadard ormal dstrbuto fucto as. If W coverges probablty to, the the dstrbuto fucto of fucto. Example 3 Suppose that EY ( ) = μ ad U Y Y, VY ( ) U / W coverges to a stadard ormal dstrbuto s a radom sample of sze from a dstrbuto wth = σ. Defe S = ( Y Y ) =. Show that the dstrbuto fucto of Y μ S coverges to a stadard ormal dstrbuto fucto. Example 4 Let Y varace Y, σ < deote a radom sample from a dstrbuto wth mea. Show that Y = Y = s a cosstet estmator of μ. μ ad 3
The Theory of Estmato Example 5 Let Y,, Y be a radom sample of sze from a ormal populato wth mea μ ad varace σ. Assume = k for some teger k, oe possble estmator for σ s gve by ˆ σ ( ) k = Y Y k = Please show that ˆ σ s a cosstet estmator for σ. 4
The Theory of Estmato 9.4 Suffcecy Defto 9.3 Let Y,, Y be a radom sample wth p.d.f. f (.; ), Ω R, ad let T = T( Y,, Y ) be a statstc (.e., a kow fucto of the Y ' s). The, f the codtoal dstrbuto of they ' sgve T = t, does ot deped o, we say that T s a suffcet statstc for. Note.If g s a real-valued oe-to-oe fucto defed o the rage of T, t s clear that kowg T s equvalet to kowg T * = g( T), ad vce versa( 反之亦然 ). Thus, f T s a suffcet statstc for *, so s T. I partcular, f Y,, Y ~ N ( μ, σ ), the T or ( = = Y Y ) s the suffcet statstc for μ, T = ( Y ) Y = ( ( Y Y) ) s the suffcet statstc forσ..the defto gve for oe parameter also apples for more tha oe parameter, but the we also eed a multdmesoal suffcet statstc, usually, wth dmesoalty equal to the umber of the parameters. I all cases, we ofte use smply the term suffcet statstc(s) for, f o cofuso s possble. Theorem 9.4 Fsher-Neyma Factorzato Theorem( 分解定理 ) LetY,, Y be a radom sample wth p.d.f. f (.; ), Ω R, lett = T( Y,, Y ) be a statstc. The T s a suffcet statstc for, f ad oly f the jot p.d.f of the Y ' smay be wrtte as follows: [ ] f ( y,, y ; ) = g T( y,, y ); h( y,, y ). Y, Y = or 5
The Theory of Estmato Example 6 Let Y,, Y be a radom sample whch Y possesses the probablty desty fucto ( ) y / e,0 y< f( y) = 0, otherwse where > 0, =,,,. Please fd a suffcet statstc for the estmato of. Example 7 Let,, Y Y ~ U (0, ),Please fd a suffcet statstc for the estmato of. 6
The Theory of Estmato 補充 一 聯合充分統計量的觀念 定理 若 其中 = Y,, Y ~ f( y; ); (,, ) r T 若 f( y,, y; ) = f( y; ) = g( T( Y),, Tk( Y); ) h( Y), 則 ( T ( Y),, T k ( Y)) 是 = 的聯合充分統計量 (jot suffcet statstc); 其中 Y = ( Y,, Y ) 定理 續上述定理中, 若存在一向量函數 φ, 滿足 * * T ( Y) = φ( T( Y)) = ( T ( Y),, T * m ( Y)), 且 φ 為 - 函數, 則 T * ( Y) 亦為 的聯合充分統計量 (jot suffcet statstc) Example 8 Let Y,, Y ~ N( ; ), R, > 0, please fd a suffcet statstc for = (, ) 7
The Theory of Estmato 二 最小充分統計量的觀念 定義 若 T 是一個充分統計量, 且對於參數的所有充分統計量 S 而言, 恆存在一個函 數 g, 使得 T = g( S) 皆成立, 則稱統計量 T 是最小充分統計量 (mmal suffcet statstc;m.s.s.) 定理 若 Y,, ~ ( ; ) Y f y 且 TYY (,,, Y ) 為一統計量, 且滿足 f( y, y,, y; ) 與 無關 TYY (,,, Y) = T( X, X,, X) f( x, x,, x ; ) 則稱 TYY (,,, Y ) 為 的最小充分統計量 Example 9 If,, Y Y ~ Ber ( p ),Please fd mmal suffcet statstc for p. 8
The Theory of Estmato Note 概似函數 (Lkelhood Fucto). 若 Y,, ~ ( ; ) Y f y, 定義 Y,, Y 經抽樣之後的聯合機率密度函數 f( y, y,, y ; ) = f( y ; ) = 為 的概似函數, 記作 : L( ; y, y,, y) f( y, y,, y; ) f( y; ) 代表已知樣本 Y,, Y 屬 於 的可能性大小 = = =.Data Y= ( Y,, Y ) where Y 之 pdf 為 f(y;) f( y, y,..., y ; ) = f( y; ) 固定 ;y 變動 概似函數 - L(; y): lkelhood fucto L( ) or L( ; y) = f( y; ) = 變動 ;y 固定. 若 f ( y; ) 中,y 的範圍與 無關時, 則可直接的建立概似函數 L( ; y, y,, y ) f( y, y,, y ; ) f( y; ) = = = Example 0 () IfY,, Y ~ Ber( ), please fd the lkelhood fucto of. () IfY,, Y ~ Posso( ), please fd the lkelhood fucto of.. 若 f ( y; ) 中,y 的範圍與 有關時, 則需要引進指標函數來建立概似函數 Example IfY, Y ~ U (0, ), please fd the lkelhood fucto of., 9
The Theory of Estmato 9.5 The Rao-Blackwell Theorem ad Mmum-Varace Ubased Estmato Theorem 9.5 The Rao-Blackwell Theorem Let ˆ be a ubased estmator for such that statstc for, defe ˆ* = E ( ˆ U ). The, for all, Var( ˆ ) <. If U s a suffcet E( ˆ* ) = ad Var( ˆ* ) Var( ˆ) pf 補充. 機率族 定義 若 Y 為一隨機變數且其機率密度函數為 f ( y; ), 且其參數空間為 Θ, 定義集 合 f( y; Θ ), 則此集合稱為隨機變數 Y 的機率密度函數族 (famly of probablty desty fucto for Y), 簡稱隨機變數 Y 的機率族.. 完備性 定義 若 Y 為一隨機變數且機率密度函數族為 f( y; Θ ), 若在此機率族中滿足 EgY ( ( )) = 0, Θ ( 或 pgy ( ( ) = 0) =, Θ) gy ( ) = 0 則稱隨機變數 Y 的機率族是具有完備的 (completeess) 性質. 30
The Theory of Estmato 3. 完備性統計量 定義 若 TY (,, Y ) 為一統計量, 記作 T ( Y ), 且其機率密度函數為 f ( y; ) 若其 對應的機率族為 f(; t Θ ) 具有完備的性質, 則稱統計量 T ( Y) 為完備統計量 (complete statstc). Example () LetY,, Y ~ Posso( ), > 0, please show that Y s complete. = () Let Y,, ~ (0, ) Y Uform, > 0, please show that Y( ) = Max( Y,, Y) s complete. 4. 完備充分統計量 定義 若 T ( Y) 為一統計量, 滿足 () T ( Y) 為 之充分統計量 () T ( Y) 的機率族是具有完備性 則稱 T ( Y) 為 之完備充分統計量 (complete suffcet statstc; C.S.S.). 註 綜合第 3 及第 4 的定義, 我們可以建立尋找完備充分統計量的步驟 () 利用定義或 Nyma-Fsher 分解定理導求出 的充分統計量, T ( Y). () 導求出統計量 T ( Y) 相對應的機率族, 檢驗此機率族的完備性質. 若在步驟 () 中檢驗出 T ( Y) 相對應的機率族具有完備的性質, 則此統計量 T ( Y) 即為完備充分統計量 3
The Theory of Estmato 5. 指數族的觀念 定義 若 Y 為一隨機變數且其機率密度函數為 f ( y; ), 若能將 f ( y; ) 寫成 k f ( y; ) = c( ) h( y)exp w( ) t( y) = 其中 hy ( ) 0, t ( y ) 是 y 的實數值函數, w ( ) 是 的實數值函數 則在統計上稱隨機變數 Y 的機率族為指數族 (expoetal famly) Note 上述定義中, 當 k= 時, 則稱指數族為 維參數的指數族 (oe dmesoal parameter expoetal famly); 若 k, 則稱指數族為 k 維參數的指數族 (k dmesoal parameter expoetal famly). Example 3 () Y,, Y ~ (, ),0 B < <, 其 p.d.f 為 f( y; ) = ( ) y y y y = ( ) y = ( ) exp y l y 令 hy ( ) =, c( ) = ( ), t ( y) = y, y ( ) l w =, 因此 f ( y; ) 為 維參數的指數族. 3
The Theory of Estmato () Y,, Y ~ Normal(, ), R, > 0, 其 p.d.f 為 ( y ) f( y;, ) = exp π 令 定理 hy ( ) =, = exp exp y + y π c(, ) = exp π, t ( y) = y, w(, ) t ( y) = y, w(, ) = 因此 f( y;, ) 為 維參數的指數族. 若,, Y ~ ( ; ) Y f y, f ( y; ) 寫成 =, k f ( y; ) = c( ) h( y)exp w( ) t( y), 令 = W( ) = ( w ( ),, w k ( )) 為線性獨立, 則 t( Yj),, tk( Yj) 為 的最小充 = = 分統計量. 定理 若,, Y ~ ( ; ) Y f y, f ( y; ) 寫成 W( ) = ( w( ),, w k ( )) rectagle), 則 j = = 6. 唯一性定理 (Lehma-Scheffe's Theorem) k f ( y; ) = c( ) h( y)exp w( ) t( y), 令 = 至少包含了一個 k- 維度的矩形 (k - dmesoal t ( Y ),, tk( Yj) 為 的完備充分統計量. 若 U ( Y ) 為 τ ( ) 之不偏估計量, 且 T ( Y) 為 的完備充分統計量, 則 φ ( T ( Y )) = EU ( ( Y) T( Y )) 為 τ ( ) 的 UMVUE, 且具有唯一性 33
The Theory of Estmato 整理 - 導求最佳不偏估計量 (UMVUE) 的方法 () 一般將上述兩定理合稱為 Rao-Blackwell ad Lehma-Scheffe 定理, 由此定理 可知若一估計量具有完備充分性 + 不偏性, 則此估計量必為 UMVUE () 利用完備充分統計量尋求 UMVUE 的方法如下 Method I: 由 Rao-Blackwell 定理求 UMVUE a. 建立 τ () 的不偏統計量 U ( Y) b. 導求 的完備充分統計量 T ( Y) c. 計算 φ () t = E( U( Y) T( Y ) = t) 則 φ () t = E( U( Y) T( Y ) = t) 即為所 求 Method II: 由 Lehma-Scheffe 定理求 UMVUE 將一 的完備充分統計量 T ( Y) 調成具有不偏的統計量 T * ( Y), 則 T * ( Y) 為 的 UMVUE (3) 利用 Rao-Cramer 不等式尋求 UMVUE 34
The Theory of Estmato Example 4 y / ( y/ ) e, y > 0 () Let Y,, Y ~ f( y, ) =, please fd the UMVUE 0, otherwse of. () LetY,, Y ~ U(0, ), please fd the UMVUE of. 35
The Theory of Estmato 9.6 The Method of Momets 利用樣本動差近似母體動差的觀念 r 樣本 r 階動差 : Y = 母體 r 階動差 : EY r = μr 若有 k 個參數則利用下列 k 個方程式求得參數之估計 r Y = r = μ, r =,,..., k Example 5 If Y, Y,..., Y ~ f( y; ) = λ exp( y/ λ), y > 0, λ > 0, please fd the method of momet estmator for λ. μ = EY = λ Example 6 則方程式為 Y = λ 故 λ 的動差估計量為 Y = IfY, Y,..., Y ~ N ( μ,σ ), please fd the method of momet estmator for ( μ, σ ). 一階動差二階動差 Y = μ = Y EY μ = = = + σ 故 μ 與 σ 之動差估計量分別為 Y 與 ( Y Y) 註 當 Y, Y,..., Y ~ N ( μ,σ ) 時, 此時 ( μ, σ ) 之 MME 與 MLE 相同 36
The Theory of Estmato 9.7 The Method of Maxmum Lkelhood Defto 9.4 Let X,, X ~ f(.; ), Ω, ad let x, x,, x be the respectve observed values ad x = ( x,, x ). The lkelhood fucto, L( x), s gve by L( x) = = f( x ; ), ad a value of whch maxmzes s called a L( x) Maxmum Lkelhood Estmate (MLE) of. Clearly, the MLE depeds o x, ad we usually wrte ˆ = ( x ). Thus, ^ { L } L( ˆ x) = max ( x); Ω Note 對數概似函數 l( ; x) = l L( ; x) ˆ 稱 之 maxmum lkelhood estmator (MLE) : max L( ; x) = L( ˆ; x) Ω 或 maxl( ; x) = l( ˆ; x) Ω 滿足條件 : local maxmum : L L = 0, < 0 ˆ ˆ gobal maxmum: check boudary. 37
The Theory of Estmato MLE 可依各種不同的情形, 討論其求解方法. 若概似函數可微分, 則利用微分可求出 MLE d Let () 以 L ( ; x, x,, x ) = 0 d 求出 ˆ () 利用二階微分, 確認 L( ; x, x,, x ) 在 ˆ = ( X, X,, X ) 達到最大 d 即若 L( ; x, x,, x ) ˆ 0 = d < ˆ 為 的 MLE. (3) 若 L( ; x, x,, x ) 較難微分, 則可利用 l( ; x, x,, x) = l L( ; x, x,, x) 來處理 Example 7 ^ IfY,, Y ~ B(, ), please fd the MLE of.. 若概似函數為 的有界函數, 則利用圖形考慮求解 Example 8 If Y, Y,, Y ~ Uform(0,), 0 x, please fd the MLE of. f( y; ) = u( y( ), ), y L( ) = 0, < y ( ) ( ) L( ) L( ) = / MLE ˆ = Y () x() 38
The Theory of Estmato 3. 若 L( ) 可微, 其中 = (,,, r ), 則可分別對,,, r 做偏微分求解 之 MLE 解題步驟 : () 令 L(; x ) = 0 或 l L( ; x ) = 0 求解 ˆ, =,,, r () 檢驗 L(; x ) < 0或 l L ( ; x ) < 0 (3) 檢驗 Hessa 矩陣 L(; x ) j 於 0? ˆ 或 l L( ; x ) j ˆ 之行列式值是否大 若 () 成立且 (3) Hessa 矩陣之行列式值大於 0, 則 ˆ, =,,, r 為 的最大概 似估計量 Example 9 If X,X,,X ~ N (, ), < <, < <, please fd the MLE 0 of (, ). Note MLE 之不變性 (Ivarace Property of MLE) 若參數 的 MLE 為 ˆ, 則 g ( ) 的 MLE 為 g(ˆ) ( g( ) 的對應不一定需要 對 ) 39