碩博士論文授權書

Transcription

1 國立 央大學 統計研究所 碩士論文 拔靴法 (Bootstrap) 之探討及其應用 研究生 : 周心怡 指導教授 : 呂理裕博士 華民國九十㆔年六月

2 國立 央大學圖書館碩博士論文電子檔授權書 (93 年 5 月最新修正版 ) 本授權書所授權之論文全文電子檔, 為本 於國立 央大學, 撰寫之碩 / 博士學位論文 ( 以 請擇㆒勾選 ) (! ) 同意 ( 立即開放 ) ( ) 同意 ( ㆒年後開放 ), 原因是 : ( ) 同意 ( ㆓年後開放 ), 原因是 : ( ) 不同意, 原因是 : 以非專屬 無償授權國立 央大學圖書館與國家圖書館, 基於推動讀者間 資源共享 互惠合作 之理念, 於回饋社會與學術研究之目的, 得不限 域 時間與次數, 以紙本 微縮 光碟及其它各種方法將 列論文收錄 重製 公開陳列 與發行, 或再授權他 以各種方法重製與利用, 並得將數位化之 列論文與論文電子檔以 載網路方式, 提供讀者基於個 非營利性質之線 檢索 閱覽 載或列印 研究生簽名 : 論文名稱 : 周心怡 拔靴法 (Bootstrap) 之探討及其應用 指導教授姓名 : 呂理裕 系所 : 統計所 " 博士 # 碩士班 學號 : 日期 : 民國 93 年 6 月 5 日 備註 :. 本授權書請填寫並親筆簽名後, 裝訂於各紙本論文封面後之次頁 ( 全文電子檔內之授權書簽名, 可用電腦打字代替 ) 2. 請加印㆒份單張之授權書, 填寫並親筆簽名後, 於辦理離校時交圖書館 ( 以統㆒代轉寄給國家圖書館 ) 3. 讀者基於個 非營利性質之線 檢索 閱覽 載或列印 列論文, 應依著作權法相關規定辦理

3 摘要拔靴法是㆒項應用電腦的統計分析方法, 在資料來源分配未知的情況, 可運用拔靴法去作估計及統計推論, ㆒般而言, 拔靴所提供的近似會比常用的極限近似來得精確 因此, 拔靴法在 979 年由 Efro 提出後, 即大量的被用於統計分析 在本文, 以拔靴法為基礎利用 Bootstrap ormal,bootstrap percetile,basic,bootstrap-t, BC percetile 以及 BCa percetile 法等六種方法對指數分配, 伽瑪分配, 及韋伯分配之參數建構其信賴區間 另外, 再介紹兩種修正方法 Balaced 及 Double 法, 以期增加信賴區間的精確度 最後則是以覆蓋機率, 信賴區間平均長度及信賴區間長度變異量這㆔項評量標準來選擇出最佳的信賴區間估計法 研究 發現, 有母數拔靴法之區間估計較無母數拔靴法之區間估計為佳 而在六種信賴區間的方法, 以 Bootstrap-t,BC percetile 及 BCa percetile 法有較好的結果 但在兩個修正方法, 則在這㆔個例子, 並無表現出明顯的效果

4 目錄 第㆒章緒論.... 研究動機與文獻回顧....2 本文架構...2 第㆓章拔靴法之信賴區間估計方法 拔靴法簡介 Bootstrap ormal 法 Bootstrap percetile 法 Basic 法 Bootstrap-t 法 修正之 Bootstrap percetile 法... 3 第㆔章拔靴法之改進 Balaced 法 Double 法 第㆕章信賴區間模擬範例 指數分配參數的最大概似估計量 伽瑪分配參數的最大概似估計量 韋伯分配參數的最大概似估計量 信賴區間的方法比較... 4 第五章結論...58 參考文獻...6

5 第㆒章緒論. 研究動機與文獻回顧 拔靴法 (Bootstrap) 為㆒種運用電腦工具的統計分析方法, 是非常實用的計量技術 它可用來估計樣本統計量的準確性 (accuracy) 應用範圍包涵估計與統計推論等種種問題 拔靴法由 Efro 在 979 年所提出, 其概念為經由資料的重新抽樣 (re-samplig), 藉以估計統計量的分配 而且, 在通常的情況, 拔靴法所提供的近似會比常用的極限近似來得精確 這項原因, 輔以其方便操作, 使得拔靴法技術大量用於實證研究, 其重要性已不亞於極限近似 拔靴法是利用觀察到的樣本推估母體, 進而以所估計的母體重新抽樣來做我們所感興趣的統計推論 若樣本來自已知分配, 則我們以樣本估計分配的參數, 再以此估計參數的分配作為重新抽樣的母體, 此法稱為有母數拔靴法 (Parametric ) 若樣本來自未知分配, 則以經驗分布函數 (Empirical distributio fuctio) 作為重新抽樣的母體, 此法稱為無母數拔靴法 (Noparametric ) 在接 來的章節, 將以拔靴法為基礎建造信賴區間, 介紹六種不同的方法以求取信賴區間, 之後再以更有效率的拔靴法來改進, 最後則以例子來加以說明, 比較這幾個方法的優劣

6 .2 本文架構 本文 的數值模擬結果, 是使用 Visual Fortra 軟體 5 筆資料產生方式是利用 Visual Fortra 軟體 的 IMSL 生成, 分別從 Exp (3), Gamma (5, 2) 及 We ibull(2,5) 產生來進行數值模擬 打字工具為 Microsoft Word 軟體 我們討論的重點在於不同的求取信賴區間的方法, 包括了 Bootstrap ormal,bootstrap percetile,basic, Bootstrap-t 以及修正之 Boobstrap percetile 法 並以覆蓋機率, 信賴區間平均長度及長度變異量作為評量標準, 藉以選擇出較佳的信賴區間估計法 本文內容主要分為五章, 第㆒章為緒論, 在緒論 對 方法的背景, 用處及優點稍作介紹 第㆓章即對有興趣的不同拔靴法之信賴區間求法做詳盡的介紹, 並建構其演算法 第㆔章則對拔靴法本身做修正, 介紹 Balaced 及 Double 法以期得到更佳的信賴區間 第㆕章則以㆔個模擬範例 Exp (3), Gamma(5, 2), Weibull(2,5) 的參數最大概似估計量, 來討論第㆓章及第㆔章所提供的方法之優劣 第五章將就之前所探討的各種不同求取信賴區間的方法做出結論 2

7 第㆓章拔靴法之信賴區間估計方法 2. 拔靴法簡介 2.. 無母數拔靴法 首先, 若㆒組可觀測到的資料 x= ( x, x2,..., x ) 來自㆒個未知分配 F, θ = tf ( ) 是我們有興趣去估計的參數, 則可由 x 計算出 θ 的估計量 θ ˆ = sx ( ) 令 ˆF 為㆒經驗分配 (empirical distributio), 也就是 ˆF 為㆒離散 分配, 在每㆒個點,i=,2,,, 的機率值都是 /, 以此 ˆF 去估計 x i * * * 未知分配 F 從 ˆF 生成㆒組大小為 的樣本 x = ( x, x *,..., x ), 此樣本稱 為 Bootstrap 樣本, 換句話說,Bootstrap 樣本 的樣本點都是由原始 2 資料 x= ( x, x 2,..., x ) 重覆抽取得來的 選出 B 組獨立的 Bootstrap 樣 * *2 *B *b 本 x, x,..., x, 每㆒組 Bootstrap 樣本 x 都可計算出 Bootstrap replicatio θˆ * ( b) = s( x * b ), b=,2,,b 有了這些 Bootstrap replicatios, 我們就可以就我們有興趣的統計推論來作討論 例如, 估計值 θˆ 的標 準差可由拔靴法來估計, B * ˆ ˆ* ˆ* 2 ˆ ( ) = { [ ( b) ()] /( B )} * * σ θ θ θ, 其 θˆ () ˆ = θ ( b)/ B b= 2 B b= 3

8 2..2 有母數拔靴法 若可觀測到的資料 x= ( x, x2,..., x ) 來自㆒個已知分配 F, 則以觀 察到的樣本估計已知分配 F 的參數, 和無母數拔靴法不同的 方在於採用以此估計參數為參數的分配 ˆF 來估計分配 F 從 ˆF 生成 B 組大小為 的 Bootstrap 樣本, 再計算出 B 個 Bootstrap replicatios 值後, 即可對有興趣的問題做統計推論 在 2.. 及 2..2 節, 介紹了無母數及有母數拔靴法, 在運用拔靴法作估計及統計推論時, 在不同的情況, 所需要的 Bootstrap 樣本個數 B 也會不同 例如, 在估計參數標準差時, 不需要太多的樣本個數, 將 B 值定為 200 即可得到㆒個好的標準差估計值 但是, 因為百分位數是由 θˆ* 分配之極端尾巴的值決定, 也就是較少樣本產 生的 方, 所以在作信賴區間估計時, 若 B 值取太小, 會使得結果 不準確, 最好是能將 B 值的大小控制在 500 以 4

9 2..3 拔靴法之演算法 () 選取 B 組獨立的 Bootstrap 樣本 (2) 根據這 B 組 Bootstrap 樣本, 計算出每㆒組的 Bootstrap replicatio (3) 利用這 B 組 Bootstrap replicatios 做拔靴法之估計量以解決我們的問題 在後面章節, 是以無母數拔靴法及有母數拔靴法這兩種方法為基礎所作的探討及其比較 5

10 2.2 Bootstrap ormal 法 在開始討論信賴區間前, 我們先必須以拔靴法建構出 的百分位 數 根據拔靴法的演算法, 可得到 B 個 Bootstrap replicatios, ˆ* ˆ* ˆ* *( α ) θ (), θ (2),..., θ ( B),00 α 百分位數 θ 為 ˆ* ˆ* ( α ) #{ θ ( b) θ }/ B=α. 是先將 B 個 Bootstrap replicatios 由小到大作排列, 第 K 個數即為所求的 *( α ) 百分位數 θ, 在這裡 K 為小於 (B+) α 的最大整數 ˆB ˆB 現在, 我們想要估計 θ 的 00( 2 α)% 信賴區間 考慮近似常 2 態分配的統計量 θ ˆ N ( θ + bias ( θˆ),σ ), 可得到近似 00( 2 α)% 信賴區間 B θˆ* [ θˆ ( θˆ) σ, ˆ θ ( ˆ θ) ( α) ( α) bias z bias z σ] (2.0) ( ) z α 為標準常態分配 N(0,) 之 00 α 百分位數 其 偏誤 bias( θ ˆ ) 及標準差 σ 可用拔靴法建構出來, 也就是 * * bias ( θˆ) = θˆ () θˆ, (2.02) B 2 * ˆ ˆ* ˆ* 2 ˆ ( ) = { [ ( b) ()] /( B )} σ θ θ θ, (2.03) b= B * * θˆ () ˆ = θ ( b)/ B (2.04) b= 則 Bootstrap ormal 信賴區間為 ˆ * ˆ ( α) * ˆ ˆ * ˆ ( α ) * [ θ bias ( θ) z ˆ σ ( θ), θ bias ( θ) z ˆ σ ( θˆ)] (2.05) 6

11 演算法 [ 步驟 ]: 根據已知資料 x= ( x, x2,..., x ), 計算出統計量 θ ˆ = sx ( ) *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap replicatio ˆ * ( ) ( * b θ b = s x ) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 ˆ ˆ ˆ * *2 * B x, x,..., x 及 Bootstrap replicatios θ * (), θ * (2),..., θ * ( B) [ 步驟 4]: 將 θˆ * (), θˆ * (2),..., ˆ θ * ( B) 加起來平均得到 ˆ θ * (), 再計算 * ˆ ˆ* bias ( θ) = θ () θ ˆ 及 B 2 * ˆ ˆ* ˆ* 2 ˆ ( ) = { [ ( b) ()] /( B )} σ θ θ θ b= [ 步驟 5]: 欲建構 θ 的 00( 2 α)% 信賴區間以 ˆ * ˆ ( α ) * θ bias ( θ) z σˆ ( θ ˆ ) 為信賴區間 界, * ( ) * θˆ bias ( θˆ) z α σˆ ( θˆ) 為信賴區間 界 7

12 2.3 Bootstrap percetile 法 Efro 在 A Itroductio to the Bootstrap ㆒書 提到, 考慮參數 θ 之估計值 θˆ 及其估計標準差 σˆ, 其標準常態信賴區間為 ˆ ( α) ( z α ) [ θ z σˆ, θˆ σˆ], (2.06) 則此區間的端點可由拔靴法計算出來, 設 θˆ* 為㆒隨機變數具 ˆ 2 N( θσ, ˆ ) ˆ ˆ ˆ * 2 ( α ) 分配, 也就是 θ N( θ, σ ), 則可得到 界 L= θ z σˆ 及 ˆ ˆ 界 ˆ ( ) U = θˆ z α σˆ 分別為 θˆ* 分配的 00 α 及 00 ( α) 百分位數, 換句話說, ˆ*( α ) ˆL = θ * = θˆ 分配的 00 α 百分位數 Uˆ ˆ*( ) * = θ α = θˆ 分配的 00 ( α) 百分位數 而 Bootstrap percetile 法根據以 的結論, 找出 00 α 百分位數當 作信賴 界及 00 ( α) 百分位數當作信賴 界, 則 Bootstrap percetile 信賴區間為 [ θˆ, ˆ θ *( α) *( α) ] 8

13 演算法 [ 步驟 ]: 根據已知資料 x= ( x, x,..., x ), 計算出統計量 θ ˆ = sx ( ) 2 *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap replicatio ˆ * ( ) ( * b θ b = s x ) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 ˆ ˆ ˆ * *2 * B x, x,..., x 及 Bootstrap replicatios θ * (), θ * (2),..., θ * ( B) [ 步驟 4]: 令 k = [( B+ ) α], k = [( B+ )( α)],( 其 [] 為高斯符號 ), 2 欲建構 θ 的 00( 2 α)% 信賴區間, 需將 * * * θˆ (), θˆ ( 2),..., θˆ ( B) 依序排列後, 取第 k 個數為信賴區間 界, 取第 k 2 個數為信賴區間 界 9

14 2.4 Basic 法 考慮用 θˆ* θˆ 的分配來代替 θˆ θ 的分配, 可得到 * PL ( θˆ θ U) PL ( θˆ θˆ U) = 2α (2.07) 利用拔靴法估計 界 ˆL * 及 界 Uˆ * * ˆ*( α ) ˆL = θ θˆ, (2.08) Uˆ = θˆ α θˆ, (2.09) * *( ) 則 * * * ˆ ˆ * PL ( θˆ θ U) PL ( ˆ θˆ θ Uˆ ) = P( θˆ Uˆ θ θ L ), 由此可知 Basic 信賴區間為 ˆ ˆ *( (2 α),2 ˆ ˆ *( α θ θ θ θ ) ) 演算法 [ 步驟 ]: 根據已知資料 x= ( x, x2,..., x ), 計算出統計量 θ ˆ = sx ( ) *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap replicatio ˆ * ( ) ( * b θ b = s x ) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 ˆ ˆ ˆ * *2 * B x, x,..., x 及 Bootstrap replicatios θ * (), θ * (2),..., θ * ( B) [ 步驟 4]: 令 k = [( B+ ) α], k = [( B + )( α)],( 其 [] 為高斯符號 ), 2 * * * 欲建構 θ 的 00( 2 α)% 信賴區間, 需將 θˆ (), θˆ (2),..., ˆ θ ( B) 依 序排列, 則 2θˆ 減第個數為信賴區間 界, 2θˆ 減第 k 2 k 個數為信賴區間 界 0

15 2.5 Bootstrap-t 法 若 x= ( x, x2,..., x ) 代表來自於母體 F 的㆒組樣本, θ ˆ = sx ( ) 為有興趣 ˆ 的估計量, 定義統計量 Z θ = θ, σˆ 代表標準差的估計量, 則在大樣本時, σˆ Z 會近似於標準常態分配 在這裡以這樣的概念為基礎, 但摒棄標準常態分配當作 Z 的近似分配, 改以利用拔靴法估計 Z 的分配, 並藉此求出信賴區間 θˆ θ 首先考慮關鍵式 t = t, (2.0) σθ ˆ( ˆ) 可得到信賴區間為 ˆ ( α) ˆ ˆ ( α) [ θ t σˆ( θ), θ t ˆ( σ θˆ)] (2.) Bootstrap-t 方法是先生成 B 組獨立的 Bootstrap 樣本 x, x,..., x * *2 * B *b, 根據每㆒組 Bootstrap 樣本 x 算出 ˆ * ( ) ( * b θ b = s x ) 及 θˆ* 的估計標準差 * σˆ ( b), 代回關鍵式得到 * θˆ ( b) θˆ tˆ* ( b) =, 再依 2.2 * σˆ ( b) * 節 求百分位數的方法求得 tˆ ( b) 的 00 α 百分位數 ˆt *( α ) 及 00 ( α) 百分位數 ˆt *( α ), 則 Bootstrap-t 信賴區間為 ˆ ˆ*( α) [ θ t σ( ˆ ˆ *( α) ˆ θ), θ ˆt σˆ( θˆ)] * 在很多情況, 的估計標準差 θˆ * ˆ ( b) σ, 並不是那麼容易求得的, 所以在使用這個方法時必須考慮到 這㆒點

16 演算法 [ 步驟 ]: 根據已知資料 x= ( x, x,..., x ), 計算出統計量 θ ˆ = sx ( ) 及其 估計標準差 ˆ( σθ ˆ ) 2 *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap ˆ ( ) ( ) * * b * replicatio θ b = s x 及其估計標準差 ˆ σ ( b) [ 步驟 3]: 計算 ˆ * ( ) t b ˆ* θ ( b) θˆ = σ * ˆ ( b) [ 步驟 4]: 重覆 [ 步驟 2] 及 [ 步驟 3] B 次, 可得 tˆ * (), t ˆ * (2),..., tˆ * ( B) [ 步驟 5]: 令 k = [( B+ ) α], k = [( B+ )( α)],( 其 [] 為高斯符號 ) 2 * * * tˆ (), tˆ (2),..., tˆ ( B) 依序排列後, 取第 k 個數為 ˆt *( α ), 取 第 k 個數為 ˆt *( α ) 2 [ 步驟 6]: 欲建構 θ 的 00( 2 α)% 信賴區間則 ˆ *( α ) θ tˆ ˆ( σ ˆ θ) 為信賴區間 界, ˆ *( α ) θ tˆ ˆ( σ θˆ) 為信賴區間 界 2

17 2.6 修正之 Bootstrap percetile 法 在 2.6 節 將介紹兩個方法,BC(bias-corrected) percetile 法和 BCa (bias-correctio acceleratio) percetile 法, 這兩個方法是將 Bootstrap percetile 法做修正, 改變選取的百分位數, 藉以增加所求 信賴區間的準確性 選取 Bias-correct 因子 w 及 Acceleratio 因子 a 兩因子當作考慮的因素, 首先定義 U = h(θˆ ) 及 φ = h( θ) 使得 U 具常態分配, U N w 2 ( φ σ( φ), σ( φ) ), (2.2) 其 σφ ( ) = + aφ, 做這樣的定義在於先求出 φ 的信賴區間, 再利用 θ ˆ 的 Bootstrap 分配, 轉換回去求出 θ 的信賴區間 假設 w 及 a 已知, 且 U = φ + ( + aφ)( Z w), (2.3) ( ) 其 Z 具標準常態分配 N(0,), z α 為 Z 的 00 α 百分位數, 可推得 log( + au ) = log( + aφ ) + log{ + a( Z w)} (2.4) ( ) 且此方程式為 φ 的單調遞增函數, 以 z α 代替 Z 及 u 代替 U, ( ) 求得 φ 的 00 α 百分位數 φˆ α 為 w+ z ( α ) ˆ ( α ) = u+ σ( u) ( ( α ) aw+ z ) φ, (2.5) ( ) ˆ α 則 θ 的 00 α 百分位數 θˆ α 為 ˆ ( α) ( ) θ = h ( φ ), 但是因為 h() 為㆒ ( ) 未知函數, 所以利用 θˆ 的 Bootstrap 分配函數 Ĝ 來求 θ ˆ α 3

18 ˆ( α) ( α) ˆ ˆ( α) * ˆ* ˆ( α) ˆ * * ˆ( α) φ u w+ z G( θ ) = P ( θ < θ θ) = P ( U < φ u) =Φ ( + w) =Φ ( w+ ) ( α ) σ ( u) a( w + z ) 可得故 ( α ) ˆ( α ) ˆ w+ z G { ( w )} ( α ) θ θˆ = Φ + aw ( + z ) = θˆ ( α) *( " α, ( α ) ) w+ z, " α =Φ ( w + ) (2.6) ( α ) aw ( + z ) 在剛剛的假設, w 及 a 是已知常數, 但實際 w 及 a 是未知的, 所以接 來我們還必須就 w 及 a 的值做估計 ˆ ˆ ˆ * * * * 因為 P ( θ < θ θ) = P ( U < u u) = P( U < φ φ) =Φ( w) (2.7) 所以 w=φ { Gˆ( ˆ θ )} (2.8) 則 w ˆ* ˆ #{ θ ( b) < θ} 的估計值 wˆ =Φ ( ) B (2.9) 2 因為 U N( φ wσ( φ), σ( φ) ), 其 σφ ( ) = + aφ, 定義 l( φ ) 為 log likelihood 及 l# ( φ) 為㆒次微分, 可得到 則 El# var{ l# ( φ)} 3 El {( # θ )} var{ l# ( θ )} 3 {( φ)} = 6a = 6a # ˆ 之後可得到 a = (2.20) * * 3 E { l ( θ ) } * * 3 6 var { l# ( θˆ )} 2 有很多方法可以去估計 a, 在這裡我們選用了㆒個最簡單快速的方 法, 利用 Jackkife 的技巧, 得到 a 的估計值 aˆ = ˆ 3 ( θ () ()) i θ = i ˆ ˆ 2 6{ ( θ () θ() i ) } i= ˆ 3 2, (2.2) 其 ˆ ( ), 而 (,,...,,... ) 為 Jackkife θ () i = sx() i x() i = x x2 xi xi+ x sample, θˆ = θˆ / () () i i= 4

19 若只考慮 Bias-correct 因子 w, 也就是 Acceleratio 因子 a =0, 此法稱為 BC(bias-corrected) percetile 法, ˆ *( ) ˆ* ( ) α α2 BC percetile 信賴區間為 [ θ, θ ] 其 α =Φ (2 w+ z ( α ) ), ˆ α ( α ) ˆ 2 =Φ (2 w+ z ) ˆ* ˆ #{ θ ( b) < θ} wˆ =Φ ( ) B 若 Bias-correct 因子 w 及 Acceleratio 因子 a 都考慮進去, 此法稱為 BCa (bias-correctio acceleratio) percetile 法, ˆ ˆ* BCa percetile 信賴區間為 *( α ) ( α2 [ θ, θ ) ], 其 ( α ) ( α ) wˆ + z wˆ + z α ˆ =Φ ( w + ), α ( α ) 2 =Φ ( wˆ + ) aw ˆ( ˆ + ( ) z ) α aw ˆ( ˆ + z ) ˆ* ˆ #{ θ ( b) < θ} wˆ =Φ ( ) B aˆ = ˆ 3 ( θ () ()) i θ = i ˆ ˆ 2 6{ ( θ () θ() i ) } i= ˆ 3 2 在這㆒節, 所介紹的兩個方法 BC percetile 法及 BCa percetile 法都是改變所選取的百分位數, 但這會有個潛在的問題 當你利用 Bias-correct 因子 w 及 Acceleratio 因子 a 作修正而得到的 α, α 值有可能很靠近 0 及, 則 ( B + ) α 2 的整數部份會等於 0, 而 ( B + ) α 的整數部份會等於 B+, 在這情況, 若 B 的值無法增加, 2 則將 α 定為 /(B+), α 定為 B/(B+) 藉以解決此問題 2 5

20 演算法 BC percetile 法 [ 步驟 ]: 根據已知資料 x= ( x, x,..., x ), 計算出統計量 θ ˆ = sx ( ) 2 *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap replicatio ˆ * ( ) ( * b θ b = s x ) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 x, x,..., x * *2 * B * * * 及 Bootstrap replicatios θˆ (), θˆ (2),..., θˆ ( B) [ 步驟 4]: 計算 ˆ* ˆ #{ θ ( b) < θ} wˆ =Φ ( ), Φ 為標準常態分配 N(0,) 的 B 累積分佈函數 [ 步驟 5]: 計算 (2 w z ( α ) ( α ) ( ) α =Φ + ), α =Φ (2 w+ z ), z α 為標準常態 ˆ 2 ˆ 分配 N(0,) 之 00 α 百分位數 [ 步驟 6]: 令 k = [( B+ ) α ], k = [( B+ ) α ],( 其 [] 為高斯符號 ), 2 2 若 k = 0, 則將 k 定為, 若 k = B+, 則將 k 定為 B, 2 2 欲建構 θ 的 00( 2 α)% 信賴區間, 需將 * * * θˆ (), θˆ ( 2),..., θˆ ( B) 依序排列後, 取第 k 個數為信賴區間 界, 取第 k 2 個數為信賴區間 界 6

21 演算法 BCa percetile 法 [ 步驟 ]: 根據已知資料 x= ( x, x,..., x ), 計算出統計量 θ ˆ = sx ( ) 2 *b [ 步驟 2]: 再利用拔靴法生成 Bootstrap 樣本 x 及計算 Bootstrap replicatio ˆ * ( ) ( * b θ b = s x ) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 x, x,..., x * *2 * B * * * 及 Bootstrap replicatios θˆ (), θˆ (2),..., θˆ ( B) [ 步驟 4]: 計算 ˆ* ˆ #{ θ ( b) < θ} wˆ =Φ ( ),Φ 為標準常態分配 N(0,) 的 B 累積分佈函數 [ 步驟 5]: 根據 x= ( x, x,..., x ), 利用 Jackkife 法生成 Jackkife 2 samples x(), x(2),..., x ( ), 其 x() i = ( x, x2,... xi, xi+,... x) 3 ( θˆ ˆ [ 步驟 6]: 計算 θ ˆ () i = sx ( () i ), ˆ ˆ () ()) i θ = i θ() = θ() i / 及 aˆ = i= 6{ ( θˆ θˆ ) } [ 步驟 7]: 計算 ( α ) wˆ + z α ˆ =Φ ( w + ), α ( α ) aw ˆ( ˆ + z ) i= () () i ( α ) wˆ + z =Φ ( wˆ + ), z aw ˆ( ˆ + z ) 2 ( α ) 為標準常態分配 N(0,) 的 00 α 百分位數 [ 步驟 8]: 令 k = [( B+ ) α ], k = [( B+ ) α ],( 其 [] 為高斯符號 ), 2 2 ( α ) 若 k = 0, 則將 k 定為, 若 k = B+, 則將 k 定為 B, 2 2 * * * 欲建構 θ 的 00( 2 α)% 信賴區間, 需將 θˆ (), θˆ (2),..., ˆ θ ( B) 依序排列後, 取第 k 個數為信賴區間 界, 取第 k 個 2 數為信賴區間 界 7

22 第㆔章拔靴法之改進 我們想要改進用拔靴法所求得的信賴區間, 除了在信賴區間的求法 改進, 我們還可以考慮到接 來兩節的方法 在 3. 節, 我們希望讓每㆒筆資料在重抽 B 次後被抽到的總次數都能㆒樣, 使得重抽能達到㆒個公平的狀態, 藉這個方法增加信賴區間的準確性 在 3.2 節, 則是利用兩層的拔靴法, 來降低信賴區間的誤差 3. Balaced 法 若㆒組可觀測到的資料 x= ( x, x2,..., x ), 欲使其在重抽 B 次後, 每㆒筆資料被抽到的次數相同, 可將資料 x, x2,..., x 排成㆒列, 重覆 這個動作 B 次, 即可得到㆒列共 B 個數的數列 x, x,..., x, x, x,..., x,..., x, x,..., x, 然後讓此數列作重排, 取前 個數 當作第㆒組的 Bootstrap 樣本, 再取第 + 個數到第 2 個數當作第㆓組的 Bootstrap 樣本, 則依前述方法, 共可取得 B 組的 Bootstrap 樣本, 而每㆒筆資料被抽到的次數皆是 B 次, 使得重抽這項動作達到公平的狀態, 信賴區間的準確性自然會增加 但是, 前述方法在電腦 運作會相當耗時, 因此, 在運用電腦作此運算時, 我們稍微的將前述 方法作修正 首先, 將 筆資料 x, x,..., x 2 標 號碼 ~, 再來將 數字 ~B 排成㆒列後作重新排列, 對於每㆒個位置 的數都除以 8

23 取餘數, 取前 個數, 若餘數為 0 則代表選取號碼為 的資料, 若餘數為 則代表選取號碼為 2 的資料, 以此類推, 若餘數為 -, 則代表選取號碼為 的資料, 則前 個數即可取出第㆒組的 Bootstrap 樣本, 接 來再取第 + 到第 2 個數, 同樣利用餘數選取所代表的資料, 重覆此步驟 B 次, 即可得 B 組 Bootstrap 樣本 演算法 [ 步驟 ]: 將 筆資料 x, x,..., x 對應到數字 ~ 2 [ 步驟 2]: 將數字 ~B 排成㆒列之後重新排列, 再除以 取餘數可得到㆒個新的數列, 其 數字為 0~- [ 步驟 3]: 將此數列 每個數字加, 依序取 個數為㆒組, 並將其對 應回資料 x, x,..., x 2, 即可得 B 組的 Balaced 樣本 9

24 3.2 Double 法 Bootstrap Methods ad Their Applicatio 這本書 提到了 Double 法, 因此在這㆒小節, 會介紹如何將 Double 法應用在 Bootstrap percetile 法,Basic 法及 Bootstrap-t 法這㆔種方法 若從㆒組可觀測到的資料 x= ( x, x2,..., x ), 選取 B 組 Bootstrap * *2 * B 樣本 x, x,..., x, 可得到對應的 θˆ*, σˆ ( θ) 及 ˆt * 值, 對於每㆒組 *2 ˆ Bootstrap 樣本 *b x, b=,2,,b, 再依拔靴法再選取 M 組的 Bootstrap 樣本 x, x,..., x ** b ** b2 ** bm, b=,2,,b, 這些稱為 Double **2 樣本, 同樣的也可得到對應的 θˆ** 及 σˆ ( ˆ θ) 及 ˆt ** 值 在 * Basic 法 用 θˆ θˆ 的分配來代替 θˆ θ 的分配, 而在 ** * Double 法, 則再以 θˆ θˆ 的分配來代替 θˆ* θ ˆ 的分配 接 來, 將以 Bootstrap-t 法來對 Double 法做說明 ; 考慮 *( ) P( θ > ˆ θ t α σˆ ( θˆ)) = α, (3.0) 可找到 q( α) 使得 ˆ *( q( α )) P( θ > θ t ˆ σ( ˆ θ) x) = α, (3.02) 用 Double 估計 q( α) 得到 qˆ( α), 則 ˆ ˆ* **( qˆ ( α )) * ˆ * P( θ > θ t ˆ σ ( θ) x, x ) = α 20

25 i.e. i.e. P θˆ θˆ σˆ θˆ < t x x = α * * **( qˆ ( α )) * (( ) / ( ), ) * **( qˆ ( α )) * (, ) Pt < t xx =α i.e. * ** Pt ( < F ( qˆ ( α)) xx, * ) = α, 其 ** ( ) ** F x 為 t 的累積機率分佈 (cdf), t = ( θˆ θˆ )/ σˆ ( θˆ) 而 ** ** * ** ** * * 而後, 可得到 PF ( ( t) < qˆ ( α) xx, ) =α (3.03) ** * 所以 qˆ( α) 為 F ( t ) 的 00 α 百分位數 由以 可知, 將 Double 應用在 Bootstrap-t 法, 可得到信賴區間為 ˆ ˆ ˆ ˆ*( q( α)) ˆ ˆ ˆ*( q( α)) [ θ t σˆ( θ), θ t ˆ( σ θˆ)], (3.04) * 其 qˆ( α) 及 qˆ( α) 為 u 的 00 α 及 00 ( α) 百分位數, 而 u = M * b * m= I ˆ * b ( t ( m) tˆ* b )/ M,m=,2,,M,b=,2,,B 同理, 可知 Double 應用在 Bootstrap percetile 法 可得到信賴區間為 [ θˆ, θˆ *( qˆ( α)) *( qˆ( )) α ], (3.05) * 其 qˆ( α) 及 qˆ( α) 為 u 的 00 α 及 00 ( α) 百分位數, 而 u = M * b * m= I ˆ * b ( θ ( m) θˆ)/ M,m=,2,,M,b=,2,,B 同理, 亦可知 Double 應用在 Basic 法, 可 得到信賴區間為 2

26 θˆ θˆ ˆ θ ˆ θ *( qˆ ( α [2 )),2 *( ˆq ( α )) ], (3.06) * 其 qˆ( α) 及 qˆ( α) 為 u 的 00 α 及 00 ( α) 百分位數, 而 u M * b * b b I ˆ * ˆ* = ( θ ( m) 2θ θˆ ) / M m=,m=,2,,m,b=,2,,b 由於 Double 運用了兩層的拔靴法, 則需計算的總樣本之個數為 BM 個, 通常 Bootstrap 模擬的次數 B 都在 000 左右, 若 M 的值太大, 會造成電腦在計算時的負擔, 所以, 較理想的 M 值為 249, 因此在第㆕章所作之模擬, 將 B 定為 999 及 M 定為 249 次 Double 的運用, 和修正之 Bootstrap percetile 法有共同的特 性, 皆是改變了百分位數的選取, 同樣的也會產生所選取之 α 及 α 2 會使 ( B + ) α 的整數部份等於 0, ( B + ) α 的整數部份會等於 B+, 2 因此同樣的將 α 定為 /(B+), α 定為 B/(B+) 藉以解決問題 2 22

27 演算法 [ 步驟 ]: 根據已知資料 x= ( x, x,..., x ), 計算出統計量 θ ˆ = sx ( ) 及其 估計標準差 ˆ( σθ ˆ ) 2 *b [ 步驟 2]: 利用拔靴法生成 Bootstrap 樣本 x, 計算 Bootstrap replicatio ˆ * ( ) ( * b b s x ) θ =, 及 ˆ * ( ) t b ˆ* θ ( b) θˆ = σ * ˆ ( b) [ 步驟 3]: 重覆 [ 步驟 2] B 次, 得到 B 組 Bootstrap 樣本 x, x,..., x * *2 * B,Bootstrap replicatios ˆ* ˆ* ˆ* θ (), θ (2),..., θ ( B) 及 * * * tˆ (), tˆ (2),..., tˆ ( B ) *b [ 步驟 4]: 根據每㆒組的 Bootstrap 樣本 x, 再㆒次利用拔靴法生成 M 組的 Double 樣本 x, x,..., x ** b ** b2 ** bm, 計算出 Bootstrap replicatios θˆ (), θˆ ** b ** b (2),..., ˆ** θ b ( M ) 及 ** b ** b ** b tˆ (), tˆ (2),..., tˆ ( M) *b [ 步驟 5]: 定義 u,b=,2,,b () 若應用在 Bootstrap percetile 法, 則 M * b ˆ** b u = I( θ ( m) θˆ)/ M m=,b=,2,,b (2) 若應用在 Basic 法, 則 M * b ˆ** b ˆ* b u = I( θ ( m) 2 θ θˆ)/ M m=,b=,2,,b (3) 若應用在 Bootstrap-t 法, 則 M * b ˆ** b ˆ* b u = I( t ( m) t )/ M,b=,2,,B m= 23

28 [ 步驟 6]: 令 k = [( B+ ) α], k = [( B+ )( α)],( 其 [] 為高斯符號 ), 2 若 k = 0, 則將 k 定為, 若 k = B+, 則將 k 定為 B, 2 2 * *2 * B 將 u, u,..., u 依序排列後, 取第 k 個數為 qˆ( α), 取第 k 個數為 qˆ( α ) 2 [ 步驟 7]: 則 () Double 應用在 Bootstrap percetile 法 之信賴區間為 ˆ*( qˆ( α)) ˆ*( qˆ( α)) [ θ, θ ] (2) Double 應用在 Basic 法 之信賴區間為 ˆ ˆ *( qˆ ( α )) ˆ ˆ *( qˆ ( α [2 θ θ,2 θ θ )) ] (3) Double 應用在 Bootstrap-t 法 之信賴區間為 ˆ ˆ ˆ ˆ*( q( α)) ˆ ˆ ˆ*( q( α)) [ θ t σˆ( θ), θ t ˆ σ( ˆ θ)] 其 θˆ *( qˆ ( α )) ˆ 及 θˆ *( q( α )) * 為 θˆ 分配之 00 qˆ( α) 及 00 qˆ ( α) 百分位數, 而 ˆ *( qˆ ( α )) ˆ t 及 ˆ *( q( α t )) * 為 ˆt 分配之 00 qˆ ( α) 及 00 qˆ( α) 百分位數 24

29 第㆕章信賴區間模擬範例 在模擬範例, 將以指數分配 Exp( β ), 伽瑪分配 Gamma( ν, β) 及 韋伯分配 Weibull( ν, β) 之參數的最大概似估計量的信賴區間來作討 論 以 ㆔個分配的最大概似估量之求得是參考 Zacks, S. 在 992 年的著作 Itroductio to Reliability:Probability Models ad Statistical Methods 在 4.,4.2 及 4.3 節, 我們就以 ㆔個分配求取其參數的最大概似估計量, 在 4.4 節, 將針對第㆓章及第㆔章所介紹的不同信賴區間求法作比較 4. 指數分配參數的最大概似估計量 若樣本 X, X,..., X 服從指數分配 Exp( β ), 其機率密度函數為 2 f( x β) = exp( x/ β),0 x <, β > 0, (4.0) β 則可得到其概似函數 L( β; x) = β exp( xi / β) = i, (4.02) 進而得到 β 的最大概似估計量 ˆ β = x = x i (4.03) i= 在 Bootstrap-t 方法, 必須知道統計量的標準差才能求得關鍵式, 而在此 ˆβ 的標準差為 SD( ˆ β) = β / (4.04) 指數函數參數 β 的 00( 2 α)% 信賴區間為 2x 2x [, ], (2 ) (2 ) 2 2 χ α χα 25

30 2 若考慮 ˆβ 的近似分佈函數 N( β, β / ), ( ) ( ) 則可得到近似的信賴區間為 ˆ α [ ˆ/, ˆ α β z β β + z ˆ β / ] 26

31 模擬範例 : 指數分配 Exp( β ) 參數的最大概似估計量 由 Exp(3) 生成 5 筆資料, 參數 β 最大概似估計量 ˆβ = β 的 95% 信賴區間 = [.8743, ], 區間長度 = β 的 95% 近似信賴區間 = [.4498, ], 區間長度 = () 無母數 法 ( 表 ) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Balaced.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

32 (2) 有母數 法 ( 表 2) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 28

33 4.2 伽瑪分配參數的最大概似估計量 若樣本 X, X,..., X 服從伽瑪分配 Gamma( ν, β), 其機率密度函數為 2 則可得到其概似函數 f x x x Γ( ν) β ν ( ν, β) = exp( / β) ν,0 x <, ν, β > 0,(4.05) v ( xi ) i= ( ν, β; ) = exp( i / β) ν Γ ( ν) β i= L x x, (4.06) 進而得到 ν 及 β 的最大概似估計量 ˆ β = x / ˆ ν, (4.07) exp( ψν ( )) = G / x (4.08) ν νˆ 為 (4.08) 之解 其, G = exp( l xi ), ψ ( ν) = l Γ( ν) ν i = 由於 ν 的最大概似估計量不容易求得, 所以改由 列公式來得到 ν 的近似最大概似估計量, 其, Y = l( x/ G ) 2 若 0 < Y <.5772, ˆ ν [ Y Y ],(4.09) Y Y Y 若.5772 Y < 7., ˆ ν, (4.0) 2 Y [ Y + Y ] 同樣的, 必須知道統計量 ˆ ν, ˆβ 的標準差才能使用 Bootstrap-t 方法找信賴區間, 由於 ˆ ν, ˆβ 的標準差不易求得, 所以, 用近似方法求得 ˆ ν, ˆβ 的近似標準差 29

34 ν ASD{} ˆ ν = [ ] ' νψ ( ν ) ' ˆ β ψ ( ν) ASD{ β} = [ ] ' νψ ( ν ) 2 2, (4.), (4.2) 其, ψ ' ( ν ) 為 digamma 函數 ψ ( ν ) 的㆒階微分函數 若 ν 2 且 0, 2 2 χ( α) ( ) χ( α) ( ) 則伽瑪函數參數 ν 的 00( 2 α)% 信賴區間為 [, ], 2Y 2Y 參數 β 的 00( 2 α)% 信賴區間為 2x 2x ], χ (2 [ ν ] ) χ (2 [ ν ]) [, 2 2 ( α) U + ( α) 其, [ν U ] 及 [ν L ] 為 ν 之 界及 界的整數部份 L 若考慮 ˆ ν 的近似函數 ν N( ν, [ ]) ' νψ ( ν ), 則參數 ν 的 00( 2 α)% 近似信賴區間為 若考慮 ˆβ ( α) ˆ ν ( ) ˆ ν [ ˆ ν z ( ), + ( ' ˆ νψ ( ˆ ν ) ˆ νψ ( ˆ ν ) 的近似分佈函數 2 α 2 ˆ ν z ' ) ] 2 ' β ψ ( ν) N( β, [ ]) ( ) ' νψ ν, 則參數 β 的 00( 2 α)% 近似信賴區間為 ˆ ' ˆ ' ˆ ( α) β ψ ( ˆ ν) ˆ ( ) β ψ ( ˆ ν) [ β z [ ], + [ ' ˆ νψ ( ˆ ν ) ˆ νψ ( ˆ ν ) 2 α 2 β z ' ] ] 30

35 模擬範例 2: 伽瑪分配 Gamma( ν, β) 參數的最大概似估計量 由 Gamma(5, 2) 生成 5 筆資料, 參數 ν 最大概似估計量 ˆ ν = ν ν 的 95% 信賴區間 = [ 2., ], 區間長度 =7.685 的 95% 近似信賴區間 = [.7590, ], 區間長度 = () 無母數 法 ( 表 3) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Balaced.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

36 (2) 有母數 法 ( 表 4) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 32

37 參數 β 最大概似估計量 ˆβ =.796 β 的 95% 信賴區間 = [ 0.962, ], 區間長度 = β 的 95% 近似信賴區間 = [ , ], 區間長度 = () 無母數 法 ( 表 5) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Balaced.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

38 (2) 有母數 法 ( 表 6) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 34

39 4.3 韋伯分配參數的最大概似估計量 若樣本 X, X,..., X 服從韋伯分配 Weibull( ν, β), 其機率密度函數為 2 ν x ν x ν f( x ν, β) = ( )( ) exp( ( ) ),0 x <, ν, β > 0, (4.3) β β β 則可得到其概似函數 ν L x x ν i ν ( ν, β; ) = ( i ) exp( ( ) ) ν β i= i= β x, (4.4) 進而得到 ν 及 β 的最大概似估計量 ˆ β ( ˆ ν x ˆ ν = ), (4.5) i= i ˆ ν xi l xi i= l xi ], (4.6) ˆ ν i= xi i= ˆ ν = [ ( ) ( j ) ˆ ν xi l xi xi ˆ xi i= ˆ [ j i ν + = = ( j ) ν i= l ] (4.7) 為了求得參數的最大概似估計量, 必須使用迭代法, 首先, 令初始值 (0) ˆ ν =, 代入 (4.7) 式, 將所得到的值再㆒次代回 (4.7) 式, 直到其值收斂, 即為 ν 的最大概似估計量 ˆ ν, 再將此值代回 (4.5) 式, 即可得到 β 的最大概似估計量 ˆβ 由於 ˆ ν, ˆβ 的標準差無法求得, 只能求得 ˆ ν, ˆβ 的近似標準差, 若考慮 νˆ 2 ˆ β ( ψ(2)) ASD β = + = ' ν ψ () ν ' ASD{ ˆ} ( ()) 2 ν ν = ψ = 0.78 的近似函數 { } ( ) ν ν, 2 N(,(0.78 ) ) ν β, (4.8) (4.9) 35

40 則參數 ν 的 00( 2 α)% 近似信賴區間為 若考慮 ˆβ ˆ ν ( α) ( ) [ ˆ ν 0.78 z, ˆ ν z ] 的近似分佈函數 α νˆ β 2 N( β,(.053 ) ) ν, 則參數 β 的 00( 2 α)% 近似信賴區間為 ˆ ˆ β ˆ ν ˆ ˆ β ˆ ν ( α) ( α) [ β.053 z, β z ] 36

41 模擬範例 3: 韋伯分配 Weibull( ν, β) 參數的最大概似估計量 由 We ibull(2,5) 生成 5 筆資料, 參數 ν 最大概似估計量 ˆ ν = ν ν 的 95% 信賴區間 = [.2508, ], 區間長度 =.7773 的 95% 近似信賴區間 = [.323, ], 區間長度 =.76 () 無母數 法 ( 表 7) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Balaced.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

42 (2) 有母數 法 ( 表 8) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 38

43 參數 β 最大概似估計量 ˆβ = β 的 95% 信賴區間 = [ , ], 區間長度 =3.794 β 的 95% 近似信賴區間 = [ , ], 區間長度 =2.562 () 無母數 法 ( 表 9) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Balaced.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

44 (2) 有母數 法 ( 表 0) Origial 方法 信賴區間 信賴區間 信賴區間 界 界 長度.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Double.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 40

45 4.4 信賴區間的方法比較 在這㆒小節, 會先就 4. 節,4.2 節及 4.3 節 範例重覆做模擬, 再以覆蓋機率, 信賴區間平均長度及信賴區間長度標準差來作為評量不同信賴區間求法的優劣 在此, 覆蓋機率指的是經由每㆒次模擬的 B 組 Bootstrap samples 所得到的信賴區間, 計數覆蓋到參數真實值的信賴區間次數, 再除以模擬次數 ; 信賴區間平均長度指的是計數覆蓋到參數真實值的信賴區間次數, 將有覆蓋到參數真實值的區間長度加總後, 除以覆蓋到參數真實值的信賴區間次數 ; 信賴區間長度標準差則是指得到信賴區間平均長度後, 根據每㆒個覆蓋到參數真實值的信賴區間, 計算出信賴區間平均長度標準差 以 的模擬範例,Bootstrap 樣本的個數 B=999,Double 樣本的個數 M=249, 覆蓋機率由 400 次的蒙 卡羅模擬求得 4

46 模擬範例 : 指數分配 Exp( β ) 參數的最大概似估計量 由 Exp(3) 生成 5 筆資料, 參數 β 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 ) Origial Balaced Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile.bootstrap ormal 2.Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile

47 (2) 有母數 法 ( 表 2) Origial Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=499 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 43

48 由 Exp(3) 生成 5 筆資料, 參數 β 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 3) Origial Balaced Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile.bootstrap ormal 2.Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile

49 (2) 有母數 法 ( 表 4) Origial Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 45

50 由 Exp(3) 生成 5 筆資料, 參數 β 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 5) Origial Balaced Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile.bootstrap ormal 2.Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile

51 (2) 有母數 法 ( 表 6) Origial Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=499 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 47

52 模擬範例 2: 伽瑪分配 Gamma( ν, β) 參數的最大概似估計量 由 Gamma(5, 2) 生成 5 筆資料 參數 ν 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 7) Origial Balaced Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile.bootstrap ormal 2.Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile

53 (2) 有母數 法 ( 表 8) Origial Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 49

54 參數 β 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 9) Origial Balaced Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile.bootstrap ormal 2.Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile

55 (2) 有母數 法 ( 表 20) Origial Double 方法 覆蓋機率 信賴區間 信賴區間 平均長度 長度標準差.Bootstrap ormal Bootstrap percetile 3.Basic 5.BC percetile 6.BCa percetile Bootstrap ormal Bootstrap percetile 3.Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 5

56 模擬範例 3: 韋伯分配 Weibull( ν, β) 參數的最大概似估計量 由 Weibull(2,5) 生成 5 筆資料, 參數 ν 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 2) Origial Balaced Double 方法 覆蓋機率 信賴區間平均長度 信賴區間長度標準差.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

57 (2) 有母數 法 ( 表 22) Origial Double 方法 覆蓋機率 信賴區間平均長度 信賴區間長度標準差.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 53

58 參數 β 的 95% 信賴區間及近似信賴區間之 覆蓋機率信賴區間平均長度信賴區間長度標準差 () 無母數 法 ( 表 23) Origial Balaced Double 方法 覆蓋機率 信賴區間平均長度 信賴區間長度標準差.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile

59 (2) 有母數 法 ( 表 24) Origial Double 方法 覆蓋機率 信賴區間平均長度 信賴區間長度標準差.Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap ormal Bootstrap percetile Basic BC percetile BCa percetile Bootstrap 樣本的個數 B=999 Double 樣本的個數 M=249 覆蓋機率由 400 次的蒙 卡羅模擬求得 55

60 在範例, 是求取指數分配參數之最大概似估計量的信賴區間 在這例子, 特 改變 Bootstrap 樣本的個數, 來探討其 Bootstrap 樣本個數是否會影響其結果 當選取 B=499,B=999 及 B=499 ㆔個不同 B 值來作模擬, 由其結果, 可以發現 Bootstrap 樣本之個數對結果並不會影響太多 由於㆒般在以 Bootstrap 法來求取信賴區間時, 會建議 Bootstrap 樣本數不要太小, 因此, 在範例 2 及範例 3, 選取了 B=999 來作模擬 在範例 2, 是求取伽瑪分配參數之最大概似估計量的信賴區間, 範例 3 則是求取韋伯分配參數之最大概似估計量的信賴區間 由範例, 範例 2, 及範例 3 整體看來, 在無母數拔靴法的情況, 使用 Bootstrap ormal,bootstrap percetile,basic, Bootstrap-t,BC percetile 以及 BCa percetile 法, 其覆蓋機率皆可達到 82% 以, 且其信賴區間平均長度及信賴區間長度標準差在大部份的情況, 都比運用已知分配之信賴區間公式所求得的信賴區間平均長度及信賴區間長度標準差要小 而在使用 Balaced 法去修正後, 可以很清楚的發現, 其影響之程度非常小 但在使用 Double 法去修正後, 其覆蓋機率增加很多, 幾乎都比原始之 Bootstrap 法所求得之覆蓋機率大, 但相對的, 其信賴區間平均長度及信賴區間長度標準差也增大很多 由此, 可以得知, 無論有無做 56

61 Balaced 修正, 對其結果影響不大, 而 Double 修正雖然讓覆蓋機率增大, 但其信賴區間的長度也相對增大, 也就是此修正方法亦不是㆒個好的手法 在有母數拔靴法的情況, 無法使用 Balaced 法來做修正, 只能以 Double 法來修正, 而其結果和無母數拔靴法所產生之結果相同 但就無母數之區間估計及有母數之區間估計來看, 很明顯的可以知道, 在信賴區間平均長度及信賴區間長度標準差並沒有很大的差別, 其覆蓋機率有母數的優於無母數 57

62 第五章結論 本文主要是在探討如何應用無母數拔靴法及有母數拔靴法去建構信賴區間, 應用了六種不同方法, 包括了 Bootstrap ormal,bootstrap percetile,basic,bootstrap-t,bc percetile 以及 BCa percetile 法, 去求取信賴區間, 更進㆒步利用 Balaced 及 Double 法去修正六種的 Bootstrap 信賴區間 首先, 得了解這樣㆒個事實, 拔靴法是㆒種必須運用到電腦的技術, 而在求取參數的信賴區間, 會花費大量的電腦計算時間 在本文例子, 韋伯參數的最大概似估計量必須以收斂的方法求得, 再加 運用了 Double 方法, 相當於模擬了 BM 個 Bootstrap 樣本, 其電腦計算時間相當長 因此, 雖然在拔靴法,Bootstrap 樣本數 B 愈大, 會得到愈好的結果, 我們卻不能讓 B 值過大, 在電腦計算時間的衡量之, 訂定 Bootstrap 樣本數 B 值為 999,Double 樣本數 M 值為 249, 其結果已經是可信的 在拔靴法, 有㆒個非常重要的特性必須將其提出討論的 在㆒般情況, 平均數之估計有很多很好的性質及公式可以去運用 例如其標準差之計算, 若是 位數之估計, 要算其標準差則是很困難 但利用拔靴法, 可以很簡單的解決此問題 在本文, 範例 是求取指數分配參數最大概似估計量之信賴區間, 其最大概似估計量即為 58

63 平均數, 有相當好的公式可以去計算其信賴區間 但範例 2, 伽瑪分配參數最大概似估計量及範例 3, 韋伯分配參數最大概似估計量都是近似值 在 4.2 節及 4.3 節 所討論之信賴區間的公式亦都是近似的, 因此將拔靴法應用在範例 2 及範例 3 不見得是不適合的 由此可知拔靴法在任何情況, 只要有㆒筆資料再加 其所要討論之參數估計, 即可求出其信賴區間, 不必仰賴參數估計值之特性 由 4.4 節之 3 個範例, 可以知道求取信賴區間時, 在資料來源分配已知的情形, 使用有母數拔靴法比無母數拔靴法要好, 若資料來源分配未知, 就只能使用無母數拔靴法 而六種不同的 Bootstrap 信賴區間, 其差別並不是那麼的大 但依然可從模擬範例 比較得知, 在 Bootstrap-t 法相對其他方法可得到的較高的覆蓋機率, 雖然其信賴區間平均長度也較長, 可是並沒有差別太大 而在使用 Bootstrap-t 法還得知道參數估計值之標準差, 這也是很多時候在使用 Bootstrap-t 法會遇到的困難 另外, 修正過後的 Bootstrap percetile 法,BC percetile 及 BCa percetile 法, 也較原始的 Bootstrap percetile 法平均來說有較高的覆蓋機率, 但其差別並沒有那麼明顯 在第㆔章所提到的兩個修正方法, 在這㆔個範例, 並無特別好的㆒個結果產生 在使用 Balaced 方法去修正信賴區間, 和原始方法並無差別, 因為 Balaced 方法在求取信賴區間, 所要求的 59

64 Bootstrap 樣本數不會太小, 也就是當 Bootstrap 樣本數大時, 其實樣本就可以達到㆒個平衡狀態, 並不需要再用 Balaced 方法來修正 利用 Double 法來修正, 雖然覆蓋機率可以達到 90% 以, 但是相對的其信賴區間的平均長度也增長很多, 其信賴區間的長度標準差也增大 由於 Double 法會相當消粍電腦資源, 所以, 若不是很要求覆蓋機率, 其實用原始的 Bootstrap 法即可得到不錯的信賴區間 60

65 參考文獻 Daviso, A. C., Hikley, D.V. (997). Bootstrap Methods ad Their Applicatio. Cambridge Uiversity Press. Efro, B. (979a). Bootstrap Methods:Aother Look at the Jackkife. Aals of Statist. 7,-26. Efro, B. (98). The Jackkife, the Bootstrap, ad Other Resamplig Plas. SIAM, Philadelphia. Efro, B. (987).Better Bootstrap Cofidece Itervals. J. Amer. Statist. Assoc. 82, Efro, B., Tibshirai, R.J. (993). A Itroductio to the Bootstrap. Chapma & Hall, New York. J.S. Milto, J.C. Arold, (995). Itroductio to Probability ad Statistics. New York:McGraw-Hill. Shao, J. ad Tu, D. (995). The Jackkife ad Bootstrap. Spriger-Verlag, New York. Zacks, S. (992). Itroductio to Reliability:Probability Models ad Statistical Methods. Spriger-Verlag, New York. 6