Microsoft PowerPoint - ch10

Size: px

Start display at page:

Download "Microsoft PowerPoint - ch10"

阳钱
5 years ago
Views:

1 第 0 章簡單線性迴歸 : 最小平方法

2 本章綜覽變異數分析不適合用來說明當某變數變動一單位時, 另一變數變動的情形本章將介紹另一種方法 : 迴歸分析 regresso aalyss 迴歸分析 : 以數學和統計方法來確認一組變數中的系統性部分, 並依此解釋過去的現象和預測未來介紹單一變數的簡單線性迴歸模型 smple lear regresso model 最小平方法及其代數性質衡量迴歸模型好壞的配適度指標等

3 簡單線性迴歸模型簡單線性迴歸模型 : 利用一個線性模型來捕捉 {,,=,..,} 這組雙變量隨機變數中的系統性部分 g 利用條件均數 :E = g=α+β, 其中 α,β 為未知參數, 需要我們去估計可以將表示為 = α+β + U, 其中 U 代表不能由 α+β 所描述的行為, 亦即與線性模型之間的誤差

4 簡單線性迴歸模型迴歸模型中的變數稱作應變數 depedet varable 或 regressad 變數稱作解釋變數 explaatory varable 或 regressor 參數 α 和 β 稱作迴歸係數 regresso coeffcet α: 截距項, β: 斜率線性迴歸中的線性二字是指模型為參數而非變數的線性函數 α+β, α+βlog 是線性迴歸模型 α+ β 不是線性迴歸模型

5 最小平方法估計迴歸係數最常用的方法之一就是普通最小平方 ordary least squares, 又簡稱為最小平方法最小平方法的認定條件是 :, =,,, 之值不為常數除了上述認定條件之外, 本章亦不對, 的隨機機制作任何限制

6 最小平方法找 α 和 β 使模型誤差 U 的平方和極小採用誤差平方和是為了避免正負誤差之間互相抵銷目標函數如下 : Q, 最小平方法所找的就是使誤差平方和或其平均最小的那條直線如果目標函數改變如 U 的絕對值之和, 就會產生不同的迴歸線 U.

7 簡單線性迴歸模型可能的迴歸線誤差誤差

8 最小平方法為使目標函數之值最小, 必須解出以下的一階條件 frst order codto 這兩個一階條件又稱作標準方程式 ormal equatos 0., 0,, Q Q

9 最小平方法可從標準方程式中求出 α 和 β 的解, 稱作最小平方估計式 ordary least squares estmator, 簡稱 OLS estmator, 一般以若為常數,, 則根本無法計算, 這是為什麼需要認定條件的原因., 和 ˆ 來代表 ˆ ˆ

10 最小平方法將最小平方估計式 ˆ 和 ˆ 代入設定的線性模型就可得到一條截距為 ˆ, 斜率為 ˆ 的直線, 稱作估計的迴歸線 estmated regresso le 斜率係數估計式 ˆ 衡量的邊際效果 : 當變動一單位時, 估計的迴歸線會預測應變數將變動 ˆ 個單位截距係數應變數 ˆ 則表示當為 0 時, 估計的迴歸線所預測的將樣本中的變數代入估計的迴歸線, 即可求得估計的應變數 ^ ^ ^.

11 最小平方法應變數與估計所得到的應變數 ˆ 之間的差距稱為最小平方法的第個殘差 resdual Uˆ 估計的應變數之實現值稱為配適值 ftted value, 殘差的實現值稱為殘差值 resdual value ˆ

12 最小平方法的代數性質在 =α+β +U 的典型模型設定下, 最小平方法的殘差具有以下三種性質 : 以上的三條式子為一階條件的結果在典型模型設定下, 給定一組樣本觀察值之後, 估計的迴歸線必然通過 ^ U ˆˆ U 0 0. Uˆ 0 a, b 這一點

13 簡單線性迴歸模型之比較 ˆˆ ˆ ˆ ˆ b a

14 配適度的衡量不同的解釋變數可能都適合描述應變數的系統性部分如果可以衡量迴歸線的配適度 goodess of ft, 就可以選擇配適度較高的迴歸線來描述應變數的系統性部分所以配適度的衡量指標就可以作為比較不同迴歸模型的基準例如 : 用坪數來解釋房價的配適度比用房間數來解釋房價的配適度高時, 則前者是比較好的模型

15 配適度的衡量 -- 平方和的分解以下為不受資料衡量單位影響的配適度指標的推導過程 : 上式中第一項稱為總平方和 TSS, 第二項為迴歸平方和 RSS, 第三項為殘差平方和 ESS ˆ. ˆ ˆ ˆ, ˆ ˆ ˆ ˆ ˆ ˆ, ˆ ˆ ˆ, ˆ ˆ ˆ U U U U U U

16 配適度的衡量 -- 平方和總平方和 : 應變數在樣本平均數周圍之總變動量迴歸平方和 : 估計的應變數在其樣本平均數周圍之總變動量, 也就是迴歸模型所能描述的變動量殘差平方和 : 最小平方法殘差的總變動量, 即是迴歸模型無法捕捉的變動量

17 配適度的衡量 -- 自由度由於總平方和的計算中用到了樣本平均數, 等於在資料中加了一個限制條件, 0 故總平方和的自由度為 - 殘差來自最小平方法, 必須服從兩條標準方程式的規範, 因此損失了兩個自由度, 故殘差平方和的自由度為 - 總平方和自由度與殘差平方和自由度之差即為迴歸平方和之自由度, 此處為

18 配適度的衡量 -- 判定係數判定係數 coeffcet of determato: 線性迴歸中最常用的配適度指標它衡量迴歸模型所能捕捉的變動量佔總變動量中的比例, 通常以 R 來代表判定係數又分成置中的與非置中的判定係數兩種.. ˆ ˆ ˆ ˆ U U R R 非置中的置中的

19 配適度的衡量 -- 判定係數的性質 R 愈高代表迴歸模型所能捕捉到應變數的變動量佔總變動量的比例愈高, 故配適度較佳當 R =, 迴歸平方和等於總平方和, 此時迴歸模型沒有任何殘差, 稱作完全配適 perfect ft 當 R =0, 殘差平方和等於總平方和, 此時迴歸模型對應變數並無任何解釋能力若欲利用判定係數來比較不同模型的配適能力, 這些模型必須有相同的應變數

20 配適度的衡量 -- 判定係數的性質的位置和比例變動均不會影響置中的判定係數的位置變動會改變非置中的判定係數, 而比例變動則不會影響非置中的判定係數單獨的變動對置中的或非置中的判定係數均無影響計算簡單線性迴歸模型的配適度也就是衡量應變數與解釋變數之間的線性關聯度. ˆ ˆ ˆ ˆ R

21 實例分析欲分析廣告費用如何影響公司的營業額取得一組 0 家公司的年營業額和年度廣告費用的樣本資料如右表公司公司廣告費用廣告費用 a a 營業額營業額 b b A B C D E FF 6 6 G H II JJ 樣本平均數樣本平均數樣本變異數樣本變異數

22 實例分析設立模型為有截距項的迴歸模型, 則 a 和平均 a 和平均左欄的平左欄的平 b 和平均 b 和平均左欄的平左欄的平第欄和第欄和第 44 欄公司公司數的差數的差方數的差數的差方的乘積的乘積 A B C D EE FF G H II JJ 總和總和 ˆ 0 a a b a a b ˆ b ˆa

23 實例分析下圖為估計的迴歸線圖, 可驗證估計的迴歸線確實通過平均值的.7, 估計的迴歸線圖

24 實例分析根據估計的迴歸線也可以計算出配適值與殘差值公司公司配適值配適值與其樣本平均的平方配適值與其樣本平均的平方殘差值殘差平方 A B C D E F G H II JJ 總和總和

25 實例分析當公司年營業額與年度廣告費用增加或衡量單位改變時, 利用最小平方法所得到的估計值與置中的判定係數綜合於下表不論資料發生位置變動或比例改變, 置中的判定係數都不受影響資料變動資料變動截距項截距項斜率項斜率項判定係數判定係數 , +, *0 * *0 * *0, *0,*0 *

Microsoft Word - CH12-001~030_1_.doc

Microsoft Word - CH12-001~030_1_.doc Chapter 簡單迴歸與相關分析 - Chapter 簡單迴歸與相關分析. 迴歸分析之概念迴歸分析 (regresso aalyss) 是用來研究兩個或兩個以上變數間的關係, 此方法的主要目的是要建立一個迴歸模式, 然後根據一個或多個自變數 (depedet varable) 之值, 來預測相依變數 (depedet varable) 或稱反應變數 (respose varable) 之值因此迴歸分析的主要目的是在建立變數與變數間之統計關係,