Microsoft Word - CH12-001~030_1_.doc

Size: px

Start display at page:

Download "Microsoft Word - CH12-001~030_1_.doc"

静连
4 years ago
Views:

1 Chapter 簡單迴歸與相關分析 - Chapter 簡單迴歸與相關分析. 迴歸分析之概念迴歸分析 (regresso aalyss) 是用來研究兩個或兩個以上變數間的關係, 此方法的主要目的是要建立一個迴歸模式, 然後根據一個或多個自變數 (depedet varable) 之值, 來預測相依變數 (depedet varable) 或稱反應變數 (respose varable) 之值因此迴歸分析的主要目的是在建立變數與變數間之統計關係, 然後利用此統計模式去作預測基本上迴歸分析可區分為 : 線性迴歸一個自變數非線性迴歸迴歸分析線性迴歸多個自變數非線性迴歸本章主要內容將探討簡單線性迴歸模式, 亦即利用單一自變數來預測反應變數至於多個自變數之問題將在下一章討論一般所謂線性迴歸中之線性 (lear) 是指迴歸模式中所有迴歸參數皆為一次方的型態

2 - 統計學 ( 下 ) Defe the meag of lear the regresso aalyss. (94 中原會計 %) : 見課文內容一兩個變數間之關係兩變數間之關係, 基本上可分為函數關係 (fucto relatoshp) 與統計關係 (statstcal relatoshp) 兩大類茲分述如下 : 函數關係 : 兩變數之間的函數關係, 是指一般數學上的一對一及多對一之函數關係, 它為一種確定性模式 (determstc model), 可以下列數學公式表示, 即 y = f( x) 若將上式函數的觀測值 ( x, y ) 點繪於圖中, 則所有點 ( x, y ) 皆會落入線上 ( 見圖 -(a)), 亦即給一個 x 值, 則函數對應到另一個確定 y 值 (a) 函數關係圖 - 兩變數之關係 (b) 統計關係統計關係 : 統計關係與函數關係之不同處, 主要在所有觀察值 ( x, y ) 並不會皆落在一條直線或曲線上 ( 見圖 -(b)) 例如探討廣告費用( ) 與銷售量 ( ) 之關係, 通常不同廣告費, 其銷售量亦不同然而, 第一季與第二季的廣告費用相同, 並不能表示這兩季的銷售量會相同, 因

3 Chapter 簡單迴歸與相關分析 -3 為還有很多因素會影響銷售量, 例如景氣好壞或競爭對手之多寡等因此兩變數之關係似乎應該以下列方式表達較適當, 即 y = f( x) + ε 二簡單直線迴歸模式的建立直線迴歸模式之建立 : 茲舉上例廣告費用 ( 佰萬 ) 與銷售量 ( 千 ) 之關係來說明迴歸模式如何建立今觀察一組資料如下, 且將此資料繪於下圖 ( 見圖 -), 稱之為散布圖 (scatter dagram) 即 ( 廣告費 ) ( 銷售量 ) y x 圖 - 廣告費用與銷售量之散布圖一般所謂散布圖是指將一組資料 ( x, y ) 點繪在二維空間上所構成的圖形在圖 - 中, 可看出廣告費用與銷售量之關係並非直線關係, 亦即兩變數並非函數關係, 因此銷售量多寡並非完全受廣告費之影響但我們可粗略看出此兩變數關係接近直線, 因此可將其關係建立為

4 -4 統計學 ( 下 ) = β + β + ε, =,,3,..., 在上式中 ε 稱為隨機誤差項 (radom error term) 或稱隨機干擾項 ( radom dsturbace ), 而 β 與 β 則稱為迴歸係數 (regresso coeffcet), 其中 β 表示截距項, 而 β 表示斜率模式及其基本假設 : 在直線迴歸模式中, 是假設自變數與反應變數接近直線關係, 因此可將模式寫為 = β + β + ε 其中是第觀察值的相依變數 ( 反應變數 ) 為非隨機變數 (ostochastcally varable) 是已知常數, 為自變數的第觀察值 ε 是隨機誤差項, 且 E( ε ) =, σ ( ε ) = σ, =,,3,..., ε 和 ε 無相關 (ucorrelated), 所以對所有 j 而言, 共變異數 j σε (, ε ) =, j j 在迴歸模式中, 若參數及變數皆為線性的模型, 稱之為第一階模型 (frst-order model) 斜率 β 表示自變數每變動一個單位, 所引起反應變數的平均變動量, 而截距項 β 表示在軸上的截點與原點之間的距離. 直線迴歸模式之參數估計在直線迴歸模式中, 迴歸係數 β 與 β 皆未知, 因此必須利用樣本觀察資料 ( x, y ) 去估計參數 β 與 β 一般在統計理論中, 尋找參數估計式之方法有許多種 ( 見第 8 章 ), 在此處只討論普通最小平方法 (ordary least squares method) 及最大概似法 (maxmum lkelhood method) 兩種方法茲分述如下 :

5 Chapter 簡單迴歸與相關分析 -5 一普通最小平方法最小平方估計式之推導 : 簡單直線迴歸模式中, 最主要的工作是針對模式 = β + β + ε 中未知參數 β 及 β 給予估計換句話說我們要利用一組樣本觀察值 (, ) 所計算出來之樣本迴歸直線 ˆ = ˆβ + ˆ β 來估計母體迴歸直線今若要尋找 ˆβ 及 ˆβ 使得 ˆ = ˆβ + ˆ β 為最適合此組樣本資料 (, ),(, ),...,(, ) 的直線, 可利用實際值 ( ) 和預測值 ( ˆ ) 之誤差平方和為最小之觀念來尋找, 即要找 ˆβ 及 ˆβ 使誤差平方和 ˆ SSE = e = ( ) ( ˆ = β ˆ β ) = = = 為最小, 而要使 SSE 為最小, 則可利用微積分求極小值的概念, 求出迴歸參數之估計式, 且稱之為普通最小平方估計式 (OLSE) 定理在迴歸模式 = β + β + ε中, 參數 β 及 β 之最小平方估計式為 ˆ β = = = = = = = = = ( )( ) = S = = S ( ) = ˆβ = ˆ β (99 中央財金 )

6 -6 統計學 ( 下 ) 證明因 SSE = ( ˆ β ˆ β ) = = ( ˆ ˆ β β β =, 今對 ˆβ ˆβ 作一階偏導數, 即 ˆ )( ) = ( ˆ ˆ β ˆ β β )( ) = 再令 = 及 =, 即 ˆ β ˆ β ˆ ˆ ( β β) = = ( ˆ ˆ ) = β β = 再將上式整理為 ˆ + ˆ β β = ˆ β = = ˆ + β = = = = 此方程式稱為標準方程式或稱正規方程式 (ormal equato), 再利用 crame rule 來解此方程式, 即 ˆ β = = = = = = = = = = = = = ( )( ) = = = = ( ) = =

7 Chapter 簡單迴歸與相關分析 -7 又由標準方程式中第一式, 兩邊同除可知 ˆ β = ˆ β 在迴歸分析中各差異平方和常以下式符號表示, 即 = = ( ) = = = SS S = = ( ) = = = SS S SS = S = ( )( ) = = = Suppose that the heght x (ches) ad weght y (pouds) of a wome basketball player has a relato wth equato of the form y = b + bx. What are the least squares estmates ˆb ad ˆb of b ad b, respectvely, f we have players data; ( x, y), ( x, y),..., ( x, y ). The followg data were the heght ad weght of the startg leups of a team: heght x weght y Compute the estmated regresso equato. If a player s heght s 63 ches, what would you estmated her weght to be? (94 淡江國貿資管 8%) : 見定理因 = 35, = 45, = 585, = 69 = = = =

Microsoft PowerPoint - ch10

Microsoft PowerPoint - ch10 第 0 章簡單線性迴歸 : 最小平方法本章綜覽變異數分析不適合用來說明當某變數變動一單位時, 另一變數變動的情形本章將介紹另一種方法 : 迴歸分析 regresso aalyss 迴歸分析 : 以數學和統計方法來確認一組變數中的系統性部分, 並依此解釋過去的現象和預測未來介紹單一變數的簡單線性迴歸模型 smple lear regresso model 最小平方法及其代數性質衡量迴歸模型好壞的配適度指標等