Microsoft PowerPoint - ch05-AN.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - ch05-AN.ppt"

漂犒方
5 years ago
Views:

1 第 5 章簡單線性迴歸之矩陣方法 Matrices Approach to Simple Linear Regression

2 在複迴歸中, 由於矩陣方法可以透過較為精簡的表達方式, 來表示出廣大的聯立方程組, 以及龐大的資料陣列, 所以經常是必須使用的工具本章首先介紹矩陣代數, 然後介紹如何將矩陣方法應用至簡單線性迴歸模型中, 雖然在簡單線性迴歸模型中, 尚不需使用到矩陣代數, 不過透過矩陣代數的應用, 將有助於進入第二與第三部分關於複迴歸模型的討論將焦點放在如何應用於迴歸分析的部分

3 矩陣之定義 5.1 矩陣 Matrices 矩陣是將元素依照行與列排成一矩形之形式, 如下例 : 第一行第二行第一列 16, 第二列 33, 第三列 21, 例如第一列第二行之數字 (23) 表示年齡為 23 歲, 其所得表示在第一列第一行之數字 (16,000), 上述矩陣之階數 (dimension) 為 3 2, 亦即三列二行, 所以如果想透過矩陣表示 1,000 個人的所得與年齡, 則所需矩陣之階數為

4 一般而言, 矩陣的階數先寫出它的列, 再表示它的行, 接下來我們定義一些符號來代表下面這個 2 3 之矩陣中的元素 : j=1 j=2 j=3 i=1 ɑ 11 ɑ 12 ɑ 13 i=2 ɑ 21 ɑ 22 ɑ 23 這裡第一個下標示指該元素的列, 第二個下標則是行, 所以符號 ɑ ij 表示第 i 列第 j 行之元素在上面的例子中,i =1,2 以及 j=1,2,3 習慣上用粗黑體的樣式符號來代表一個矩陣, 因此上述矩陣可以寫成 : ɑ 11 ɑ 12 ɑ 13 A = ɑ 21 ɑ 22 ɑ 23 或是 A=[ɑ ij ]i = 1,2;j = 1,2,3

5 所以對於一個具有 r 列 c 行之矩陣可以表是為 : (5.1) 或是採用簡略之形式 A=[ɑ ij ] i = 1,,r;j = 1,,c 甚至直接以 A 作為表示方式

6 方陣當矩陣之列數等於行數時, 稱之為方陣 (square matrix) ɑ 11 ɑ 12 ɑ ɑ 21 ɑ 22 ɑ ɑ 31 ɑ 32 ɑ 33 向量當矩陣之行數僅為 1, 我們稱為行向量 (column vector) 或簡稱向量 (vector), 當矩陣之列數僅為 1, 我們稱為列向量 (row vector) 4 c 1 A = 7 C = c 2 B = [ ] 10 c 3 c 4 向量 A 是一個 3 1 之矩陣向量 C 是一個 5 1 之矩陣, 列向量的符號右上方加一撇之表示方式稱之為轉置 (transpose)

7 轉置矩陣 A 之轉置我們習慣上用符號 A 來表示例如 2 5 A = 所以轉置矩陣 A 為 : A = 轉置結果是行向量轉置成列向量, 反之, 則是列向量轉置成行向量

8 轉置在一般的情形下,A 矩陣轉置的規則為 : (5.2) 其轉置矩陣為 : (5.3) 所以在矩陣 A 中的第 i 列第 j 行的元素, 轉置後出現在矩陣 A 中的第 j 列第 i 行矩陣相等 a 1 4 A = a 2 B = 7 表示 a 1 =4, a 2 =7, a 3 =3 a 3 3

10 5.2 矩陣之加法與減法 Matrix Addition and Subtraction 當兩個矩陣可進行相加或相減時, 前提條件是兩個矩陣需具備有相同的階數 A = 2 5 B = 則 A+B = =

11 一般而言, 如果則 (5.8) (5.8) 式可以一般化推廣至多於兩個矩陣之加減運算, 而且與一般代數規則有相同的性質 :A + B = B + A

13 5.3 矩陣相乘 Matrix Multiplication 純量與矩陣之相乘一般而言, 當兩矩陣之相乘, 而 k 為一個純量, 則 (5.11) 一般而言, 當矩陣 A 之階數為 r c, 而矩陣 B 之階數為 c s, 則乘積 AB 之階數為 r s, 且其第 i 列第 j 行的元素為 : 所以我們可以得到 : (5.12)

16 5.4 特殊矩陣 Special Types of Matrices 對稱矩陣當, 則矩陣 A 為對稱矩陣所有的對稱矩陣均為方陣在迴歸分析中, 對稱矩陣經常是出現在矩陣 X 前面乘上其轉置 X,X X 必為對稱矩陣, 這結果由 (5.14) 得知對角線矩陣當矩陣之主對角線以外的元素均為零, 則此矩陣為一個對角線矩陣 (diagonal matrix), 單位矩陣單位矩陣 (diagonal matrix)( 或 unit matrix) 之符號習慣上用 I 來表示, 該矩陣主對角線之元素均為 1, 而主對角線以外的元素均為零, 任意矩陣乘上或被乘上相同階數的單位矩陣, 其結果不變,

17 所以對於一個 r r 之矩陣 A, 我們有 (5.16) 純量矩陣 : 純量矩陣 (scalar matrix) 為主對角線元素均相同之對角線矩陣元素全為一之向量與矩陣 : 當行向量內所有的元素均為 1, 我們用符號 1 來表示, (5.17) 而對於方陣內所有的元素均為 1, 我們用符號 J 來表示, (5.18)

18 對於一個 n 1 之向量 I, 我們有而 I I = 1 1 : = n = n 1 1 零向量 I I = : 1 1 = : : =J n n 零向量是指向量內所有的元素均為 0, 用符號 0 來表示 : (5.19)

19 5.5 線性相依與矩陣的秩 Linear Dependence and Rank of Matrix 線性相依當矩陣中存在有某一個行向量, 可以等於其他行向量之線性組合時, 該矩陣之各行為線性相依 (linear dependent) 若矩陣中不存在有任何一個行向量, 可以等於其他行向量之線性組合時, 該矩陣之各向量行為線性獨立 (linear independent) 如果存在 c 個不全為 0 之純量 k 1,, k c, 可以滿足 : (5.20) 則 c 個向量 C 1,,C c 為線性相依 ; 反之, 若滿足 k 1 C 1 + k 2 C k c C c = 0 之唯一條件為 k 1 = k 2 = = k c = 0, 則 c 個向量 C 1,, C c 為線性獨立

20 矩陣的秩矩陣中可以滿足線性獨立最多數目之行向量, 該數稱為矩陣的秩 (rank), 舉前例而言, 由於四個行向量不為線性獨立, 所以矩陣 A 之秩不是 4, 不過第一第二第四行為線性獨立, 所以矩陣 A 之秩為 3 一個矩陣的秩是固定的, 而且可以透過最大線性獨立之列數來做等價之定義, 亦即一個 r c 之矩陣, 矩陣的秩不會大於 r 與 c 兩者之最小值 min(r,c) 當矩陣 A 與 B 相乘後得到矩陣 C, 則矩陣 C 的秩不會大於矩陣 A 的秩與矩陣 B 的秩兩者之最小值 min(ranka,rankb)

21 5.6 反矩陣 Inverse of Matrix 一個數的反元素 (inverse) 是指該數的倒數, 所以 6 的反元素是例如 : = 6 1 6=1 χ x 1 =χ χ -1=χ -1 χ=1 在矩陣代數中, 矩陣 A 的反元素用符號來表示, 同時有性質 : (5.21) 唯有方陣中才有所謂反矩陣之定義, 不過有些方陣其反矩陣並不存在, 當方陣之反矩陣存在時, 必定是唯一一個

24 反矩陣之求法一個 r r 之矩陣當其秩為 r 時, 則存在反矩陣, 這種矩陣我們稱之為非奇異 (nonsingular) 或全秩 (full rank), 其反矩陣的秩也是 r; 反之, 當 r r 之矩陣當其秩小於 r 時, 則不存在反矩陣, 這種矩陣我們稱之奇異 (singular) 或非全秩 (not of full rank)

25 反矩陣之求法 ( 對 2 2 與 3 3 之矩陣 ) 1. 矩陣則 (5.22) 其中, (5.22a) D 稱為矩陣 A 之行列式值, 當矩陣 A 為奇異, 則 D = 0, 而矩陣 A 之反矩陣不存在

26 2. 矩陣則 (5.23) 其中, 且 Z 稱為矩陣 B 之行列式值 (5.23a) (5.23b)

29 反矩陣之使用在一般代數裡, 方程式 : 5y = 其解法為等號兩邊均乘上 5 之反元素, 亦即, = ( 5y) = ( 20) 5 5 則可以解出 : 1 y = ( 20) = 4 5 在矩陣代數中, 方程式 : AY=C 假設矩陣 A 之反矩陣存在, 則在等號兩邊乘上 A 之反矩陣 : A -1 AY=A -1 C, 因為 A -1 AY=IY=Y, 所以可以解出 : Y= A -1 C 舉例來說, 假設聯立方程組 : 2y 1 +4y 2 =20 3y 1 + y 2 =10 我們可以用矩陣表示成 : 2 4 y y 2 = 10

30 於是, y y 2 = 所以解出 : y y = = 4 因此 y 1 = 2,y 2 = 4 可以滿足原來的聯立方程組

31 5.7 矩陣之基本定理一些常用的矩陣基本定理 : (5.25) (5.26) (5.27) (5.28) (5.29)

32 (5.30) (5.31) (5.32) (5.33) (5.34) (5.35) (5.36) (5.37)

33 5.8 隨機向量與矩陣 Random Vertors and Matrices 一個隨機向量或隨機矩陣是指的其內部元素是隨機變數, 所以在 (5.4) 中的觀測值向量 Y 即為一個隨機向量隨機向量與矩陣之期望值假設有 n=3 個觀測值, 構成隨機向量 Y: Y 1 Y = Y Y 3 則 Y 的期望值為一個向量, 用符號 E{Y} 表示, 其定義如下 E { Y 1 } E{Y} = E { Y 2 } 3 1 E { Y 3 }

34 一般情形下, 一個隨機向量 Y 之期望值我們可以表示為 : (5.38) 而對於一個階數為 n p 之隨機矩陣 Y, 我們可以將其期望值表示為 : (5.39)

36 隨機向量之共變異矩陣假設一隨機向量 Y 之三個隨機變數為 Y 1,Y 2,Y 3, 若其變異數分別為 σ 2 {Y i }, 另外還存在有三個隨機變數中的任一兩個變數間之共變異數 σ 2 {Y i,y j }, 則可以 σ 2 {Y i } 來表示 Y 共變異矩陣 (variance-covarance matrix): (5.40) 由於在上述的例子中, 有 : (5.41)

37 經過矩陣之相乘運算, 並取期望值後, 我們可以得到下面結果 : 將上述結果推廣至一個 n 1 的隨機向量 Y, 其共變異矩陣為 : 此處的 σ 2 (Y) 是一個對稱矩陣 (5.42)

39 基本定理有時我們經常會遇到一個常數矩陣 A( 元素固定之矩陣 ), 乘上一個隨機向量 Y, 而形成一個隨機向量 W 如下 : 則可能會用到一些基本定理 : (5.43) 其中, 為 Y 的共變異矩陣 (5.44) (5.45) (5.46)

41 多元常態分配密度函數對於一個多元常態分配的密度函數, 最好是透過矩陣的方式來表示, 先定義一些向量與矩陣, 假設觀測值向量 Y 是由 p 個 Y 變數所組成, 則習慣上可以寫成 : (5.47) 用符號 μ 表示向量 Y 之期望值 E{Y}, 所以 (5.48)

42 最後,Y 的共變異矩陣用符號來表示 : (5.49) 在這裡,σ 2 1 為 Y 1 的變異數, 而 σ 12 則是 Y 1 與 Y 2 共變係數對於一個多元常態分配的密度函數, 可以寫成 : (5.50) 其中, 表示共變異矩陣之行列式值

43 5.9 簡單線性迴歸模型的矩陣表示 Simple Liner Regression Model in Matrix Terms 在本節中將利用矩陣來處理簡單線性迴歸, 首先考慮的是常態誤差迴歸模型 (2.1): (5.51) 亦即, (5.51a)

44 另外還需增加迴歸係數所組成的向量 : (5.52) 於是可以將 (5.51a) 利用式 : 因為矩陣做一個較為精簡的表達方 (5.53)

45 上式中表示各個觀測值 Y i 之期望值所組成之向量, 而, 所以 (5.54) 在 X 矩陣中有一全為 1, 我們可以將其視為一個虛擬變數 X 0 =1, 用以作為替代之迴歸模型 (1.5) Y i =β 0 X 0 +β 1 X i +ε i 其中 X 0 =1 故 X 矩陣包含了虛擬變數 X 0 =1 之行向量及預測變數觀測值 X i 之行向量

46 在誤差項部分中, 迴歸模型 (2.1) 假設 E{ε i }=0,σ 2 {ε i } =σ 2 且 ε i 之間為獨立之常態隨機變數, 我們可以將條件寫成矩陣之形式 : 上式所代表之意義為 : (5.55)

47 由於 ε i 具備有常數變異數, 而且 ε i 與 ε j 彼此間無相關性, 亦即共變異數為零 ( 換句話說, 對於所有的 i 與 j,i j, σ{ε i,ε j }=0 ), 誤差項之共變異矩陣可以表示如下 : (5.56) 而此一共變異矩陣為一個純量矩陣, 所以可以進一步表示為 : (5.56a) 因此常態誤差迴歸模型 (2.1) 寫成矩陣形式為 : (5.57) 其中 ε 為獨立常態隨機變數之向量, 且 E{ε}=0, σ 2 {ε}=σ 2 I

48 5.10 迴歸參數的最小平方估計 Least Squares Estimation of Regression Parameters 標準方程式在第 1 章中的 (1.9) 式之標準方程式 : (5.58) 用矩陣形式表示則為 : 其中 b 為最小平方法估計下的迴歸係數向量 : (5.59) (5.59a)

50 迴歸係數之估計透過 (5.59) 的矩陣形式之標準方程式運算出所估計的迴歸係數, 必須先假設的反矩陣存在, 然後在等號兩邊同時乘上的反矩陣 : 由於, 而 Ib = b, 所以 (5.60) 其結果與先前的估計量 b 0 (1.10a) 及估計量 b 1 (1.10b) 相同

53 5.11 配適值與殘差 Fitted Values and Residuals 配適值在矩陣向量的形式中, 我們可以用向量來表示各個配適值 : (5.70) 然後用矩陣代數 : 因為 : (5.71)

55 帽子矩陣應用 (5.60) 中的 b 公式可以將 (5.71) 的成亦即 (5.73) 其中, (5.73a) 透過 (5.73) 可知適配值可以表示為反應變數觀測值 Y i 的線性組合, 而係數則為矩陣 H 中的元素, 同時矩陣 H 僅僅牽涉到預測變數 X n n 之方陣 H 稱為帽子矩陣 (hat matrix), 該矩陣使用於迴歸分析時是否會受到少數觀測值之影響矩陣 H 為一個對稱矩陣, 並且具備一個冪等性的特殊性質 : (5.74) 在矩陣代數中, 當矩陣 M 滿足 MM = M 時, 則稱該矩陣為冪等的

56 殘差將殘差所組成之向量用符號 e 表示 : (5.75) 透過矩陣代數, 我們有 : (5.76)

58 5.12 變異數分析 Analysis of Variance Results 平方和首先從 (2.43) 有關於 SSTO( 總平方和 ) 之定義開始, 進行有關於如何利用矩陣來表達變異數分析 : (5.81) 而 (5.13) 為 : 透過 (5.18) 所定義之矩陣 J, 可以將表示為 : 舉例來說, 若 n=2, 則可得 : Y 1 Y 1 Y Y = 2 (5.82) (Y 1 +Y 2 )Y 1 +(Y 1 +Y 2 )Y 2 Y 1 ( ) ( ) Y Y 1 + Y 2 = 1 ( Y Y 2 )

59 因此 SSTO 可以表示為 : (5.83) 同理,, 也可以透過矩陣來表達 : (5.84) 而且可以證明出下面的結果 : 以及 SSR: (5.84a) (5.85)

61 平方和的二次式表示對於 ANOVA 中的平方和, 事實上均可以證明它們為二次式, 例如 n = 2 時, 觀測值 Y i 的二次式 : (5.86) 就是一個二階的多項式, 該多項式之各項均為觀測值之平方或是兩兩之乘積, 用矩陣表示 (5.86) 如下 : 其中,A 為一個對稱矩陣 (5.86a)

62 一般對於二次式之定義為 : (5.87) 而 A 為一個 n n 之對稱矩陣, 特別稱它為二次式矩陣 ANOVA 中的平方和 :SSTO SSE SSR 都是二次式從 (5.71) 式應用 (5.32) 可以得到 : 利用 (5.73) 之結果可得出 :

63 因 H 為對稱矩陣, 並利用 (5.32) 可得 : (5.88) 此一結果可以讓我們以下列方式表示 ANOVA 中之平方和 : (5.89a) (5.89b) (5.89c)

64 每個平方和均可以表示為, 相對應的 A 矩陣則為 : (5.90a) (5.90b) (5.90c)

65 5.13 迴歸分析推論 Inference in Regression Analysis 區間估計的共同形式, 均為利用點估計量加減所估計標準差之某一個倍數, 在此進行點估計之變異數估計, 其矩陣形式之討論迴歸係數迴歸係數向量 b, 有下面的共變異矩陣 : (5.91) 可以表示為 : (5.92)

66 或是應用 (5.24a), 表示為 : (5.92a) 用 MSE 取代 (5.92a) 中的, 可以得到 b 之估計的共變異矩陣 : (5.93) 在 (5.92a) 中可以看出 (2.3) 中 b 0 的變異數與 (2.9) 中 b 1 的變異數, 以及 (4.5) 中 b 0 與 b 1 共變異數

68 平均反應在此將針對 X h 進行平均反應之估計, 首先定義向量 : (5.95) 用矩陣符號表示其配適值為 : 因為, (5.96) 在式子 (2.29b) 中給定之變異數, 利用矩陣形式表示如下 : (5.97) 應用式子 (5.92),(5.93) 中之變異數, 可以表示為估計迴係數時, 其共變異矩陣之函數 : (5.97a)

69 在 (2.30) 中所列出形式表示為 : 之估計變異數, 在此利用矩陣 (5.98)

70 新觀測值之預測在式子 (2.38) 中所給的估計變異數示為 :, 用矩陣形式表 (5.100)

Microsoft Word - 94_2_stat_handout08_線性迴歸（考古題）.doc

Microsoft Word - 94_2_stat_handout08_線性迴歸（考古題）.doc 8 第八章線性迴歸 ( 考古題 ) 006 年 4 月 9 日最後修改 8.1(94- 逢甲 - 國貿 ) (a) y = 7.776 1.77x (b) 006 陳欣得統計學線性迴歸 ( 考古題 ) 第 8-1 頁 β 表示 x 變動一單位會導致 y 變動 ˆ β = 1.77 單位, 即每增加 1,000 磅重量, 汽車每公升汽油行駛里程會減少 1.77 公里 (c) () (e) SSR 134.717