n 個變數 (unknowns, 或者 variables) 的等式一般式表示如下 : a 1 x 1 + a 2 x a n x n = b 其中 a 與 b 稱為常數或係數 (constant), 通常是已知的 ; 未知的變數是 x 1, x 2,..., x n 假如是方程組, 則

Transcription

1 1.1 線性方程組 (linear systems) Chapter 1 線性方程組與矩陣 在數學中, 我們以 等式 來描述各個 變數之間的關係, 例如 : 3x 1 + 4x 2 x 3 = 6 y = sin x y = x 若變數之間的關係只有一次項, 沒有三角 指數函數 高次方項或者分式等其他關係, 我們就說這些變數之間存在著 線性 (linear) 關係, 如上面的第一式 若有好幾個線性關係必需同時滿足, 就稱為線性聯立方程組 (linear system), 一組能滿足所有等式的變數值, 稱為聯立方程組的解 (solution) 例以下的方程組只有一個解 (2, 2), 我們說它是唯一解 2x 1 + x 2 = 6 x 1 x 2 = 0 例以下的方程組找不到可以同時滿足全部等式的解, 稱為無解 2x 1 + x 2 = 6 4x 1 + 2x 2 = 8 例方程式 6x 1 3x 2 + 4x 3 = 13 有許多解,(2, 3, 4) 是它的解,(3, 1, 7) 也是, 事實上它有無窮多解, 但也不是隨便猜都是解, 例如 (0, 0, 0) 與 (1, 1, 1) 就不是 本章的主要內容之一, 就是學會使用高斯喬登消去法來求解任意的線性方程組, 並且學會在無窮多解時, 如何以最簡潔的方式表達全部的解 註在講義裡面, 課本的例題會有題號標示如例 3, 不是課本的例題就只有例 註在講義裡面, 若方程式不是夾在文字敘述之中, 則方程式之後的標點符號省略 註講義與指定教科書同步, 向量使用黑體數學字 a b 或 x y 等表示, 矩陣使用大寫數學字 A B C 等表示 ; 但是在將來各位讀到其它的教科書或者科技論文之中, 因為符號很多, 為了避免誤會, 矩陣會以大寫黑體數學字 A B 表示 註講義是上課使用, 因此以描述正確 ( 尤其是數學式 ) 與講解清析為考量, 不講求文書的版面格式 1

2 n 個變數 (unknowns, 或者 variables) 的等式一般式表示如下 : a 1 x 1 + a 2 x a n x n = b 其中 a 與 b 稱為常數或係數 (constant), 通常是已知的 ; 未知的變數是 x 1, x 2,..., x n 假如是方程組, 則 n 個變數,m 個等式的聯立方程組一般式表示如下 : a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b a m1 x 1 + a m2 x a mn x n = b m 一定要熟悉足碼 (subscript) 使用方式, 足碼也稱為下標 第一足碼一般式是 i, 第二足碼一般式是 j, 看到 a ij 要馬上反應它就是第 i 式的第 j 項 第一個足碼可以代表它是第幾方程式, 例如 第 2 式是 a 21 x 1 + a 22 x a 2n x n = b 2 第 i 式是 a i1 x 1 + a i2 x a in x n = b i 它是橫的看, 而且因為有 m 個等式, 所以 1 i m 第二個足碼可以代表它是第幾項, 也就是跟哪一個變數有關, 例如跟第 2 個變數有關以及第 j 個變數有關的, 分別表示如下 a 12 a 22. a m2 以及 a 1j a 2j. a mj 它是直的看, 而且因為有 n 個變數, 所以 1 j n 求解方程組的過程, 稱為消去法 (method of elimination) 在這一小節我們先復習各位以前學過的方法, 未來我們學習使用比較簡明的矩陣來表達 例 1 求解以下的方程組 : x + y = x y = 78 2

3 由於變數超過 3 個的時候,x y z 就不夠用了, 以後在方程組之中, 我們將會習慣使用變數 x i ( 注意到有時與教科書不同 ), 這樣還有一個很大的好處, 看到就知道是第幾個變數, 也就是第幾項, 例如看到 x 4 就知道是第 4 個變數, 也知道它在方程式的第 4 項 例 2 求解以下的方程組 : x 1 3x 2 = 7 2x 1 6x 2 = 7 例 3 求解以下的方程組 : x 1 + 2x 2 + 3x 3 = 6 2x 1 3x 2 + 2x 3 = 14 3x 1 + x 2 x 3 = 2 例 4 求解以下的方程組 : x 1 + 2x 2 3x 3 = 4 2x 1 + x 2 3x 3 = 4 重要觀念一個式子一般來說最多只能解出一個變數的值, 其他的變數值可以任意假設, 通常設為 r s t 等等, 這些變數可以稱為自由變數, 答案有自由變數時無窮多解 在無窮多解之下, 假如實際上只要一個解, 最方便的方法就是設自由變數為 0 3

4 例求解 6x 1 3x 2 + 4x 3 = 13 例 5 求解以下的方程組 : x 1 + 2x 2 = 10 2x 1 2x 2 = 4 3x 1 + 5x 2 = 26 注意由上一頁觀念, 一個式子最多解出一個變數值, 因此方程式比變數還要多的時候, 經常是無解 這是一般情況, 但是由這個例子可知, 還是要求解之後才知道真正的結果 例 6 求解以下的方程組 : x 1 + 2x 2 = 10 2x 1 2x 2 = 4 3x 1 + 5x 2 = 20 注意思考一下, 本題與例 2 都是無解, 有沒有什麼不一樣的地方? 重要觀念消去法只有三種步驟 : 1. 兩個方程式互相交換 ( 調整順序時使用 ) 2. 某方程式乘以一個不是 0 的常數 ( 需要某一項係數 1 時使用 ) 3. 某方程式乘以一個不是 0 的常數之後, 整個式子加到另一方程式 ( 消去時使用 ) 重點是, 不論進行過多少次的消去法步驟, 方程式的解仍然是解, 也就是說方程組的解代入第一式 第二式直到最後一個式子, 等式都會成立 4

5 定理求解任意的聯立方程組都只有三種可能的結果 : 1. 無解 2. 唯一解 3. 無窮多解以下在二維與三維能畫圖的情況, 藉由幾何 ( 圖形 ) 幫助理解 a 11 x 1 + a 12 x 2 = b 1 a 21 x 1 + a 22 x 2 = b 2 a 11 x 1 + a 12 x 2 = b 1 a 21 x 1 + a 22 x 2 = b 2 a 31 x 1 + a 32 x 2 = b 3 a 11 x 1 + a 12 x 2 + a 13 x 3 = b 1 a 21 x 1 + a 22 x 2 + a 23 x 3 = b 2 a 31 x 1 + a 32 x 2 + a 33 x 3 = b 3 5

6 1.2 矩陣 (matrix)( 複數是 matrices) 矩陣可以讓我們更簡明表達方程組, 不用一直寫每一個變數 x, 因為第幾個變數是人為的 設定, 而且前面談過, 看足碼就知道是第幾個變數 當然, 矩陣與向量的用途非常多, 不 限於方程組而以, 通常只要是有順序性以及方向性的, 都可以應用向量與矩陣 定義一個 m n 維 (dimension) 的矩陣 A 共有 m n 個元素 (element), 是由 m 個列 (row) 與 n 個行 (column) 組成的長方形列陣, a 11 a 12 a 1j a 1n a 21 a 22 a 2j a 2n.... A = a i1 a i2 a ij a in.... a m1 a m2 a mj a mn 其中 A 的第 i 列 (ith row of A) 是 [a i1 a i2 a in ], 1 i m A 的第 j 行 (jth column of A) 是 a 1j a 2j. a mj, 1 j n 注意列是橫的看, 行是直的看, 一定要趕快熟悉矩陣之中元素的位置 例如 a 32 在哪?a 51 在哪? 第 3 列是? 第 2 行是? 定義若 m = n, 此時行跟列的數目一樣, 稱為方陣 (square matrix) 方陣之中的 a 11 a 22 a nn 稱為主對角線 (main diagonal) 定義只有一行或者只有一列的矩陣, 稱為向量 (vector) 橫的稱為列向量 (row vector), 直的稱為行向量 (column vector) ( 因為向量就是矩陣, 所以矩陣的許多性質, 向量可以直接引用 ) 6

7 例 1 練習矩陣與向量的維數 元素位置 方陣的主對角線 [ ] [ ] A =, B =, C = 1, D = 2 0 1, [ E = 3 ] [ ], F = 例 2 列向量與行向量 u = [ ] 是 4 維列向量, 也是 1 4 矩陣 1 v = 1 是 3 維行向量, 也是 3 1 矩陣 3 例 3 四個城市的距離以矩陣表示 ( 注意這個方陣有對稱的特性 ) London Madrid New York Tokyo London Madrid New York Tokyo 例 4 每個工廠各項產品的週產量以矩陣表示 產品 1 產品 2 產品 3 工廠 工廠 工廠 工廠 補充數學用語 : 若 (if) 以及若且唯若 (if and only if,iff) 的不同 ( 摘錄自維基百科 ) 1. 若冰淇淋是香草口味的, 小王會吃這個冰淇淋 ( 這等於說 : 如果冰淇淋是香草口味 的, 那麼小王會吃這個冰淇淋 ) 2. 若且唯若冰淇淋是香草口味, 小王會吃這個冰淇淋 ( 這等於說 : 如果冰淇淋是香草 口味的, 那麼小王會吃這個冰淇淋 ; 並且, 如果小王吃冰淇淋, 那麼這個冰淇淋就是 香草口味的 ) 第 1 句只是說小王會吃香草口味的冰淇淋 但是其它口味冰淇淋, 這個句子並沒有說明小 王吃或不吃 第 2 句說的是小王會吃並且只吃香草口味的 他不會吃任何其它口味的冰淇 淋 看到若且唯若, 其實可以簡單解釋為句子裡談的兩件事是相同或者相等 7

8 定義在方陣之中若除了主對角線之外其餘都是 0, 稱為對角矩陣 (diagonal matrix) 例 7 下列三個矩陣都是對角線矩陣 : [ ] 4 0 G = H = H = 定義對角線矩陣之中, 若主對角線上的數值都相同, 稱為純量矩陣 (scalar matrix) 例 8 下列兩個矩陣都是純量矩陣 : [ ] 2 0 I 3 = J = 定義所有元素都是 0 的矩陣, 稱為零矩陣 (zero matrix) 例下列的矩陣都是零矩陣, 但是維數不同 [ ] O 2 3 = O 3 4 = 定義主對角線上元素都是 1 的方陣, 稱為單位矩陣 (identity matrix) ( 單位矩陣一定是方陣, 因此只要一個足碼個就可以表達矩陣大小 ) 例下列的矩陣都是單位矩陣 : [ ] I 2 2 = I 2 = I 4 = 定義所有元素都是 0 的向量, 稱為零向量 (zero vector) 例 [ ] 與 [ 0 0 ] 是零向量 定義所有元素都是 1 的向量, 記為向量 e 例 e 1 3 = [ [ ] 1 1 1, e 2 1 = 1 1 ] 8

9 定義兩個矩陣相等若且唯若 (if and only if) 所有相同位置的元素都相等 例 9 若 A = B, 求未知數 w x y z w A = B = 2 x y 4 z 定義 矩陣相加是相同位置的元素相加之後放回原位 矩陣相減定義雷同 例 10 求 A + B A B B A [ ] [ ] A = B = 定義 純量乘矩陣是矩陣中的每個元素都乘以給定的係數 例續例 10, 求 3A 2B 例 13 若向量 p = [ ] 代表三種商品的售價, 打八折時售價? 重要觀念矩陣的相等 相加 相減都是在同樣維數的矩陣與向量之中才有定義, 維數大小不同的矩陣, 不論相加或相減, 標準答案是無定義 9

10 定義若 A 1, A 2,..., A n 維數相同, 給定任意 n 個實數 c 1, c 2,..., c n, 則 c 1 A 1 + c 2 A c n A n 稱為 A 1, A 2,..., A n 的線性組合 (linear combination) 例 14(b) 給定 A 1 = [ ] [ ] [ ] 3 2,A 2 = 5 0, A 3 = 2 5, 以及 c 1 = 2 c 2 = 3 c 3 = 4, 求線性組合 (14(a) 與 14(c) 請務必自行練習 ) 重要觀念係數 c 1, c 2,..., c n 改變, 線性組合的結果將會不同, 但相加減之後的結果仍然稱為 A 1, A 2,..., A n 的線性組合 線性組合是本課程的重要觀念, 學期結束之前將會再應用許多次 重要觀念向量的線性組合定義相同, 例如同學的期末成績是平時各項成績的線性組合 定義矩陣轉置 (transpose of A) 定義為 a T ij = a ji, 記為 A T ( 行列互換 ) 例 15 求以下矩陣的轉置矩陣 :( 矩陣 C 與 E 請自行練習 ) [ ] A = B = D = [ ] 注意若 A 是 m n 矩陣, 則 A T 是 n m 矩陣 請見上述的例 15 定理 (A T ) T = A( 也就是說轉置之後再轉置, 會回到原矩陣 ) 例續例 15, 求 (A T ) T 10

11 1.3 向量內積 (inner product) 與矩陣乘法 (matrix multiplication) 定義總和符號 (summation) 以及慣用足碼 i j k n a i = a 1 + a a n ( 即第 1 項加到第 n 項 ) i=1 n n n a i = a j = a k ( 同樣加到第 n 項, 足碼不影響結果 ) i=1 j=1 k=1 但是假如 m n, 一般而言 例 a 1 = 3,a 2 = 4,a 3 = 5,a 4 = 8, 求 a a 4 m a i n a i ( 加到第 m 項與加到第 n 項結果不同 ) i=1 i=1 n 例 ra i 與 i=1 定理定理 n r i a i = i=1 n r i a i 是不同的, n ra i = i=1 i=1 n (r i + s i )a i = n r i a i + n s i a i i=1 i=1 n c(r i a i ) = c( n r i a i ) i=1 i=1 j=1 i=1 i=1 假如有需要的話, 總合符號可以接連好幾個 例如 A 是 2 3 矩陣如下 : [ ] A = 則 A 的所有元素相加可以表達為 2 3 a ij = 3 2 a ij = j=1 i=1 定理 ( 由上述計算可知, 總合符號順序不影響加總的最後結果 ) m n a ij = i=1 j=1 n m j=1 i=1 a ij 11

12 定義若向量 a 與 b 維數相同 ( 假設都是 n 維 ), 則 a 與 b 的內積 (inner product) 是 a b = n a i b i = a 1 b 1 + a 2 b a n b n i=1 例 1 求內積 : u = 3 v = 3 2 例 2 若 a = 4 1 [ ] x 2 3,b = 4 1 2, 且 a b = 4, 求 x 注意本課程列向量與行向量都會用到, 以前慣用列向量的同學請多加熟悉行向量 注意由上例可知, 行向量或列向量並不影響內積結果, 只要維數相同即可內積 注意為了學習矩陣乘法, 請同學務必學會例 2 的運算方式, 也就是向量內積時, 學會列向量乘以行向量, 例如例 1 之中,u v = u T v 例 3 四次考試比重佔 , 考試成績 , 問學期成績 12

13 定義當 A 是 m p 矩陣,B 是 p n 矩陣時,A 與 B 相乘才有定義 令矩陣 C = A B, 此時 C 一定是 m n 矩陣 ( 乘號可以省略, 即 C = AB), 且 C 的第 ij 個元素 c ij 是 A 的第 i 列與 B 的第 j 行的內積 a i1 a i2 a ip b 1j b 2j. b pj = c ij 重要觀念矩陣要能相乘, 前面矩陣的第 2 足碼與後面矩陣的第 1 足碼一定要相等, 即前面矩陣列的元素要跟後面矩陣行的元素一樣多個 ( 也就是定義中的 p) 假如不滿足這樣的條件, 大家可以看出來兩個向量無法內積, 此時 A B 無定義 觀念 A m p B p n = C m n, 可以想成 p 被消掉 觀念向量就是矩陣, 因此向量內積其實就是矩陣相乘的一種, 因此 n 維向量內積 例 4 例 5 求 u n 1 v n 1 = u T 1 n v n 1 = u T v = 純量 1 1 [ ] = 的第 (3, 2) 元素 [ ] 2 [ 1 x 3 例 7 若 A =, B = 4, 且 AB = y 12 6 ], 求 x 與 y 例 6 以矩陣表達以下的方程組 x 1 + 2x 2 x 3 = 2 3x 1 + 4x 3 = 5 13

14 重要觀念兩個數字相乘可以互換, 例如 2 5 = 10 = 5 2, 但是矩陣與向量有順序性, 因此兩個矩陣相乘不能任意互換 互換之後可能的結果如下 : 1. 雖然 AB 可以乘, 但是 BA 無定義 例如 A m p 與 B p n, 則 AB 是 m n 矩陣, 但是 B p n A m p 不能乘 2. AB 可以乘,BA 也可以乘, 但是乘出來的矩陣維數不一樣, 不可能相等 例如 A m n 與 B n m, 則 AB 是 m m 矩陣, 但是 BA 是 n n 3. AB 與 BA 都可以乘, 乘出來維數也一樣 ( 這時候 A 與 B 是維數一樣的方陣 ), 但是請注意, 一般狀況之下, 乘出來結果不同,AB BA 4. 只有極少數的情況,AB = BA ( 將來遇到此特殊狀況時會再提醒 ) 例 8 A 2 3 B 3 4 = (AB) 2 4, 但是 B A 無定義 例 9 若 A 2 3,B 3 2, 則 AB 是 2 2, 但是 BA 是 3 3 [ ] [ ] 例 10 若 A =, B =, 求 AB 與 BA 例 11 請自行參閱教科書, 瞭解矩陣乘法是有自然意義的, 並不是隨便定義 1 2 [ ] 例 12 若 A = 3 4, B =, 求 A B 的第 2 行 例 13 若 u = 2, v = 1, 求 uv u T v v T u uv T vu T

15 重要觀念矩陣乘以向量, 可以看成矩陣的行的線性組合 例如, 假設 A 是 m n 矩陣,c 是 n 1 向量, 則 a 11 a 12 a 1n c 1 a Ac = 21 a 22 a 2n c = a m1 a m2 a mn c n [ ] 例 14 練習上述觀念,A =, c = 上述觀念可以推廣到兩個矩陣相乘 :A B 的第 j 行是 A 的行向量的線性組合, 線性組合的係數就是 B 的第 j 行的元素 ( 也就是把 B 看成好幾個像 c 的行 ) 1 2 [ ] 例 15 練習上述觀念,A = 3 4, B =

16 重要觀念給定任意 m 等式 n 變數的線性方程組 : a 11 x 1 + a 12 x a 1n x n = b 1 a 21 x 1 + a 22 x a 2n x n = b a m1 x 1 + a m2 x a mn x n = b m 我們都可以用下列的方式使用矩陣來表達方程組, 比較簡潔 :( 注意 x 與 b 維數不同 ) a 11 a 12 a 1n x 1 b 1 a 令 A = 21 a 22 a 2n..., x = x 2., b = b 2., 則 Ax = b, 因為 a m1 a m2 a mn x n b m a 11 x 1 + a 12 x a 1n x n b 1 a Ax = 21 x 1 + a 22 x a 2n x n. = b 2. = b a m1 x 1 + a m2 x a mn x n b m 定義若方程組使用上述的矩陣方式描述, 則 A 稱為係數矩陣 (coefficient matrix), 且方程組可以用以下更簡單的方式描述, 稱為擴增矩陣 (augmented matrix): a 11 a 12 a 1n b 1 a 21 a 22 a 2n b 2 ( 看到擴增矩陣, 要知道它讀起來就是方程組 ).... a m1 a m2 a mn b m 例 16 將方程組寫成矩陣表達, 以及擴增矩陣 2x 1 + x 3 = 5 2x 1 + 3x 2 4x 3 = 7 3x 1 + 2x 2 + 2x 3 = 3 例 17 將擴增矩陣寫成聯立方程組 : [ ]

17 定義將矩陣 A 的某些行與 ( 或 ) 某些列刪掉, 剩下的稱為 A 的子矩陣 (submatrix) 例 18 將矩陣 A 的第 2 列與第 3 行刪除 A = 定義將矩陣 A 用垂直線與水平線 ( 可以不止一條線 ) 分開成好幾個矩陣, 稱為將矩陣 A 分割 (partition), 且這些小矩陣稱為 A 的分割矩陣 (partitioned matrices) 定理若分割之後維數適當, 則分割矩陣的運算結果與不分割運算結果相同 例 21 計算 C = A B 印證上述定理 A = B = 注意擴增矩陣是一種分割矩陣 [ A b ], 滿足上述性質 17

18 1.4 矩陣運算的性質本小節的學習技巧是只要特別記住與數字運算不同的性質 定理 ( 加法性質 ) 若矩陣 A B C D O 維數相同 (O 是零矩陣 ), 則 1. A + B = B + A 2. A + (B + C) = (A + B) + C 3. A + O = A 4. 若 A + D = O 則 D = A 定理 ( 乘法性質 ) 若矩陣 A B C 的維數適當可以相乘, 則 1. A(BC) = (AB)C 2. A(B + C) = AB + AC 3. (A + B)C = AC + BC 定理 ( 單位矩陣性質 ) 若 A 是 m n 矩陣, 則 A I n = I m A = A 由上述性質可知, 零矩陣在加法之中作用像數字 0, 單位矩陣在乘法之中作用像數字 1 此外, 零矩陣在乘法也有數字 0 的性質,A O = O A, 但要注意維數是否能相乘 定義若 A 是 n 維方陣, 則定義 A 的 p 次方是 A p = A A A( 連乘 p 次 ), 且定義零次方是單位矩陣,A 0 = I n ( 數字也有這個性質 :a 0 = 1) 重要觀念 A p A q = A p+q, 且 (A p ) q = A pq, 這兩個與數字次方相同的性質成立, 但是一般而言 (AB) p = (AB)(AB) (AB) A p B p, 除非是 AB = BA 的特例 重要觀念數字運算時, 若 ab = 0 則 a 與 b 其中至少 1 個是 0 但是矩陣沒有這個性質 [ ] [ ] 例 7 驗證上述觀念,A =, B =,A B = 重要觀念數字運算時, 若 ab = ac 且 a 0, 則 b = c 但是矩陣沒有這個性質 [ ] [ ] [ ] 例 8 驗證上述觀念,A =,B =, C = 例 9 馬可夫鏈的應用, 請自行參閱教科書 18

19 定理 ( 純量乘矩陣性質 ) 若 r 與 s 是純量,A 與 B 是維數適當可以相乘的矩陣, 則 1. r(sa) = (rs)a 2. (r + s)a = ra + sa 3. r(a + B) = ra + rb 4. A(rB) = r(ab) = (ra)b 定理 ( 轉置性質 ) 若矩陣 A 與 B 維數適當可以相乘, 則 1. (A T ) T = A 2. (A + B) T = A T + B T 3. (AB) T = B T A T ( 特別注意 ) 4. (ra) T = ra T [ ] 例 11 驗證上述定理之中的性質 3, 利用 A =, B = 定義若 A T = A, 則稱 A 是對稱矩陣 (symmetric matrix) 例 12 驗證是否為對稱矩陣,A = 2 4 5, I = 注意只有方陣才有資格討論是不是對稱 觀念對稱矩陣可以看成由主對角線照鏡子反射過去 因此對角線矩陣 純量矩陣 單位矩陣一定是對稱矩陣 19

20 1.5 矩陣轉換 (matrix transformation) 重要觀念本節的學習技巧是把 矩陣乘以向量 當作函數來理解 若變數是 x, 當給定 x 的值, 就能得知另一個與 x 相關的值, 這樣就是函數的觀念 過去我們經常使用符號 f(x) 表示 x 的函數, 有時也使用 y = f(x) 表示 變數 x 的所有可能數值所成的集合稱為定義域 (domain) 給定 x 值之後, 求出來的 f(x) 值稱為給定 x 的映像 (image), 而函數 f(x) 的所有可能數值所成的集合稱為值域 (range) 例如: 變數 定義域 函數 值域 x 所有實數 R f(x) = 3x + 1 所有實數 R x 所有實數 R f(x) = x 2 正的實數 R + x 本班所有同學 f(x) = 學號 本班同學的全部學號 在函數之中, 每一個 x 要對應一個特定的 f(x) 值, 不能超過一個, 也不能沒有對應 函數最有用也最常用的就是數學函數, 主要原因是它們可以作運算 反過來假如先給定函數值, 也能推論得知一個特定的 x 值, 這樣的函數稱為一對一函數 例如 f(x) = 3x + 1, 假如已知 f(x) = 10, 則 x 必然是 3, 它是一對一函數 ; 若 f(x) = x 2, 已知 f(x) = 4, 我們無法確定 x 是 2 還是 2, 這就不是一對一函數 給定矩陣 A m n, 依矩陣乘法的定義, 若 u 是 n 1 向量, 則 A u 可以定義與計算, 且 Au 會是一個 m 1 向量, 因此得知矩陣乘以向量可以看成是一種函數, 在線性代數的專有名詞就稱為矩陣轉換, 在這個函數之下, 給定任意的 n 維向量 u, 都可以用乘法求出一個 m 維向量 Au [ ] [ ] [ ] 例 2(a) f(u) = u, 給定 u = u = [ ] 例 2(b) f(u) = u, 給定 u = 0 u = 1 u =

21 [ ] [ ] 例 3 A =, 函數 f(u) = Au, 問 w = 是否在值域之中? 例 4 與 8 書本的生產成本, 使用函數的概念, 請自行參閱教科書 以下幾個例題在二維空間 R 2 與三維空間 R 3 說明幾個特殊的矩陣轉換, R 2 與 R 3 可以作圖比較容易理解 ( 參閱教科書 ) 要注意的是這些概念可以推廣至 R n [ ] 1 0 例 5 f(u) = u, 效果是對 x 軸的反射 (reflection) 或稱鏡射 0 1 [ ] 例 6 f(u) = u, 效果是投影 (projection) 到 xy 平面 r 0 0 例 7 f(u) = 0 r 0 u, 效果是拉長 (r > 1 時 ) 或縮短 (r < 1 時 ) 0 0 r 例 9 f(u) = [ cos φ sin φ ] sin φ u, 效果是逆時鐘旋轉 φ 度 cos φ 21

22 1.6 線性方程組的解 前面已經談過, 方程組可以用擴增矩陣 觀察下列幾個方程組, 它們的特點? [ A b ] 來表達, 比較簡潔 發現了嗎, 這些方程組都已經求解完畢, 也就是化簡到最後了 本節要談的就是如何讓方程組化簡到這樣的形式, 然後讀出答案 定義滿足以下 4 項特性的矩陣, 稱為化約列階梯式 (reduced row echelon form) 1. 假如有全部為 0 的列, 則都在矩陣的最底部 2. 不全為 0 的列, 從左往右看, 第一個非 0 的值必定是 1, 稱為該列的首項 3. 越往底部的列, 首項越往右 4. 有首項的行, 同一行其他位置都是 0 注意化約列階梯式只看 A 部份,b 是擴增的, 是讓我們最後讀出答案而已 注意只滿足特性 的矩陣稱為列階梯式 (row echelon form) 在本課程中, 為了避免同學困擾, 只談化約列階梯式 例 1 下列矩陣哪些是化約列階梯式? 哪些不是? A = B = D = E = F = G = C = 定理假如 A 是方陣而且是化約列階梯式 若它不等於 I n 則一定有全部為 0 的列 22

23 定義矩陣的基本列運算 (elementary row operation) 只有三種 : ( 基本列運算與前述的消去法三種手法完全相同 ) 1. 兩列互換 ( 調整順序時使用 ) 2. 第 r 列乘以不是 0 的係數 c ( 需要某一項係數 1 時使用 ) 3. 第 r 列乘以不是 0 的係數 c 之後, 整列加到第 s 列 ( 消去時使用 ) 1 例 3 分別練習第 1 3 列交換 ; 第 3 列乘以 3 ; 第 2 列乘以 2 之後加到第 3 列 A = 重要觀念做第 3 種列運算時, 原來的列是不變的, 如上例中的第 2 列 定義若矩陣 B 是由 A 經過有限次的基本列運算而得到的, 則稱矩陣 A 與 B 是列等價 (row equivalent) 的矩陣 例 4 連續運算第 3 列乘以 2 加到第 2 列, 第 2 3 列交換, 第 1 列乘以 A = 定理列等價有遞移性質 : 1. A 與 A 列等價 2. 若 A 與 B 列等價, 則 B 與 A 也是列等價 3. 若 A 與 B 列等價, 且 B 與 C 列等價, 則 A 與 C 也是列等價 由上述定理知道, 例 3 之中的矩陣都互相列等價, 例 4 也是 23

24 定理給定任意矩陣 A, 都有唯一的化約列階梯式矩陣與它是列等價 注意上述定理告訴我們, 在化簡矩陣時, 不用擔心運算過程跟別人不同 定理 [ 若有兩個方程組 ] [ Ax ] = b 與 Cx = d, 它們的擴增矩陣 A b 與 C d 是列等價, 則這兩個方程組的解完全相同 推理若 A 與 C 是列等價, 則 Ax = 0 與 Cx = 0 的解完全相同 從小學到現在, 求解聯立方程組的方法, 理論的基礎就是依據這個定理 這定理告訴我們, 做消去法的任何步驟, 不管多少步, 矩陣都是列等價, 解也完全一樣, 因此以前我們就是利用消去法把方程組化簡, 直到 x = 2,y = 1 等等 現在我們學了矩陣以及擴增矩陣表達方程組, 至於化簡的方法請見下面的演算法 演算法高斯 喬登消去法 (Gauss Jordon reduction procedure) [ ] 步驟 0 將 Ax = b 寫成擴增矩陣 A b ( 求 A 的化約列階梯式就不用擴增 ), 令計數器 k = 1, 進入步驟 1 步驟 1 利用三種基本列運算, 使第 k 列的首項是 1, 同一行其它為 0 注意到依據化約列階梯式的規定, 各列的首項一定是往右下方排列 步驟 2 重設 k = k + 1, 回步驟 1, 直到下方的列無法再運算或者化簡則停止演算 重要觀念要特別注意, 列交換只能找下方的列, 否則會影響到首項往右下方的規定 例 5 求化約列階梯式 :

25 例 8 求解以下的方程組 : x 1 + 2x 2 + 3x 3 = 9 2x 1 x 2 + x 3 = 8 3x 1 x 3 = 3 例 9 求解以下的方程組 : x 1 + x 2 + 2x 3 5x 4 = 3 2x 1 + 5x 2 x 3 9x 4 = 3 2x 1 + x 2 x 3 + 3x 4 = 11 x 1 3x 2 + 2x 3 + 7x 4 = 5 例 12 求解以下的方程組 : x 1 + 2x 2 + 3x 3 + 4x 4 = 5 x 1 + 3x 2 + 5x 3 + 7x 4 = 11 x 1 x 3 2x 4 = 6 25

26 例 10 求解以下的方程組 : x 1 + 2x 2 3x 4 + x 5 = 2 x 1 + 2x 2 + x 3 3x 4 + x 5 + 2x 6 = 3 x 1 + 2x 2 3x 4 + 2x 5 + x 6 = 4 3x 1 + 6x 2 + x 3 9x 4 + 4x 5 + 3x 6 = 9 重要觀念在計算過程中, 若發現某一列讀起來是 0 = 某個非零數值, 就不用再往下計算, 這個方程組一定無解 重要觀念若方程組無窮多解, 假設在實際應用時只需要一個解, 最簡單的解就是等式右邊讀出各個首項的值, 自由變數則設為 0 定義有解的方程組 ( 包括唯一解與無窮多解 ) 稱為一致 (consistent) 的方程組, 無解的方程組稱為不一致 (inconsistent) 的方程組 在工程的應用上, 有時候需要在不同的右手邊參數之下, 求解同一個方程組, 即同時要求解 Ax = b 1,Ax = b 2,,Ax = b k, 此時可以依據列等價定理與分割矩陣性質, 將矩陣擴增, 一起求解 : [ ] [ ] A b 1 b 2 b k C d 1 d 2 d k 當 C 是化約列階梯式時就同時求出這些方程組的答案分別為 d 1,d 2,,d k 26

27 定義若方程組右手邊係數 b 全部為 0, 稱為齊次方程組 (homogeneous system) 重要觀念齊次方程組一定有解, 因為所有的 x j 都代 0 進去時, 等式必然全部成立 因此齊次方程組我們關心的是除了 x j 都是 0 的解之外, 有沒有其它的解 定義齊次方程組 x 1 = x 2 = = x n = 0 必定是解,0 稱為明顯解 (trivial solution), 若有其它的解 ( 此時一定無窮多解 ), 稱為非明顯解 (nontrivial solution) 例 13 求解以下的方程組 : x 1 + 2x 2 + 3x 3 = 0 x 1 + 3x 2 + 2x 3 = 0 2x 1 + x 2 2x 3 = 0 例 14 求解以下的方程組 : x 1 + x 2 + x 3 + x 4 = 0 x 1 + x 4 = 0 x 1 + 2x 2 + x 3 = 0 定理在 m 個等式 n 個變數的齊次方程組之中, 當 m < n, 一定有非明顯解 假如只有明顯解, 則一定 m n 27

28 定理假如已知方程組 Ax = b,b 0 有解, 則解的形式可以寫成 x p + x h, 其中 x p 是特別解,x h 是齊次方程組 Ax = 0 的解 例 15 續例 9, 求解 Ax = 0 並驗證上述定理 例續例 8, 求解 Ax = 0 並驗證上述定理 推理若已知 x p 是 Ax = b 的解, 且某個 x h 是 Ax = 0 的解, 則 x p + x h 也是 Ax = b 的解 證明 :A(x p + x h ) = Ax p + Ax h = b + 0 = b, 得證 x p + x h 是 Ax = b 的解 注意可能有同學會覺得奇怪, 為什麼要求解右手邊都是 0 的方程組, 但是齊次方程組在本課程後半段扮演非常重要的角色, 請不要因為容易求解就調以輕心 28

29 應用在二維平面求通過 n 個點的多項式 (polynomial interpolation) 在平面的二維座標之中, 給定 n 個點的座標 (x 1, y 1 ),(x 2, y 2 ),,(x n, y n ), 必然可以找到一個唯一的 n 1 次多項式 ( 注意 :n 1 次多項式有 n 項 ) y = a n 1 x n 1 + a n 2 x n a 1 x 1 + a o 這個多項式的圖形可以通過這 n 個點 求 a n 1,a n 2,,a 0 的方法直接見例題 例 16 求通過 (1, 3),(2, 4),(3, 7) 的多項式 29

30 1.7 反矩陣 (the inverse of a matrix)( 或稱逆矩陣 ) 矩陣沒有除法的定義, 但是方陣之中, 有部份的方陣存在 倒數 的概念 回憶在數字之中, 倒數與自己相乘等於 1, 即 a 1 a = a a 1 = 1 本小節的討論僅限於方陣 定義給定 n n 的方陣 A, 若存在 n n 方陣 B 使得 A B = B A = I n, 則稱 A 為非奇異 (nonsigular) 或者是可逆 (invertible) 矩陣, 且 B 稱為 A 的反矩陣 (inverse of A) A 的反矩陣記為 A 1, 因此 B = A 1 假如使得 AB = I 的矩陣 B 不存在, 則稱 A 為奇異 (sigular) 或者不可逆 (noninvertible) 矩陣 注意若 AB = I, 則 A 與 B 互相為反矩陣 例 1 計算 A B 與 B A ( 注意到這是矩陣相乘可以互換的少數特例之一 ) [ ] 2 3 A = 2 2 B = [ ] 定理若 A 有反矩陣, 則 A 1 是唯一的 定理 ( 反矩陣性質 ) 若 A B 都是 n 維的非奇異矩陣, 即 A 1 與 B 1 都存在, 則 1. (A 1 ) 1 = A 2. (AB) 1 = B 1 A 1 3. (A T ) 1 = (A 1 ) T 注意同學們可以配合轉置性質記這個定理 推理若 A 1 A 2 A r 都是 n 維的非奇異矩陣, 則 (A 1 A 2 A r ) 1 = A 1 r A 1 r 1 A 1 2 A 1 1 定理假設 A B 都是 n 維的非奇異矩陣 1. 若 AB = I n, 則 BA = I n 2. 若 BA = I n, 則 AB = I n 30

31 演算法給定方陣 A, 求解 A 1 的演算步驟 : 步驟 0 將 A 擴增一個維數相同的單位矩陣, 成為 [ A I ] 步驟 1 高斯喬登消去法, 將擴增矩陣 A 部份轉成化約列階梯式, 得出 步驟 2 若 C 是單位矩陣, 則 D = A 1 ; 若 C 不是單位矩陣則 A 1 不存在 例 5 求 A = 的反矩陣 [ C D ] 例 6 求 A = 的反矩陣 定理 A 是非奇異矩陣若且唯若 A 列等價於 I 31

32 前面說方程組一般式是 m 等式 n 變數 若等式與變數一樣多, 我們有以下的性質 定理當求解 n 等式 n 變數的方程組 Ax = b 時,A 是方陣 此時方程組有唯一解若且唯若 A 是非奇異矩陣, 且它的解是 x = A 1 b 證明 : 假設 A 是非奇異矩陣, 則 A 1 存在 此時 A 1 (Ax) = A 1 b, 即 (A 1 A)x = x = A 1 b, 故得證此時有唯一解 A 1 b ( 反方向的證明省略 ) 這個定理在工程的應用上, 若每次求解 b k 不同的方程組, 只需計算 x = A 1 b k 8 4 例 7 續例 5 求解方程組 Ax = 24 與 Ax = 定理若 A 是方陣, 則 Ax = 0 有非明顯解若且唯若 A 是奇異矩陣 證明 : 假如 A 是非奇異矩陣則 A 1 存在, 此時 x = A 1 0 = 0 是唯一解, 故得證 例 8 續例 5, 求解 Ax = 0 例 9 續例 6, 求解 Ax = 0 觀念當 A 是方陣時, 求解 Ax = b 與求解 A 1 可以同時進行 [ ] [ ], 只要擴增成為 A b I, 化簡得 C d D, 若 C 是單位矩陣, 此時 d 是 Ax = b 的解, 且 D 是 A 的反矩陣 32

33 Chapter 3 行列式 (determinants) 本章討論限於方陣 為了定義行列式, 先介紹排列 反演 奇排列與偶排列等名詞定義 定義令 S = {1, 2,..., n} 是正整數 1 到 n 所成的集合 將 S 的元素任意排成 j 1, j 2,..., j n 稱為 S 的排列 (permutation) 定理集合 S 的排列總數共有 n(n 1)(n 2) 2 1 種可能的方式 定義給定正整數 n, 定義 n(n 1)(n 2) 2 1 為 n 階乘 (factorial), 記為 n! 且定義 0! = 1 例 1 當 S 1 = {1}, 共有 1! = 1 種排列方式 當 S 2 = {1, 2}, 共有 2! = 2 1 = 2 種排列方式 當 S 3 = {1, 2, 3}, 共有 3! = = 6 種排列方式 定義假設 S = {1, 2,..., n}, 且 j 1, j 2,..., j n 是 S 的排列之一 若在此排列之中, 有一個較大的整數排在一個較小的整數前面, 則稱有一個反演或反序 (inversion) 定義一個排列的反演總數假如是偶數, 稱為偶排列 (even permutation), 假如反演總數是奇數, 稱為奇排列 (odd permutation) 定理當 n 2, 則 S n 有 n! 種排列的方式, 其中奇偶排列各半, 也就是奇排列有 n!/2 種, 偶排列也有 n!/2 種 例 2 以 S 2 驗證上述定理 例 3 以 S 3 驗證上述定理 33

34 3.1 行列式的定義和性質定義若 A 是 n n 方陣, 則 A 的行列式 ( 記為 det(a) 或 A ) 定義為第一足碼固定而第二足碼所有的排列加減如下 : det(a) = A = (±)a 1j1 a 2j2 a njn, 偶排列則符號為 +, 奇排列則符號為為, 或者 det(a) = A = ( 1) i a 1j1 a 2j2 a njn, 其中 i 是反演總數 [ 例 4 若 A = a 11 ], 則 det(a) = a 11 [ ] a 11 a 12 例 5 若 A = a 21 a 22 a 11 a 12 a 13 例 6 若 A = a 21 a 22 a 23 a 31 a 32 a 例 7 計算 det(a), 其中 A = 重要觀念當方陣 A 的維數比 3 3 還大時, 不能用以前學的這種方式計算行列式, 例如 n = 4 時, 依據定義行列式共有 4! = 24 項互相加減, 而 n = 5 時有 5! = 120 項 本章兩個小節將分別介紹求解大型行列式的兩大類方法, 可以整合運作 定理任一個排列, 若其中兩個數字交換, 則反演總數變動奇數次, 即奇排列會變成偶排列, 而偶排列會變成奇排列 例 8 驗證上述定理, 排列本來是 54132, 把 2 與 4 交換 34

35 超過 4 4 的方陣要計算行列式, 假如依據定義就會很困難, 很複雜 本節的後半段這些定理與性質, 都是為了幫助我們化簡與計算較大型的行列式, 但本節還是大多先以 3 3 的問題舉例 定理 det(a) = det(a T ) 例 9 以例 7 的矩陣 A 驗證上述定理 注意依上述定理, A = A T, 因此行列式與一般矩陣運算有更好的性質, 就是行列式可以 行運算 ( 但是不熟悉的同學要小心不要反而因此混淆 ) 重要觀念以下三個定理, 請同學們配合第一章的三種列運算來記憶 定理若 B 是由 A 兩列 ( 兩行 ) 交換, 則 det(b) = det(a) 2 1 例 = = 推理若 A 之中有兩列 ( 兩行 ) 完全相同, 則 det(a) = 0 ( 由上述定理, 將兩列交換之後行列式乘負號, 但仍是同一矩陣, 因此值必為 0) 例 = 定理若 B 是 A 的某一列 ( 行 ) 乘以係數 c, 則 det(b) = c det(a) 2 6 例 13 依據上述定理, 練習 把係數提出來, 計算 1 12 = 例 14 如同上例練習, = 定理若 B 是 A 的某一列 ( 行 ) 乘以 c 之後加到另一列 ( 行 ), 則 det(b) = det(a) 例 15 練習上述定理, =

36 定理若 A 之中有某一列 ( 行 ) 全為 0, 則 det(a) = 例 = 定理若 A 是上三角矩陣, 或下三角矩陣, 或對角線矩陣, 則 det(a) = a 11 a 22 a nn = 對角線元素相乘 例 = = = 重要觀念將本小節定理互相搭配使用, 可以將矩陣化簡成上三角矩陣, 再求行列式 這是大型行列式的第一種算法, 我們還是先以 3 3 矩陣為例 例 = 定理 det(ab) = det(a) det(b) = det(ba) 注意矩陣相乘不能互換, 但行列式可以, 雖然 AB BA 但是 AB 與 BA 行列式相等 [ ] [ ] 例 18 驗證上述定理,A =,B = 推理若 A 是非奇異矩陣, 則 det(a 1 ) = 1/ det(a) ( 因為 A A 1 = I) [ ] 1 2 例 19 驗證上述推理,A =

37 3.2 餘因子展開 (cofactor expansion) 本小節介紹計算大型行列式的第二種方法, 利用餘因子展開的方法降階計算 這是手算 4 4 以上行列式最快的方法, 假如再搭配上一小節的各個定理, 速度更快 定義 A 是 n 維方陣 刪掉第 i 列與第 j 行可以得出一個 n 1 維的子矩陣, 記為 M ij 則 det(m ij ) 稱為 a ij 的子行列式或子式 (the minor of a ij ), 且 a ij 的餘因子 (the cofactor of a ij ) 定義為 A ij = ( 1) i+j det(m ij ) 例 1 計算 det(m 12 ) det(m 23 ) det(m 31 ) 與 A 12 A 23 A 31, 其中 A = 注意手算時不用去管 ( 1) i+j 到底正還是負, 直接看位置, 方法如下 : 其餘類推 定理若 A 是 n 維方陣, 則 A 的行列式可以對任意一列展開計算如下 : det(a) = a i1 A i1 + a i2 A i2 + + a in A in 也可以對任意一行展開計算如下 : det(a) = a 1j A 1j + a 2j A 2j + + a nj A nj 觀念餘因子比原本的矩陣少一維, 因此稱為餘因子展開與降階 37

38 例 2 分別練習由第 3 列展開與第 1 行展開, 計算行列式 例 3 配合 3.1 節的定理, 重算例 2 定理 A 為非奇異矩陣若且唯若 det(a) 0 推理若 A 是方陣, 則 Ax = 0 有非明顯解若且唯若 det(a) = 0 例 8 若 A 是 4 4 矩陣且 det(a) = 4 1. 找出 Ax = 0 全部的解 2. A 的化約列階梯式? 3. 請描述 Ax = b 的解, 其中 b = [ ] T 4. Ax = b 的解有可能不止一個嗎? 請說明原因 5. A 1 是否存在? 38

39 4.1 一維與二維向量 Chapter 4 R n 之中的向量 (n 維向量 ) 首先回顧實數線, 也就是只有一個變數 x 的一維座標 ( 只有點稱為零維 ) 實數線也是有方向性的, 正與負 座標 0 的位置稱為原點 (origin) 定義實數 x 與原點 O 的距離, 也就是絕對值, 定義為 { x, x 0 x = x, x < 0 兩點 P 與 Q 之間的距離定義為 P Q = Q P 例 3 到 5 之間的距離是 觀念一維實數線上面所有的點所成的集合記為 R 觀念將上述的概念推廣到整個平面, 就需要兩條實數線來描述, 最常用的就是直角座標系, 又稱為笛卡兒座標系 (Cartesian coordinate system) 平面上所有的點所成的集合, 稱為二維空間或者二維平面, 記為 R 2 將 2 1 的向量配合直角座標來描述與理解, 就是二維向量 [ ] x 給定向量, 可以在二維平面上描出座標 (x, y), y 而兩個座標數值 ( 例如 (4, 5)) 分別稱為 x 方向與 y 方向的分量 (component) 假設描繪出來的點是點 P, 則從原點 O 到點 P 的有向線段可以用 OP 表示, 其中 O 稱為末端 (tail), 點 P 稱為頂端 (head) [ ] 4 同理, 先給定座標, 例如 (4, 5), 描出點 P 之後, 也可以說向量 OP = 5 39

40 定義給定兩個點座標 P (x 1, y 1 ) 與 Q(x 2, y 2 ), 則以 P 為末端 Q 為頂端的向量 例 P (3, 2),Q(5, 5) P Q 定義為 (x 2 x 1, y 2 y 1 ), 即 [ ] x 2 x 1 y 2 y 1 例 P ( 3, 1),Q( 1, 4) 由這兩個例子畫圖可知, 方向相同且長度一樣的向量經過平移, 其實就是同樣的向量 [ ] x 定義若向量 u =, 則 u 的長度 (length 或 magnitude) 定義為 u = x 2 + y 2 y 定義若 P (x 1, y 1 ),Q(x 2, y 2 ), 則向量長度 P Q = (x 2 x 1 ) 2 + (y 2 y 1 ) 2 上述這種最常用的 length 都由畢氏定理就可以得證 重要觀念直角座標系並不是唯一的座標定義方式, 例如極座標是另一種定義 向量長度也可以有不同的定義, 上述的定義是最常用的 長度的一般式英文稱為 norm, 還是翻譯為長度 上述最常用的定義稱為 2-norm 例 6 計算 u = (2, 5) 的長度 例 7 P ( 3, 1),Q( 1, 4), 計算 P Q 的長度 定義 u = [ x 1 y 1 ] v = [ x 2 y 2 ] 非零, 若 u 與 v 有倍數關係, 稱 u 與 v 平行 (parallel) 定義兩個有向線段假如斜率相同 ( 斜率定義是 x 座標增加一單位時,y 座標的增量 ), 或者都是垂直線 ( 此時斜率是無限大 ), 則稱它們是平行 40

41 應用在二維平面上給定任意三點座標 P 1 (x 1, y 1 ) P 2 (x 2, y 2 ) P 3 (x 3, y 3 ), 圍出的三角形面積是 1 x 1 y 1 1 det x 2 2 y 2 1 x 3 y 3 1 ( 二分之一行列式的絕對值 ) 例 8 計算 ( 1, 4),(3, 1),(2, 6) 圍起來的三角形面積 這種題目建議畫圖之後使用梯形與三角形面積相加減, 可以少背一個公式 觀念這個題目若是問平行四邊行面積, 則是 x 1 y 1 1 det x 2 y 2 1, x 3 y 3 1 假如是給定四個點, 真的圍成平行四邊形的話, 任意選三個點座標就可以計算 41

42 重要觀念向量就是矩陣, 因此運算的方式與矩陣相同 本小節後半部份要注意的是在圖形上面多理解, 將來推廣到不能畫圖的 n 維向量 例 9 u = (1, 2),v = (3, 4), 求 u + v u v 3u 1 2 u, 畫圖 例 12 與 13 合成向量在物理上的意義, 參閱教科書 重要觀念給定兩個非零向量 u = (x 1, y 1 ) 與 v = (x 2, y 2 ), 夾角多大? 怎麼算? 從代數定義 : 從幾何描述 : 定理向量 u 與 v 的夾角是 cos θ = u v u v 例 14 求 u = (2, 4) 與 v = ( 1, 2) 的夾角 42

43 定理兩個非零向量 u 與 v 互相垂直或正交 (orthogonal) 若且唯若 u v = 0 例 15 畫圖並計算, 驗證上述定理,u = (2, 4),v = (4, 2) 定理兩個非零向量是平行 (parallel) 若且唯若 cos θ = ±1 定理 ( 內積性質 ) 若 u v w 是向量,c 是純量, 1. u u 0( 因為 u = u u, 長度一定是正值 ); u u = 0 若且唯若 u = 0 2. u v = v u 3. (u + v) w = u w + v w 4. (cu) v = u (cv) = c(u v) 定義長度是 1 的向量稱為單位向量 (unit vector) 給定任意向量 x, 該方向上的單位向量是 u = 1 x x 例 16 x = ( 3, 4), 求 x 方向上面的單位向量 [ ] [ ] 重要觀念在 R 之中最常用的單位向量是 e 1 = 與 e 2 =, 0 1 [ ] e 1 與 e 2 垂直, 且給定 R 2 x 任意向量 u = 都可以表示成 e 1 與 e 2 的線性組合 : y [ ] [ ] 1 0 u = x e 1 + y e 2 = x + y ( 教科書之中 e 1 與 e 2 是使用符號 i 與 j) 0 1 例 17 將 u = (4, 5) 表達成 e 1 與 e 2 的線性組合 43

44 4.2 n 維向量 u 從第 1.2 節的定義,n 維向量就是 n 1 矩陣, 一般式是 u = 2. u 1 u n 觀念所有的 n 維向量所成的集合, 稱為 n 維空間, 記為 R n 在數學中, 不是隨便的集合都能叫做空間, 空間必需符合嚴格的定義, 詳見第 6 章 n 維向量的基本運算都與 1.2 節的矩陣運算以及 4.1 節的二維向量運算相同, 包括相等 相加 相減 內積 乘法 長度 夾角 平行 垂直 單位向量等, 不再贅述 n 維空間之中的向量加法與純量乘法必需滿足以下十個性質 : ( 這個定理在第 6 章將會以更一般化的形式再出現一次, 到時候要請同學記起來 ) 定理 u v w 是 R n 的任意向量,c d 是任意實數, 則 (α) u + v R n (R n 具備加法封閉性 ) (a) u + v = v + u (b) u + (v + w) = (u + v) + w (c) 存在向量 0 使得 u + 0 = 0 + u = u (d) 對任意向量 u, 存在唯一的向量 u 使得 u + ( u) = 0 (β) cu R n (R n 具備純量乘法封閉性 ) (e) c(u + v) = cu + cv (f) (c + d)u = cu + du (g) c(du) = (cd)u (h) 1u = u 三維空間也可以圖形表示, 教科書所有三維的圖形都是右手座標圖 44

45 定理 ( 柯西 舒瓦茲不等式,Cauchy Schwarz Inequality) 若 u v R n, 則 u v u v 重要觀念可以使用以下的方式來理解 :( 但是要提醒各位, 這不是一個正式的證明 ) 因為 u v u v = cos θ, 且 cos θ 1, 所以分母一定比分子的絕對值還要大 定理 ( 三角不等式,Triangle Inequality)( 三角形兩邊長的和大於第三邊 ) 若 u v R n, 則 u + v u + v 定理若 u v R n 且均不是零向量, 則 u 與 v 垂直若且唯若 u v = 0, 此時 cos θ = 0, 且 u 與 v 平行若且唯若 u v = u v, 此時 cos θ = ±1 ( 當 cos θ = 1 平行向量可稱為同方向, 當 cos θ = 1 平行向量可稱為反方向 ) 重要觀念柯西不等式與三角不等式都是在 u 與 v 平行的時候, 等號成立 重要觀念 R n 之中最常見的單位向量是 e 1 =., e 1 2 =.,, e n = 每個 e i 互相垂直, 且任意 R n 向量 u 都可以寫成 e i 的線性組合 : u u 2. = u u u 0 n. = u 1e 1 + u 2 e u n e n u n 例 u = (2, 3, 2, 1),v = (4, 2, 1, 3), 求 u + v 3u u v u v u + v u v 夾角 印證柯西不等式 印證三角不等式 將 u 寫成 e i 的線性組合 45

46 4.3 線性轉換 (linear transformation) 回憶 1.5 節, 矩陣乘向量是一種函數, 若 A 是 m n 矩陣, 給定任意 n 維向量 u, 經過相乘會得出一個 m 維向量 w, 即 A m n u n 1 = w m 1 本小節是將矩陣轉換稍微一般化, 從另一個觀點來解釋這個函數概念 定義線性轉換 L 是一個函數, 它把 R n 之中的每一個向量 u 映射成為 R m 向量, 並且滿足以下兩個性質 : (a) 對任意 u v R n,l(u + v) = L(u) + L(v) (b) 對任意 u R n,l(ku) = kl(u) ( 這個定義在第 6 章將會以更一般化的形式再出現一次 ) 觀念假如函數 T : R n R m 不滿足上述性質, 則稱 T 是非線性函數 給定 u, 則函數值 L(u) 稱為 u 的映像 (image), 假設 L(u) = w, 則所有可能的 w 所成的集合, 稱為值域 (range) 定理給定 A m n, 對於任意 n 維向量 u,au 都有定義, 而且它必然是 m 維向量 又由矩陣乘法的性質可知,A(u + v) = Au + Av, 且 A(ku) = ka(u), 確實滿足線性轉換的兩項定義, 因此矩陣轉換一定是線性轉換 ( 線性函數 ) u 1 [ ] u 例 1 若 L 的定義是 L u 2 =, 請判斷 L 是否為線性轉換 u 2 u 3 u 3 46

47 定理 ( 先線性組合之後再線性轉換 = 先線性轉換之後再線性組合 ) 若 L : R n R m 是線性轉換, 對任意 u 1, u 2,..., u k R n, 任意純量 c 1, c 2,..., c k, L(c 1 u 1 + c 2 u c k u k ) = c 1 L(u 1 ) + c 2 L(u 2 ) + + c k L(u k ) 定理若函數 L : R n R m 是線性轉換, 則 (a) L(0 R n) = 0 R m( 零向量一定映到零向量 ) (b) L(u v) = L(u) L(v) 注意雖然例 1 引用這個定理可以很快知道答案, 但本課程還是以定義求解為原則 推理因為任意 R n 向量 u = (u 1, u 2,..., u n ) 都可以用 e 1, e 2,..., e n 線性組合來表示, 配合線性組合線性轉換定理可以推論, 若 L(e 1 ) L(e 2 ) L(e n ) 都是已知, 則 L(u) = L(u 1 e 1 + u 2 e u n e n ) = u 1 L(e 1 ) + u 2 L(e 2 ) + + u n L(e n ) 例 2 若函數 L : R 3 R 2 是線性轉換, 且已知 L(1, 0, 0) = (2, 1) L(0, 1, 0) = (3, 1) L(0, 0, 1) = ( 1, 2), 求 L( 3, 4, 2) 例 3 若 L : R 2 R 3 定義是 L 2 3 又 v = 3 與 w = ([ x y ]) 1 1 [ = 是否在值域之中? x y ], 問 L 是不是線性轉換? 47

48 由前述得知, 矩陣乘向量一定是線性轉換 但是反過來假如我們先知道的是線性轉換呢? 以下的定理是描述, 每一個線性轉換都可以用矩陣表示, 而且是唯一的矩陣 定理若 L : R n R m 是線性轉換, 則存在唯一的矩陣 A 使得 L(x) = Ax 求出 A 的方法, 是將 e 1 e 2 e n 一一代入 L, 可以依序求出 A 的每一行 所找到的矩陣 A, 稱為函數 L 的標準矩陣表示 (standard matrix representation) x x + y 例 5 若函數 L : R 3 R 3 是線性轉換, 定義是 L y = y z, z x + z 求 L 的標準矩陣表示, 並驗證 L(u) = Au u 重要觀念以後假如談的是向量, 不論使用 u = (u 1, u 2,..., u n ), 或者 u = 2., u 1 或者說它是 R n 之中的一個點都沒有差別, 它們的代數性質都完全一樣 u n 48

49 Chapter 6 實數向量空間 (real vector space) 我們已經談過向量的基本性質與各種運算, 本章將探討一般化的向量空間與結構 假如在過程之中感覺太抽象, 就趕快以同學比較熟悉的 R 2 與 R 3 想像一下 6.1 向量空間 (vector space) 定義 V 是一個集合,u v w 是 V 裡面的任意元素,c d 是任意實數, 若 V 的所有元素在運算元 與 之下滿足以下十個性質, 則 V 是向量空間 : (α) u v V (a) u v = v u (b) u (v w) = (u v) w (c) 存在元素 0 使得 u 0 = 0 u = u (d) 對任意元素 u, 存在唯一的元素 u 使得 u ( u) = 0 (β) c u V (e) c (u v) = (c u) (c v) (f) (c + d) u = (c u) (d u)( 注意實數相加使用 + 號即可 ) (g) c (d u) = (cd) u( 注意實數相乘符號可以省略 ) (h) 1 u = u 重要觀念若 V 是向量空間, 則裡面的元素都可以稱為廣義的向量 上述定義之中的 代表廣義的向量相加, 代表廣義的純量乘以向量 觀念廣義定義的好處在於, 有時候某個集合乍看之下不太像是 向量所成的集合, 但是只要能滿足上述的十個性質, 就可以使用我們熟悉的向量運算各項法則, 也可以用向量的觀念去理解這個集合 例如教科書之中, 本課程省略的 位元矩陣 觀念上述定義可以推廣至複數系統, 假如 c d 是複數, 集合 C 的任意元素仍然能滿足這十項性質, 則 C 稱為複數向量空間 本課程只討論實數向量空間, 以後簡稱向量空間 例 1 由 4.2 節的定理可以直接推論得知, 對任意自然數 n,r n 是向量空間 重要觀念當 n = 1 時 R 1 只是一條實數線, 感覺不像空間, 但是 R 1 是向量空間 重要觀念當 n = 0 時 R 0 只有一個點, 也就是原點, 但是 R 0 是向量空間, 這是最特殊的一個向量空間, 其它的向量空間一定都包含無限多的向量 重要觀念由定義之中的 (c) 可知, 向量空間一定包含零向量 重要觀念要證明某個集合是向量空間, 必需寫出 3 個該集合的一般向量 u v w, 配合實數 c d, 然後逐項說明十個性質都能成立 任一項不成立, 該集合就不是向量空間 49

50 例 2 若集合 V 是所有實數序列 (x, y, 0) 所成的集合, 且在集合之中 與 定義為 (x, y, 0) (x, y, 0) = (x + x, y + y, 0) 以及 c (x, y, 0) = (cx, cy, 0), 問 V 是不是向量空間? 例 3 若集合 V 是所有實數序列 (x, y, z) 所成的集合, 且在集合之中 與 定義為 (x, y, z) (x, y, z ) = (x + x, y + y, z + z ) 以及 c (x, y, z) = (cx, y, z), 問 V 是不是向量空間? 50

51 例 4 由矩陣加法與純量乘法的定義得知, 對任意的正整數 m 與 n, 所有 m n 矩陣所成的集合是向量空間, 該集合一般記為 M mn 例 5 給定任意實數 a 與 b 且 a < b, 在一般的加法與乘法定義之下, 所有定義在區間 [a, b] 的實數函數所成的集合是向量空間, 該集合一般記為 F [a, b] 例 8 在一般的加法與乘法的定義之下, 對任意自然數 n, 所有次方 n 次的多項式所成的集合是向量空間, 該集合一般記為 P n 重要觀念雖然證明都省略, 但是同學要知道 R n M mn F [a, b] P n 都是向量空間, 基本上這些集合的元素運算的所有代數性質都一樣 例 9 若 V 是所有實數所成的集合, 定義 u v = u v, 與 c u = cu, 問 V 是不是向量空間? 定理若 V 是向量空間, 則 1. 任意向量 u V,0u = 0 2. 任意係數 c,c0 = 0 3. 假如 cu = 0, 則 c = 0 或 u = 0 4. 任意向量 u,( 1)u = u 注意若已經確定 V 是向量空間, 就可以使用一般符號 + 與 取代 與 重要觀念使用向量空間概念的另一個好處, 以後各位不用再考慮, R 3 之中的一個點到底是 3 1 矩陣? 還是三維向量? 還是有向線段 OP? 還是點? 在向量空間概念之下, 代數性質與運算性質完全一樣 51

52 6.2 子空間 (subspace) 定義已知 V 是向量空間 若集合 W 是 V 的子集合並且滿足向量空間的十項性質, 則 W 稱為 V 的子空間 ( 不滿足空間性質的只能稱為子集合,subset) 重要觀念子空間仍然是一種向量空間, 而且因為它是整個向量空間之中, 具有某些特性的元素所共同組成的集合, 常常比 整個空間 更具有應用性 例 1 若 V 是向量空間, 則至少包含兩個子空間, 一個是 V ( 自己是自己的子集合 ), 另一個是只有 V 之中的 0 向量所成的集合, 稱為零子空間 (zero subspace) 重要觀念要檢驗某個集合是不是子空間, 引用以下定理, 只要檢查兩項 定理已知 V 是向量空間,W 是 V 的子集合, 則 W 是子空間若且唯若 (α) 若 u v W 則 u + v W (β) 若 c 是純量,u W, 則 cu W 例 2 請問集合 W = {(a, b, 0) a, b R} 是否為 R 3 的子空間? {[ ] } a b 0 例 3 請問集合 W = a, b, c, d R 是否為 M 0 c d 23 的子空間? {[ ] } {[ ] } {[ ] } x 例 4 W 1 = y x 0 x, W 2 = y x 0, y 0 x, W 3 = y x = 0, 請判斷是不是 R 2 的子空間 52

53 例 5 請問集合 W = {(a, b, 1) a, b R} 是否為 R 3 的子空間? 例 9 若 A 是 m n 矩陣, 考慮齊次方程組 Ax = 0 ( 注意 x 是 R n 的向量 ) Ax = 0 所有的解所成的集合是 R n 的子空間 ( 稱為 A 的零核空間,null space) 重要觀念當 b 0 的時候,Ax = b 的解集合不是子空間 例 10 給定向量空間 V 之中的向量 v 1 v 2, 如何建立包含這兩個向量的子空間? 這個方法可以推廣成下面的一般化狀況 : 定義若 v 1, v 2,..., v k 是向量空間 V 裡面的向量,c 1, c 2,..., c k 是任意實數, 則向量 v = c 1 v 1 + c 2 v c k v k 稱為 v 1, v 2,..., v k 的線性組合 (linear combination), 且向量 v 一定屬於空間 V 重要觀念給定 v 1, v 2,..., v k, 所有線性組合所成的集合是 V 的子空間 當然, 給定的向量不同, 組合出來的子空間可能就不一樣 例 11 若 v 1 = (1, 2, 1),v 2 = (1, 0, 2),v 3 = (1, 1, 0), 問向量 v = (2, 1, 5) 是不是 v 1 v 2 v 3 的線性組合? 53

54 定義若集合 S = {v 1, v 2,..., v k } 是向量空間 V 之中的一組向量, 則所有 v 1, v 2,..., v k 的線性組合所成的集合, 稱為 S 的生成集合或展開集合 (spanning set), 記為 span S 或 span {v 1, v 2,..., v k } 定理若 S = {v 1, v 2,..., v k } 是向量空間 V 之中的一組向量所成的集合, 則 span S 是 V 的子空間 例在 R 2 之中, 若 S 1 = {(1, 0)} 則 span S 1 是 x 軸 ; 若 S 2 = {(1, 0), (0, 1)} 則 span S 2 是整個 R 2 ; 若 S 3 = {(1, 0), (2, 0)} 則 span S 3 還是 x 軸 (S 1 與 S 3 展開的結果一樣, 但是 S 1 比較簡潔, 後面小節會介紹它們的不同 ) {[ ] [ ] [ ] [ ]} 例 12 S =,,,, 問 span S? 例 13 在多項式空間 P 2 之中, 若 v 1 = 2t 2 + t + 2,v 2 = t 2 2t,v 3 = 5t 2 5t + 2,v 4 = t 2 3t 2, 問向量 u = t 2 + t + 2 是否屬於 span {v 1, v 2, v 3, v 4 } 之中? 54

55 6.3 線性獨立 (linear independence) 前面兩個小節介紹 空間 這種集合的定義與性質, 它的特殊性主要就是加法與純量乘法的封閉性 另外, 子空間也是一種空間 除了只包含 0 這個特殊的子空間之外, 我們所討論的空間與子空間都是包含無限多個元素的集合 接下來兩個小節要介紹, 如何用有限個元素來描述擁有無限個元素的空間, 再更進一步將會介紹, 如何用最精簡的有限元素來描述空間 定義 V 是向量空間,v 1, v 2,..., v k 是空間 V 裡面的向量, 假如空間 V 之中的每一個向量都可以寫成 v 1, v 2,..., v k 的線性組合, 則稱 v 1, v 2,..., v k 生成 V (v 1, v 2,..., v k span V ) 由上一小節的最後, 可以令集合 S = {v 1, v 2,..., v k }, 則我們說集合 S 生成空間 V, 記成 S span V, 或 span S = V, 或者說空間 V 可以由集合 S 生成 重要觀念要檢查 v 1, v 2,..., v k 是否可以生成空間 V, 首先寫出 V 裡面向量的一般式, 再看這個一般式能不能寫成 v 1, v 2,..., v k 的線性組合, 聯立方程組有解才可以生成 例 1 若 V 是 R 3 v 1 = (1, 2, 1),v 2 = (1, 0, 2),v 3 = (1, 1, 0), 問 v 1 v 2 v 3 能不能生成空間 V? 55

56 {[ ] [ ] [ ]} 例 2 若 S =,,, 問 S 能不能生成 M 22 之中的對稱子空間? 例 3 若 V 是二次多項式空間 P 2, 集合 S = {p 1 (t), p 2 (t)}, 其中 p 1 (t) = t 2 + 2t + 1,p 2 (t) = t 2 + 2, 問 S 能不能生成空間 V? 例 4 若 S = {e 1, e 2 } = {(1, 0), (0, 1)} 由第 4 章知道任意的二維向量 u = (u 1, u 2 ) 可以寫成 u = u 1 e 1 + u 2 e 2, 因此 S 可以生成 R 2 同理可以推論 R n 可由 S = {e 1, e 2,..., e n } 生成 例 5 因為 n 次多項式的一般式可以寫成 a n t n + a n 1 t n a 1 t 1 + a 0, 所以 S = {t n, t n 1,..., t, 1} 是 n 次多項式空間 P n 的生成集合 ( 注意 S 集合裡面共有 n + 1 個向量 ) 56

57 例 6 求 A 的零核空間的生成集合 ( 回憶,Ax = 0 的解集合是 R n 的子空間 ) A = 重要觀念從這些例題可以看出, 空間 V 的有限元素表示法, 就是使用生成集合表示 但是生成集合有許多可能, 為了說明什麼是最精簡的表示法, 先介紹線性獨立的概念 定義 V 是向量空間,v 1, v 2,..., v k 是空間 V 裡面的一組非零向量 若可以找到不全為零的係數 c 1, c 2,..., c k 使得 c 1 v 1 + c 2 v c k v k = 0, 則稱 v 1, v 2,..., v k 是線性相依 (linearly dependent); 反之, 若只有 c i 全部是零之下, 才能使得 c 1 v 1 + c 2 v c k v k = 0, 則稱 v 1, v 2,..., v k 是線性獨立 (linearly independent) 重要觀念若一組向量是線性相依, 可以想成這些向量之間存在著某種 線性關係, 第一章一開始我們就談過, 關係 在數學上的表達就是某個等式可以成立 首先舉一個線性相依的例子, 例如 v 1 = (1, 2),v 2 = (2, 4), 很顯然 2v 1 = v 2, 也就是 2v 1 v 2 = 0, 因此我們找到係數 c 1 = 2,c 2 = 1 使得向量相加為零向量 又例如 v 1 = (1, 0),v 2 = (0, 1), 很顯然要使得 c 1 v 1 + c 2 v 2 = 0, 只有一種可能, 就是 c 1 = c 2 = 0, 我們就說這組向量是線性獨立 重要觀念要判斷向量之間是線性獨立或相依, 必需使用定義的式子求解齊次方程組 只有明顯解也就是唯一解的時候線性獨立, 有非明顯解的時候線性相依 例 7 在例 6 之中解出來的 ( 1, 1, 0, 0) 與 ( 2, 0, 1, 1) 是不是線性獨立? 57

58 例 8 v 1 = (1, 0, 1, 2),v 2 = (0, 1, 1, 2),v 3 = (1, 1, 1, 3), 它們是線性獨立還是相依? 例 9 v 1 = (1, 2, 1),v 2 = (1, 2, 1),v 3 = ( 3, 2, 1),v 4 = (2, 0, 0) 獨立還是相依? 例 10 在 R 2 之中,c 1 (1, 0) + c 2 (0, 1) = (0, 0) 必然 c 1 = c 2 = 0, 因此 e 1 與 e 2 線性獨立 同理可以推論在 R n 之中,{e 1, e 2,..., e n } 是線性獨立 例 11 p 1 (t) = t 2 + t + 2,p 2 (t) = 2t 2 + t,p 3 (t) = 3t 2 + 2t + 2 是線性相依還是獨立? 推理若集合 S = {v 1, v 2,..., v k } 之中包含零向量, 則 S 線性相依 58

59 推理若 S 1 與 S 2 都是向量集合, 且 S 1 是 S 2 的子集合 ( 記為 S 1 S 2 ), (a) 假如 S 1 線性相依, 則 S 2 一定線性相依 (b) 假如 S 2 線性獨立, 則 S 1 一定線性獨立 在 R 2 與 R 3 可以畫圖的情況, 理解向量之間的線性獨立與線性相依 : 定理若 v 1, v 2,..., v n 都是非零向量, 則 v 1, v 2,..., v n 是線性相依若且唯若 v 1, v 2,..., v n 其中某個向量可以寫成其它向量的線性組合 推理 ( 把 v 1, v 2,..., v n 順序調整一下, 係數 c 是 0 的項放在後面, 我們可以說 ) v 1, v 2,..., v n 線性相依若且唯若某個 v j 是 v 1, v 2,..., v j 1 的線性組合 例 13 續例 9, 因為 v 1 + v 2 + 0v 3 v 4 = 0, 所以可以寫成 v 4 = v 1 + v 2 下面的定理是為了下一小節作準備, 要談如何表達最精簡, 其中 v j 想成是多餘的向量 定理假設 S = {v 1, v 2,..., v k } 可以生成向量空間 ( 或子空間 )V, 且 S 線性相依 不失一般性, 假設其中 v j 是其它向量的線性組合, 則可以令 S 1 = {v 1,..., v j 1, v j+1,..., v k }( 即 S 刪除 v j ), 此時 S 1 一樣可以生成向量空間 V, 即 span S = span S 1 = V {[ ] [ ] [ ]} 例 S =,, 可以生成 R 2, 但 v 3 = v 1 + v 2, 因此刪除 v 3, {[ ] [ ]} 1 0 S 1 =, 也可以生成 R 例 14 S = 0, 0 1, 1 1,

60 6.4 空間的基底 (basis) 與維數 (dimension) 定義若 (a) v 1, v 2,..., v k 生成向量空間 V, 且 (b) v 1, v 2,..., v k 是線性獨立, 則稱 v 1, v 2,..., v k 是向量空間 V 的基底 (basis) 觀念若 v 1, v 2,..., v k 是基底, 則每個 v j 都不同, 且裡面不可能有零向量 重要觀念基底就是向量空間最精簡的描述方式 要驗證某一組向量是基底, 定義之中的 (a) 與 (b) 都要成立才行 這兩個問題已經在第 6.3 節都介紹過要怎麼驗證 例 2 驗證 S = {v 1, v 2, v 3, v 4 } 是空間 R 4 的基底, 其中 v 1 = (1, 0, 1, 0),v 2 = (0, 1, 1, 2),v 3 = (0, 2, 2, 1),v 4 = (1, 0, 0, 1) 重要觀念從求解過程發現, 其實是同樣的方程組, 只是其中一個是齊次方程組 [ ], 因此引用第一章的觀念, 可以擴增成為 A b 0, 求解一次就行了 例 1 e 1 = (1, 0) 與 e 2 = (0, 1) 是線性獨立, 且可以生成 R 2, 因此是 R 2 的基底 同理可以推論,{e 1, e 2,..., e n } 是 R n 的基底 這種基底稱為 R n 空間的標準基底 (standard basis) 或自然基底 (natural basis) 定義若向量空間 V 的基底是有限個向量所成的集合,( 本課程討論都是有限個 ) 稱 V 是有限維 (finite dimension) 的空間 ; 若基底的向量有無限多個, 稱 V 是無限維 (infinite dimension) 的空間 60

61 例 3 驗證 S = {t 2 + 1, t 1, 2t + 2} 是向量空間 P 2 的基底 重要觀念集合 S = {t n, t n 1,..., t, 1} 是向量空間 P n 的自然基底 例 4 若 V 是 P 2 的子空間,V 的元素 a 2 t 2 + a 1 t + a 0 符合 a 0 = a 2 a 1, 試求 V 的基底 定理若 S = {v 1, v 2,..., v n } 是向量空間 V 的基底, 則空間 V 之中的任意向量都可以表示為 v 1, v 2,..., v n 的線性組合, 且表示法具有唯一性 例 e 1 = (1, 0) 與 e 2 = (0, 1) 是 R 2 的基底, 則 R 2 中的任意向量, 例如 (3, 5), 可以表示成基底的線性組合 :(3, 5) = 3e 1 + ( 5)e 2, 而且沒有其他的表示法 定理若 S = {v 1, v 2,..., v n } 是向量空間 V 的非零向量集合, 且 S 生成子空間 W, 即 S span W 則 S 的某個子集合是子空間 W 的基底 觀念假如 v 1, v 2,..., v n 是線性獨立, 則 S 就是 W 的基底 ; 假如相依, 應用 6.3 節的想法, 可以把 S 之中 多餘 的向量一個一個刪掉, 直到剩下的都是線性獨立為止, 但是這樣做很沒有效率 重要觀念 整個向量空間 的基底容易找, 例如 R n 與 P n 用自然基底就可以, 但是子空間的基底就不是那麼明顯可以知道 我們將會介紹兩種方法找基底, 應用的地方不同, 同學們兩種都要學會 61

62 演算法 ( 求子空間基底的第一種方法 ) 若 S 生成子空間 W, 求 W 的基底 : 給定 S = {v 1, v 2,..., v n }, 求解 c 1 v 1 + c 2 v c n v n = 0, 把擴增矩陣化簡為化約列階梯式, 則有首項的 行 的 原始向量 ( 注意!!) 是 W 的基底 例 5 若 S 包含 5 個向量 :v 1 = (1, 2, 2, 1),v 2 = ( 3, 0, 4, 3),v 3 = (2, 1, 1, 1), v 4 = ( 3, 3, 9, 6),v 5 = (9, 3, 7, 6),W = span S 求 S 的子集合成為 W 的基底 重要觀念使用這種方法, 假如一開始向量的順序不同, 求出來的答案是不同的 例如把例 5 的向量排成 S = {v 4, v 3, v 2, v 1, v 5 } 會求出不同的答案, 請同學們自己試 重要的是, 雖然答案不同, 但是生成的子空間 W 是相同的 定理若 S = {v 1, v 2,..., v n } 是向量空間 V 的基底, 且 T = {w 1, w 2,..., w r } 是 V 裡面的獨立向量集合, 則 r n 注意這個定理告訴我們, 向量空間 V 裡面可以找出的獨立向量的個數是有上限的 定理若 S = {v 1, v 2,..., v n } 與 T = {w 1, w 2,..., w m } 是同一空間的基底, 則 n = m 定義非零向量空間 V 的維數 (dimension) 是基底的向量數目, 記為 dim(v ) 且定義向量空間 {0} 的維數是 0 重要觀念假如向量空間的維數是 n, 則基底共有 n 個獨立向量 ; 且若有 n 個獨立向量就可成為該空間的基底, 所以非零向量空間的基底可以有無限多種 例 6 dim(r 2 ) = 2,dim(R 3 ) = 3, 一般化的 dim(r n ) = n 例 7 dim(p 2 ) = 3,dim(P 3 ) = 4, 一般化的 dim(p n ) = n + 1 例 8 在例 5 之中,W = span S 是 R 4 的子空間, 且 dim(w ) = 2 觀念若 W 是 V 的子空間, 則 dim(w ) dim(v ) 62

63 圖形理解 R 2 有那些可能的子空間?R 3 有那些可能的子空間? 觀念維數相同的空間, 例如 R 2 P 1 與例 5 的 W 維數都是 2, 雖然向量看起來不同, 但是以代數的觀點來看, 性質幾乎完全相同 ( 這是數學觀念, 比較抽象 ) 推理若 dim(v ) = n, 則超過 n 個向量的集合一定線性相依, 此外, 向量的數目小於 n 的集合 S 不可能生成向量空間 V 在 n 維空間之中, 給一組數目少於 n 個線性獨立的向量, 可以發展出基底, 定理與方法請見以下 ( 方法是前面的演算法的推廣而以 ) 定理若 S 是向量空間 V 的線性獨立向量集合, 則必然存在基底 T S 例 9 找一組 R 4 的基底, 要包含 v 1 = (1, 0, 1, 0) 與 v 2 = ( 1, 1, 1, 0) 定理 V 是向量空間且 dim(v ) = n,s 是空間 V 的向量集合,S = {v 1, v 2,..., v n }, (a) 若 S 是線性獨立, 則 S 是 V 的基底 (b) 若 S 可以生成 V, 則 S 是 V 的基底 ( 這小節最前面的基底定義裡面, 有兩個條件 (a) 與 (b), 本定理只是說明當 (a) 或 (b) 之中一個條件已經成立時, 驗證另一個就可以 ) 63

64 6.5 齊次方程組 (homogeneous systems) 前面已經解釋, 給定 A m n 則 Ax = 0 必然有解, 且它的解集合是 R n 的子空間 假如只有明顯解, 則子空間就是 {0}; 假如無窮多解, 子空間就用解集合的基底表達 齊次方程組的應用很多, 為了判斷線性獨立, 以及找基底, 都必需求解齊次方程組 未來還有更多的應用 以下的定義前面已經講過, 現在給正式的定義 定義若 A 是 m n 矩陣則 Ax = 0 的解集合是 R n 的子空間, 稱為 A 的零核空間 (the null space of A), 零核空間的維數稱為 A 的核維數 (the nullity of A) 例 1 求方程組的解空間基底以及解空間的維數 x 1 x 2 x 3 x 4 x = 重要觀念求解齊次方程組, 假設最後矩陣有 r 個首項, 則零核空間的維數是 n r 64

65 以下兩個例題在第 8 章會不斷地出現 例 2 求 (λi 3 A)x = 0 的解空間基底, 其中 λ = 2, 且 A = [ ] 1 5 例 3 求所有使得 (λi 2 A)x = 0 有非明顯解的 λ, 其中 A =

66 重要觀念 Ax = b 的解集合不是子空間, 但是該集合與 Ax = 0 的解集合有密切的關係, 在第一章就講過,Ax = b 的解可以寫成 x p + x h, 即特別解加上齊次方程組的解 例 4 A = 2 4 6, 分別求解 Ax = 0 與 Ax = 例 5 續第 1.6 節的例 10, 將以下方程組的解寫成 x p + x h x 1 + 2x 2 3x 4 + x 5 = 2 x 1 + 2x 2 + x 3 3x 4 + x 5 + 2x 6 = 3 x 1 + 2x 2 3x 4 + 2x 5 + x 6 = 4 3x 1 + 6x 2 + x 3 9x 4 + 4x 5 + 3x 6 = 9 66

67 6.6 矩陣的秩 (rank) 及應用 a 11 a 12 a 1n a 定義若 A 是 m n 矩陣, 一般式 A = 21 a 22 a 2n... a m1 a m2 a mn 則 A 的每一列看成列向量一共有 m 列 v 1 = (a 11, a 12,..., a 1n ) v 2 = (a 21, a 22,..., a 2n ). v m = (a m1, a m2,..., a mn ) 因為 v i 都是 n 維向量, 因此 {v 1, v 2,..., v m } 可以生成一個 R n 的子空間, 稱為 A 的列空間 (the row space of A); 同理,A 的每一行看成向量, 一共有 n 行 w 1 = a 11 a 21., w 2 = a 12 a 22.,, w n = a 1n a 2n., a m1 a m2 a mn 因為 w j 都是 m 維向量, 因此 {w 1, w 2,..., w n } 可以生成一個 R m 的子空間, 稱為 A 的行空間 (the column space of A) 定理若 A 與 B 是列等價, 則 A 與 B 的列空間相同 ( 不要跟第一章混淆, 第一章有一個定理是說, 若 Ax = b 經過列運算得到 Bx = d, 則方程組的解相同 ) 在 6.4 節有談過給定一組向量 S = {v 1, v 2,..., v k }, 求子空間 W = span S 的基底, 當時的第一種演算法是求解 c 1 v 1 + c 2 v c k v k = 0, 寫成方程組的時候感覺上就是變成擴增矩陣的行向量 這種方法的特點是找到的基底是 {v 1, v 2,..., v k } 之中的某些向量所組成 演算法 ( 求子空間基底的第二種方法 ) 給定 S = {v 1, v 2,..., v k }, 將 {v 1, v 2,..., v k } 當作列向量寫成矩陣 A, 用基本列運算得出化約列階梯式 B 依據上述定理,A 與 B 的列空間相同, 因此 B 之中的非零列就是所求的基底, 也可以說是矩陣 A 的列空間基底 重要觀念第二種方法找到的基底不再是從 {v 1, v 2,..., v k } 選出來的向量, 它的特點是找到的像是自然基底, 給定子空間之中的任意向量, 較容易找出基底線性組合的表達一般來說, 假如沒有指定基底必需由原始向量組成, 通常使用第二種方法, 比較方便 67

68 例 1 若 S = {(1, 2, 0, 3, 4), (3, 2, 8, 1, 4), (2, 3, 7, 2, 3), ( 1, 2, 0, 4, 3)}, V 是 R 5 的子空間且 V = span S, 求 V 的基底 例 2 V 是例 1 的 R 5 子空間, 且向量 (5, 4, 14, 6, 3) V, 將它寫成基底的線性組合 重要觀念若某向量無法表達成基底的線性組合, 則它不屬於空間 V = span S 例如同學們可以嘗試能不能將 (5, 4, 14, 6, 2) 寫成例 1 基底的線性組合 定義 A 的列空間的維數稱為列秩 (the row rank of A); A 的行空間維數稱為行秩 (the column rank of A) 68

69 例 3 續例 1, 再求 A 的列空間基底, 但基底必須由 A 的列向量組成 例 4(a) 續例 1, 求 A 的行空間基底 例 4(b) 續例 1, 再求 A 的行空間基底, 但基底必須由 A 的行向量組成 由上述幾個例題可以看出, 不管把 A 當作 n 個行向量, 或者是 m 個列向量所組成, 線性獨立的向量個數都是一樣的, 因此有以下的定理與定義 定理任意 m n 矩陣 A 的列秩與行秩一定相等 定義矩陣 A 之中線性獨立的向量數目, 稱為 A 的秩 (the rank of A), 記為 rank(a) 重要觀念假如問矩陣的秩, 要將 A 化簡為化約列階梯式, 看獨立向量的數目就是答案 69

70 重要觀念各位應該可以發現, 求解 A 的列空間基底與求解 Ax = 0 運算過程完全相同, 化簡成化約列階梯式之後, 有首項的是 A 的列空間基底 ; 至於零核空間部份, 沒有首項的 x j 經過移項得出零核空間基底, 因此有以下定理 定理若 A 是 m n 矩陣, 則 rank(a)+ nullity(a) = n 例 5 使用例 1 的矩陣 A 驗證上述定理 例 6 驗證上述定理, 其中 A = 重要觀念若向量 x 是 Ax = 0 的解, 代表 A 的每一列與 x 內積是 0, 而內積是 0 代表兩個向量互相垂直或者稱為正交, 因此向量 x 與 A 的每一列都垂直, 也就是說 x 與 A 的列空間垂直 因此 A 的列空間與 A 的零核空間正交 70

71 假如 A 是方陣, 矩陣的秩還有以下的一些性質, 注意本頁的這些性質都應用於方陣 定理 n n 方陣 A 是非奇異矩陣若且唯若 rank(a) = n 推理 A 是 n n 方陣,rank(A) = n 若且唯若 det(a) 0 推理 A 是 n n 方陣, 則給定任意的 n 1 向量 b, Ax = b 有唯一解若且唯若 rank(a) = n 推理若 S = {v 1, v 2,..., v n } 是 n 個 R n 向量 (n 維向量 ) 所組成的集合, 令矩陣 A 的列 ( 或者行 ) 是由向量 v 1, v 2,..., v n 組成, 則 S 是線性獨立若且唯若 det(a) 0 推理 n 等式 n 變數的齊次方程組 Ax = 0 有非明顯解若且唯若 rank(a) < n; Ax = 0 只有明顯解 ( 唯一解 ) 若且唯若 rank(a) = n 例 7 驗證上面幾個推理, 其中 A = 例 8 驗證上面幾個推理, 其中 A =

72 本小節最後一個性質在討論求解方程組 Ax = b, 此性質不限定方陣 定理方程組 Ax = ([ b 有解 ( ]) 包含唯一解與無窮多解 ) 若且唯若 rank(a) = rank A b ( 也就是說, 擴增與不擴增的秩相同才有解 ) 證明 :( 忘記此性質的話請見第 1.3 節 ) 令 x = (x 1, x 2,..., x n ) T, 則 Ax 可以寫成 A 的行的線性組合, 因此 Ax = x 1 a 11 a x 2 a 12 a x n a 1n a 2n b 1. = b 2. a m1 a m2 a mn b m 由上式可知,Ax = b 有解, 代表找得到係數 x 1, x 2,..., x n 使得上式成立, 因此向量 b 是矩陣 A 的行的線性組合, 得證擴增之後 rank 相同 注意給定方程組, 只知道有解或沒有解好像沒什麼作用, 通常找出解比較重要 這個證明裡面介紹的概念才是重點 x 1 1 例 9 驗證上述定理, x 2 = x 例 9 驗證上述定理, x 1 x 2 x 3 4 =

73 6.7 座標 (coordinates) 與基底轉換 (change of basis) 首先請瞭解, 座標就是線性組合的係數 例如自然基底之下,(3, 1) = 3e 1 + ( 1)e 2 矩陣與向量有順序性, 因此將基底的順序固定之後, 稱為有序基底 (ordered basis) 因此 {e 1, e 2 } 與 {e 2, e 1 } 都可以當成 [ ] R 2 的基底, 剛才的向量 (3, 1) [ ] 3 1 在有序基底 {e 1, e 2 } 之下座標是, 但是在有序基底 {e 2, e 1 } 之下座標是 1 3 定義若 S = {v 1, v 2,..., v n } 是 n 維向量空間 V 的有序基底, 給定 V 之中的任意向量 v 可以寫成 v 1, v 2,..., v n 的線性組合 v = c 1 v 1 + c 2 v c n v n, 則我們稱 c 1 c 2. c n 是向量 v 在有序基底 S 之下的座標 (coordinates), 記為 [ ] v = S c 1 c 2. c n 例 1 S = {v 1 = (1, 1, 0, 0), v 2 = (2, 0, 1, 0), v [ 3 ] = (0, 1, 2, 1), v 4 = (0, 1, 1, 0)} 是 R 4 的基底, 若 v = (1, 2, 6, 2), 求 v S 73

74 例 2 S = {e 1, e 2, e 3 } 是 R 3 的基底, 若 v = (2, 1, 3), 求 [ ] v S 例 3 若向量空間 V = P 1, 已知 S = {v 1 = t, v 2 = 1} 與 [ ] T [ = ] {w 1 = t + 1, w 2 = t 1} 都是 P 1 的基底, 若向量 v = 5t 2, 分別求 v 與 v S T 重要觀念前面已經說明, 維數相同的空間, 代數性質是相同的, 因此就算 S 不是自然基底, 只要所有的向量都表示成 S 的座標, 同樣可以證明向量在這樣的座標之下可以滿足加法與純量乘法的封閉性, 即 [ ] [ ] [ ] v + w = v + w S S S 而且也可以推廣至 以及 [c 1 v 1 + c 2 v c n v n ] [ ] [ ] cv = c v S S [ ] = c 1 v 1 S S + c 2 [ v 2 ] 本小節後半段要講的是座標轉換, 我們先用二維的例題配合圖形說明 S + + c n [ v n ] S 例 S = {e 1 = (1, 0), e 2 = (0, 1)} 與 T = {v 1 = (1, 0), v 2 = (1, 1)} 都是 R 2 的基底 [ ] [ ], 問向量 v = (4, 2) 的 v 與 v S T 74

75 從自然基底轉換其它基底座標的方法如上例, 以下說明任意兩組基底座標的轉換方法 假設 S = {v 1, v 2,..., v n } 與 T = {w 1, w 2,..., w n } 都是向量空間 V 的基底 給定向量 v, 假如已知 v 在基底 T 的座標是 [c 1, c 2,..., c n ] T, 即 v = c 1 w 1 + c 2 w c n w n, 也就是 [ ] v T c 1 c = 2. c n 現在想轉換成 S 的座標 由前一個重要觀念得知 [ ] ] [ ] [ ] [ ] v = [c 1 w 1 + c 2 w c n w n = c 1 w 1 + c 2 w c n w n S S S S S ] 注意到, [w 1 S 就是 w 1 在基底 S 之下的座標 由例 1 知道求解方程組可得到係數值, 為了符號方便, 假設求出來的解寫成行向量 [ a 11 a 21 a n1 ] T ; 同理可推論,w j 在基底 S 之下可由聯立方程組求出座標是 所以 a 11 a 12 [ ] a v = c 1 21 S. + c a c n a 1n a 2n. [ a 1j a 2j a nj ] T, 也就是 [ ] v = S 可用下圖幫助記憶 a n1 a n2 a nn a 11 a 12 a 1n c 1 a 21 a 22 a 2n c 2...., 記為 a n1 a n2 a nn c n [ ] ] v = P S T [v S T a 11 a 12 a 1n a 定義矩陣 P S T = 21 a 22 a 2n... a n1 a n2 a nn 稱為由基底 T 至基底 S 的轉換矩陣 (transition matrix from T -basis to S-basis) 75

76 演算法求轉換矩陣 P S T 的方法 : 求解 w 1 w 2 w n 在基底 S 的座標, 一一寫成行向量就是 P S T 注意在 1.6 節講過,n 個方程組 [ Ax = b 1 Ax = b 2 Ax = b n 不用分別求解, 只要擴增為 A b 1 b 2 b n ], 可以一次全部求解完成 例 4 S = {v 1, v 2, v 3 } = 0, 2, 1, T = {w 1, w 2, w 3 } = 3, 1, v = 9, 已知 S 與 T 都是 R 3 的基底, 求 P S T, 並以 v 驗證轉換是正確的 5 76

77 定理若 S 與 T 都是基底, 則 P S T = P 1 T S, 兩個轉換矩陣互為反矩陣 例 5 續例 4, 先直接求解 P T S, 再求反矩陣驗證上述定理 77

78 6.8 正規化正交基底 (orthonormal basis) 在討論 R n 整個空間時,{e 1, e 2,, e n } 是最直接又好用的基底, 座標也容易找, 可是在討論子空間的時候, 絕大部份的子空間都沒有如此直觀的基底, 本小節要介紹如何在子空間找一組比較容易應用的基底 定義令 S = {u 1, u 2,..., u k } 是 R n 的非零向量集合, 假如每一個 u i 都跟其它的向量互相垂直 ( 即 u i u j = 0, i j), 則稱 S 是正交 (orthogonal) 集合, 或是垂直集合 更進一步, 除了互相垂直之外, 假如每個 u i 的長度都是 1( 即 u i u i = 1, i), 則稱 S 是正規化正交 (orthonormal) 集合 例 1 驗證 S = {x 1, x 2, x 3 } 是正交集合, 更進一步找出正規化正交集合, 其中 x 1 = (1, 0, 2) x 2 = ( 2, 0, 1) x 3 = (0, 1, 0) 例 2 自然基底 {(1, 0, 0), (0, 1, 0), (0, 0, 1)} 是正規化正交集合 定理若 S = {u 1, u 2,..., u k } 是 R n 的正交集合, 則 S 是線性獨立 證明 : 考慮求解 c 1 u 1 + c 2 u c k u k = 0, 將等式兩邊都內積 u 1, 得出 c 1 u 1 u 1 + c 2 u 2 u c k u k u 1 = 0 u 1 = 0, 因為各向量互相正交, 所以剩下 c 1 u 1 u 1 = 0, 因此 c 1 必定為 0 對每一個 u i 重覆上述步驟可知, 每一個 c i = 0, 得證 S 線性獨立 重要觀念這個證明過程對於瞭解本小節內容非常重要, 請同學自己要證明一次 推理若 S = {u 1, u 2,..., u k } 是 R n 的正規化正交集合, 則 S 是線性獨立 定義若 S 是正交集合而且是基底, 則稱為正交基底 (orthogonal basis), 若是正規化正交集合而且是基底, 則稱為正規化正交基底 (orthonormal basis) 78

79 回憶 6.7 節的例 1, 在一般的基底之下, 給定任意向量要找出座標時, 必需求解方程組 c 1 v 1 + c 2 v c k v k = 0, 相當麻煩 但是假如是正規化正交基底, 就非常好用, 要找座標就會簡單很多, 請見以下定理 定理若 S = {u 1, u 2,..., u n } 是 R n 的正規化正交基底, 給定任意向量 v, 想要求出座標, 也就是線性組合的係數使得 v = c 1 u 1 + c 2 u c n u n, 只要計算 c i = v u i, 1 i n ( 只要算內積不需要求解方程組 ) 證明 : 定理的方程式之中, 等式兩邊都內積 u 1 得出 v u 1 = c 1 u 1 u 1 = c 1, 同理可以對每一個 u i 內積, 得證 c i = v u i 定理若 S = {u 1, u 2,..., u n } 是 R n 的正交基底, 給定任意向量 v, 座標是 c i = v u i u i u i, 1 i n 證明 : 等式內積 u i 得 v u i = c i u i u i, 移項就可得證 例 3 S = {u 1, u 2, u 3 } 是正規化正交基底, 將 v = (3, 4, 5) 表示成 S 的線性組合, 其中 u 1 = ( 2 3, 2 3, 1 ) ( 2, u 2 = 3 3, 1 ) ( 1 3, 2, u 3 = 3 3, 2 3, 2 ), 3 給定任意基底 S = {u 1, u 2,..., u m }, 想要找出同一個空間的 正規化正交基底 T = {w 1, w 2,..., w m } 的方法說明如下 : 79

80 演算法 (Gram Schmidt 正交化過程 ): 給定基底 S = {u 1, u 2,..., u m }, 步驟 0 令 v 1 = u 1 步驟 1 以下面的式子每次求出一個 v i, 依序得出 v 2, v 3,..., v m ( ) ui v 1 v i = u i v 1 v 1 v 1 ( ui v 2 v 2 v 2 步驟 2 將每個 v i 正規化得到單位向量 w i, 得出 T = {w 1, w 2,..., w m } 就是正規化正交基底 ) v 2 ( 前面 i 1 項都要減 ) 重要觀念手算時的技巧, 在算出每個 v i 之時, 可以先乘除得到整數元素的向量, 全部的 v i 都算出來之後, 再一起正規化得 w i, 比較好算 重要觀念找正規化正交基底的目的是, 任意向量找基底座標時, 算內積就可以 例 4 給定 R 3 的基底 {u 1 = (1, 1, 1), u 2 = ( 1, 0, 1), u 3 = ( 1, 2, 3)}, 使用 Gram-Schmidt 過程找出正規化正交基底 例 5 W 是 R 4 的子空間, 基底是 {u 1 = (1, 2, 0, 1), u 2 = ( 1, 0, 0, 1), u 3 = (1, 1, 0, 0)} 使用 Gram-Schmidt 過程找出正規化正交基底 80

81 6.9 正交補集 (orthogonal complements) 重要觀念在 R n 之中, 若已知有一個子空間 W 的維數是 k, 則我們可以說 R n 被切成兩個互補的子空間, 另一個的維數是 n k, 且兩個子空間互相垂直 定義假設 W 是 R n 的子空間 若 R n 向量 u 與 W 之中每個向量都垂直, 則稱 u 與 W 正交 (u is orthogonal to W ) R n 之中所有跟子空間 W 正交的向量所成的集合, 稱為 W 的正交補集 (orthogonal complement), 記為 W 例 1 令 W 是向量 w = (2, 3, 4) 的所有純量乘積所成的集合, 它是 R 3 的子空間, 因此 W = span {w}, 顯然 W 的維數是 1 與子空間 W 垂直的向量 u = (x, y, z), 必然滿足與 w 內積為零, 所以 W 的正交補集是滿足 2x 3y + 4z = 0 的所有向量所成的集合 ( 這就是超平面與法向量 ) 觀念整個空間 R n 自己的正交補集只有零向量, 因此是零子空間 定理若 W 是 R n 的子空間, 則 (a) W 也是 R n 的子空間 (b) W W = {0} ( 兩個正交補集之間只有一個共同元素, 零向量 ) 例 2 若 W 是 R 4 的子空間, 已知基底是 {w 1 = (1, 1, 0, 1), w 2 = (0, 1, 1, 1)}, 求子空間 W 的基底 81

82 定理若 W 是 R n 的子空間, 則 R n = W W 重要觀念這個定理要理解為,W 的基底與 W 的基底合起來會是 R n 的基底 ; 此外,R n 的向量也可以分解成兩個向量相加, 一個向量屬於 W 另一個屬於 W 例 3 續例 2, 已知子空間 W 的基底是 {w 1 = (1, 1, 0, 1), w 2 = (0, 1, 1, 1)}, 子空間 W 的基底是 {w 3 = ( 1, 1, 1, 0), w 4 = ( 2, 1, 0, 1)} 給定 v = ( 1, 1, 4, 3), 求向量 w W 與 u W 使得 v = u + w 定理若 W 是 R n 的子空間, 則 (W ) = W 接下來我們把矩陣與向量空間結合, 有以下非常重要的結論, 稱為線性代數基本定理 (fundamental theorem of Linear Algebra): 定理 ( 線性代數基本定理 ) 給定 m n 矩陣 A, 若 rank(a) = r, 則 1. A 的列空間 (row space) 與 A 的零核空間 (null space) 都是 R n 的子空間, 且互為正交補集, 列空間的維數是 r, 零核空間的維數是 n r 2. A 的行空間 (column space) 與 A T 的零核空間都是 R m 的子空間, ( 可稱為 A 的 left null space, 或者是 A T 的 null space) 且互為正交補集, 行空間的維數是 r,a T 的零核空間維數是 m r 重要觀念線性代數基本定理告訴我們, 給定 m n 矩陣 A, 以 A 的列向量來分析, 可以把 R n 切成兩個互為正交補集的子空間, 以 A 的行向量來分析, 可以把 R m 切成兩個互為正交補集的子空間 82

83 例 4 求 A 的列空間 零核空間 行空間 A T 的零核空間這四個子空間的基底, 其中 A =

84 例 5 W 是 R 5 的子空間, 且 W = span {w 1 = (2, 1, 0, 1, 2) w 2 = (1, 3, 1, 2, 4) w 3 = (3, 2, 1, 1, 2) w 4 = (7, 7, 3, 4, 8) w 5 = (1, 4, 1, 1, 2)}, 求 W 的基底 例 6 求 A 的列空間 零核空間 行空間 A T 的零核空間這四個子空間的基底, 其中 A = ( 這個矩陣在第 6.6 節例 6 計算過 )

85 應用向量投影到子空間的投影向量, 以及向量到子空間的距離 ( 這個應用其實只是 Gram Schmidt 過程從另外一個角度來解釋 ) 先用兩個向量 u 1 與 u 2 的狀況來舉例, 比較容易理解 重要觀念從 Gram Schmidt 過程知道, 首先令 v 1 = u 1, 則與 v 1 = u 1 垂直的向量 v 2 計算如下 ( ) ( ) u2 v 1 u2 v 1 v 2 = u 2 v 1, 也就是 u 2 = v 2 + v 1 v 1 v 1 v 1 v 1 因此 u 2 由兩個向量相加 ( ), 一個是 v 2, 它與 u 1 垂直, u2 v 1 另一個是 v 1, 它與 u 1 平行, v 1 v 1 這個向量就是 u 2 投影到 u 1 的向量, 也可以說是 u 1 方向之中與 u 2 最接近的向量 與 Gram Schmidt 完全相同的過程可以推論以下概念 重要觀念給定子空間 W 的正交基底 {w 1, w 2,..., w m } 與向量 v, 則向量 v 在子空間 W 的投影向量 w, 記為 proj W v, ( ) ( ) ( ) v w1 v w2 v wm w = proj W v = w 1 + w w m w 1 w 1 w 2 w 2 w m w m 而且向量 v 與子空間 W 垂直的分量是 u = v w 此外,v 與子空間 W 的距離就是向量 u 的長度 u 重要觀念假如給定的 {w 1, w 2,..., w m } 是子空間 W 的正規化正交基底, 則因為每個向量長度是 1, 因此 proj W v 式子之中分母都是 1, 更容易算 重要觀念請配合定理 R n = W W 來理解,v 可以分解成兩個向量 w 與 u, 其中 w 屬於子空間 W, 且 u 與子空間 W 垂直 重要觀念假如給定的 v 就在子空間 W 之中, 則 proj W v = v 且垂直分量 u = 0 例 {e 1, e 2 } 可以生成 R 2, 因此任意二維向量一定屬於這個空間, 以 v = (3, 1) 驗證上述的重要觀念 85

86 例 7 與 8 若 W 是 R 3 的子空間, 且已知 W 的正規化正交基底是 {w 1, w 2 }, 其中 w 1 = ( ) ( ) 2 1 3, 1 3, 2 1, w 2 = 2, 0, 3 2 給定 v = (2, 1, 3), 求 v 在子空間 W 的投影向量?v 到子空間 W 的距離? 定理若 W 是 R n 的子空間, 給定任意 R n 向量 v, 則子空間 W 之中與 v 距離最近的向量是 proj W v, 且距離是 v proj W v 觀念上述定理也可以理解為, 子空間 W 的所有向量之中, 當 w = proj W v 時, v w 有最小值 86

87 補充 : 最小平方解 (least squares solution)( 也就是迴歸直線的概念 ) 給定方程組 Ax = b,a 是 m n 矩陣 不管是唯一解或是無窮多解, 我們都能夠表達, 而且前面已經談過, 方程組可以看成 A 的行的線性組合 : a 11 a 21. x 1 + a 12 a 22. x a 1n a 2n b 1. x b n = 2. a m1 a m2 a mn b m 假如方程組無解, 代表向量 b 不屬於 A 的行空間, 不能用 A 的行來線性組合 此時我們想探討的是在解不出 x 使得 Ax 等於 b 的情況下, 能不能找到 ˆx 使得 Aˆx 與 b 的誤差最小? 令 A 的行空間為 W 由 6.9 節的最後, 子空間 W 之中, 與向量 b 最接近的向量, 就是 b 在子空間 W 的投影向量, 記為 w = proj W b, 而且 proj W b 一定屬於子空間 W, 因此向量 proj W b 可以用 A 的行來線性組合, 所以要找 ˆx 使得 Aˆx 與 b 的誤差最小, 答案就是找 Aˆx = proj W b, 且最小的誤差就是最短距離, 即 b Aˆx = b proj W b 但如何解出 ˆx 呢? 注意到向量 b Aˆx 與子空間 W ( 也就是 A 的行空間 ) 垂直, 因此與 A 的每一個行向量的內積為 0 改寫成矩陣相乘的形式, 得出 A T (b Aˆx) = 0, 移項得出方程組 (A T A)ˆx = A T b 在最後結論之前, 我們還需要一個條件來保證我們一定解得出向量 ˆx: ( 前面也提過,Ax = b 無解通常會發生在等式比變數還要多, 即 m > n 時 ) 定理若 A 是 m n 矩陣且 rank(a) = n, 則 (A T A) 是非奇異矩陣, 且 rank 也是 n 重要觀念我們想要的知道的答案就是方程組 (A T A)ˆx = A T b 的解, 若 A 是 m n 矩陣且 rank(a) = n, 則矩陣 (A T A) 的反矩陣存在, 此時方程組必然有唯一解, 因此解出 ˆx = (A T A) 1 A T b, 換句話說, 給定 b 之下,proj W b = Aˆx = A(A T A) 1 A T b 定義 (A T A)x = A T b 稱為 Ax = b 的 normal equation 87

88 補充 : 投影矩陣 (projection matrix) 由最小平方解的說明中得知, 若 A 是 m n 矩陣且 rank(a) = n( 此時 m n), [ 對任意 m 1 維向量 b, 在 A 的行空間裡面與 b 最接近的是向量是 A(A T A) 1 A ] T b, 因此我們稱矩陣 P 1 = [ A(A T A) 1 A ] T 為投影矩陣 (projection matrix), 矩陣 P 1 可以把 m 1 向量投影到 A 的行空間之中 此外, 觀察到向量 b P 1 b 必然與 A 的行空間垂直, 寫成矩陣相乘的形式就是, 給定任意 m 1 向量 b, b [ A(A T A) 1 A ] T b = [ I A(A T A) 1 A ] T b 與 A 的行空間垂直, [ 我們說矩陣 I A(A T A) 1 A ] T 會把 m 1 向量 b 投影到與 A 的行空間正交的子空間, 即 left null space of A, 因此矩陣 P 2 = [ I A(A T A) 1 A ] T 也是一個投影矩陣, P 2 稱為矩陣 A 的 orthogonal projection matrix 注意若給定的向量 b 本來就落在 A 的行空間, 則 P 1 b = b 且 P 2 b = 0, 且此時 Ax = b 有解 由完全相似的推導過程, 只是改成 m n 的情況, 看 A 的列空間 若 A 是 m n 矩陣且 rank(a) = m, 則 (AA T ) 為非奇異矩陣,rank 也是 m [ 給定任意 n 1 向量 c, 在 A 的列空間裡面與 c 距離最短的向量是 A(A T A) 1 A ] T c, 因此 P 3 = [ A T (AA T ) 1 A ] 是投影矩陣, 它把 n 1 向量投影到 A 的列空間之中 同理, 向量 c P 3 c 一定與 A 的列空間垂直, 因此 P 4 c = [ I A T (AA T ) 1 A ] c 與 A 的列空間垂直, 即矩陣 P 4 = [ I A T (AA T ) 1 A ] 把 n 1 向量投影到 A 的列空間的垂直子空間, 這個重要的子空間就是 A 的零核空間 (null space), 因此 P 4 稱為矩陣 A 的 null space projection matrix 重要觀念向量 P 4 c 與列空間垂直, 因此 A(P 4 c) = 0 注意若 c 本來就落在 A 的列空間, 則 P 3 c = c 且 P 4 c = 0 定理任意的投影矩陣 ( 上述的四個都是 ),P 2 = P 且 P T = P ; 而且任何滿足上面兩個條件的矩陣, 都是投影矩陣 88