Outline 线性回归 Gauss Markov 模型最小二乘估计的性质预测误差正态误差下的假设检验回归模型的延伸分类问题

Size: px

Start display at page:

Download "Outline 线性回归 Gauss Markov 模型最小二乘估计的性质预测误差正态误差下的假设检验回归模型的延伸分类问题"

墨防苍
5 years ago
Views:

1 多元回归模型王成上海交通大学数学科学学院

2 Outline 线性回归 Gauss Markov 模型最小二乘估计的性质预测误差正态误差下的假设检验回归模型的延伸分类问题

3 线性回归

4 问题背景观察到 n 个样本 (X 1, Y 1 ),, (X n, Y n ), 其中 X 1,, X n R p 为解释变量, Y 1,, Y n R 为应变量特别的如果 Y i 的取值为离散的如 0 或 1, 那么对应的就是分类问题统计中一类重要的问题是寻找一个函数 f ( ) 来拟合当前的观察值, Y i f (X i ). 基于观察到的数据找到拟合函数 f ( ) 之后 ( 建模过程 ), 对于新的观察值, 我们就可以做出预测 ( 预测过程 ) 如果建模越准确, 相应的预测也会越精确

5 最小二乘估计 I 考虑最小二乘估计 arg min β R p n i=1 (Y i X i β) 2. (1) 记 X X 1p X =... X n1... X np n p Y 1, Y =. Y n, 一般的, 我们可以记 X i1 = 1, 这样常数项可以被包括进模型, 不需要再单独记常数项用矩阵形式表示, 优化问题 (1) 可以写成 arg min β R p(y Xβ) (Y Xβ).

6 最小二乘估计 II 求导数, (Y Xβ) (Y Xβ) = 2X (Xβ Y), β 2 (Y Xβ) (Y Xβ) β β = 2X X 0. 当矩阵严格正定的时候, 我们有最小二乘估计 ˆβ = (X X) 1 X Y.

7 最优线性投影把 (X 1, Y 1 ),, (X n, Y n ) 看成是来自于总体 (X, Y ) 的 n 个独立同分布的样本, 我们考虑最优的线性投影 : 直接计算可以得到 arg min β R p E(Y X β) 2. E(Y X β) 2 = EY 2 2EYX β + Eβ XX β = EY 2 2β (EYX ) + β E(XX )β, 当 E(XX ) 正定时候, 我们可以得到最优的线性投影 β opt = (EXX ) 1 (EYX ). 用矩估计量分别估计 EXX 和 EYX, 那么也可以得到最小二乘估计的形式

8 回归函数一般的, 我们考虑任意的函数 g( ), 记 Z = E(Y X ), 我们有 arg min g E(Y g(x )) 2, E(Y g(x )) 2 = E(Y Z + Z g(x )) 2 = E(Y Z) 2 + E(Z g(x )) 2 + 2E(Y Z)(Z g(x )) = E(Y Z) 2 + E(Z g(x )) 2, 所以在均方损失下, 最优的函数为 f (x) = E(Y X = x). 回归分析里关心的就是 f (x) 的形式, 也就是我们要基于观察样本估计 f (x) 从数学角度, 函数 f (X ) 的形式有无穷多种, 线性, 多项式, 三角函数等等. 如果回归函数是线性的 f (x) a 0 + a 1 x + + a n x n, 那么线性回归模型也就是均方损失下的最优模型

9 多元正态分布假定解释变量和被解释变量 ( 或者称为自变量和应变量 ) (X, Y ) 满足多元正态分布 ( ) X N( Y 那么由多元正态的性质, ( µx µ Y ), ( Σ11 Σ 12 Σ 21 Σ 22 ) ), Y X = x N(µ Y + Σ 21 Σ 1 11 (x µ X ), Σ 22 Σ 21 Σ 1 11 Σ 12), 最优回归函数是线性的 f (x) = E(Y X = x) = µ Y + Σ 21 Σ 1 11 (x µ X ),

10 Gauss Markov 模型

11 Gauss Markov 模型对于样本 (X i, Y i ), i = 1,, n, 我们用线性模型来刻画 : Y i = X T i β + ɛ i = p β j X ij + ɛ i, i = 1,, n. j=1 其中误差项 ɛ 1,, ɛ n 满足独立同分布且 Eɛ i = 0, Var(ɛ i ) = σ 2. ( 在后续假设检验中我们还会进一步直接假设 ɛ i N(0, σ 2 )). 在这里把 X i 看成是常数, 因变量 Y i 是随机的, 随机性由 ɛ i 产生

12 记 X 11 X 1p Y 1 X =.., Y =. X n1 X np Y n 用矩阵形式表示一元线性模型为 : Y = Xβ + ɛ,, ɛ = ɛ 1. ɛ n, β = β 1. β p,

13 最小二乘估计为 ˆβ = arg min β R 2(Y Xβ) (Y Xβ). 求导数, (Y Xβ) (Y Xβ) = 2X (Xβ Y), β 2 (Y Xβ) (Y Xβ) β β = 2X X 0. 当矩阵严格正定的时候, 我们有最小二乘估计 ˆβ = (X X) 1 X Y.

14 最小二乘估计的性质

15 Lemma 1 最小二乘估计 ˆβ 及对于一个新的观察值 X 的预测值都是 Y 1,, Y n 的线性组合 Proof: 直接根据定义 ˆβ = (X X) 1 X Y; X ˆβ = X (X X) 1 X Y.

16 Lemma 2 最小二乘估计 ˆβ = (X X) 1 X Y 是 β 的无偏估计 Proof: E ˆβ = E(X X) 1 XY = E(X X) 1 X (Xβ + ɛ) = β + (X X) 1 X Eɛ = β.

17 Lemma 3 最小二乘估计的协方差为 : cov( ˆβ) = σ 2 (X X) 1. Proof: 由 Gauss Markov 模型, cov(ɛ) = σ 2 I, 以及最小二乘估计的表达式, ˆβ = (X X) 1 XY = (X X) 1 X (Xβ + ɛ) = β + (X X) 1 X ɛ.

18 Lemma 4 最小二乘估计的均方损失为 : E ˆβ β 2 = tr{cov( ˆβ)} = σ 2 tr{(x X) 1 }. 每一个分量的损失为 : E( ˆβ i β i ) 2 = E(e i ( ˆβ β)) 2 = e i cov( ˆβ)e i = σ 2 (X X) 1 ii, 其中 e i 为第 i 个分量为 1 的单位向量

19 预测误差

20 对于统计模型来说, 预测是一个重要的目的对于得到的最小二乘估计残差 (residual) 为 : ˆβ = (X X) 1 X Y, ˆɛ = Y X ˆβ = {I n X(X X) 1 X }Y = {I n X(X X) 1 X }ɛ.

21 训练误差我们可以得到平均的预测误差为 : 1 n E(Y X ˆβ) (Y X ˆβ) = tr(i n X (X X ) 1 X ) σ 2 = n p n n σ2 < σ 2. 这里的结果直接反映了在回归模型中样本个数 n 和解释变量的维度 p 对于回归模型的影响. 总的来说, 样本越多, 模型拟合的越好

22 测试误差对于得到的估计 ˆβ, 理论上我们应该在新的样本集上来看估计的好坏, 即我们应该考虑类似的, 如果把 X 当成非随机的, 我们有 E(Y 0 X 0 ˆβ) 2. (2) E(Y 0 X 0 ˆβ) 2 = E(X 0β + ɛ 0 X 0 ˆβ) 2 = σ 2 + X 0E(β ˆβ)(β ˆβ) X 0 = σ 2 + σ 2 X 0(X X ) 1 X 0 > σ 2.

23 Remark 1 前者一般称为基于训练数据集的损失 training error, 后者是基于测试集的损失 ( 也是模型的真实损失 ) test error 直观上, 因为后者不可得, 可以把前者当成后者的一个样本估计但是因为模型本身也是基于训练数据得到的, 所以前者一般都是比真实的损失要小的例如这里的结果, 训练误差的结果小于 σ 2 甚至比最优的知道真实 β 还要好对于测试误差, 除了固定项 σ 2, 剩下的正好是我们用样本估计真实系数 β 带来的损失

24 Remark 2 损失函数是统计学的核心对于任何的统计决策, 都应该有对应的损失函数来衡量决策的好坏真实的损失很难去计算, 基于训练数据集本身得到的损失函数一定要慎用! 实际问题中, 一般是对训练数据再做一次重抽样 (Resample) 来构造出真实损失的估计, 例如 Leave-One-Out, Bootstrapping 和分层 k-folds 等方法

25 正态误差下的假设检验

26 为了讨论回归模型中的假设检验问题, 我们假定误差项满足正态分布 : 用向量表示 : ɛ i, i.i.d. N(0, σ 2 ), i = 1,, n. Y = Xβ + ɛ, ɛ N(0, σ 2 I n ).

27 对于最小二乘估计 ˆβ = (X X) 1 X Y = β + (X X) 1 X ɛ, 和残差平方和 (Residual Sum of Squares) RSS = (Y X ˆβ) (Y X ˆβ) = Y {I n X(X X) 1 X }Y = ɛ {I n X(X X) 1 X }ɛ

28 根据多元正态分布的性质, 我们有如下结果 Lemma 5 对于线性模型 Y = Xβ + ɛ, 其中 ɛ N(0, σ 2 I n ), 我们有 ˆβ N(β, σ 2 (X X) 1 ); RSS χ 2 σ n p; 2 ˆβ 与 RSS 相互独立由 Lemma 5 的结果, 直接可以构造 σ 2 的无偏估计为 : ˆσ 2 = 1 n p RSS = 1 n p Y {I n X(X X) 1 X }Y.

29 对于多元线性回归模型, 可以考虑的假设检验如下 : 单个回归参数的检验 : H 0 : β i = 0 vs H 1 : β i 0 解释变量 X i 是否在回归模型中单个回归参数正负号检验 : H 0 : β i > 0 vs H 1 : β i 0 解释变量 X i 对于被解释变量 Y 是正的影响还是负的影响回归模型的检验整个线性模型是否有效部分回归模型的检验 H 0 : β = 0 vs H 1 : β 0 H 0 : Aβ = 0 vs H 1 : Aβ 0, A R q p. 部分解释变量对模型是否有贡献或者满足某种结构

30 对于观察到的样本, 我们记根据 Lemma 5 的结果 diag{(x X) 1 } = (a 2 1,, a 2 p), ˆβ i N(β i, σ 2 a 2 i ), ˆβ i β a i RSS n p t n p, 所以我们可以直接得到单个回归系数的相关检验结果 Lemma 6 对于单个回归参数的检验 : 在检验水平 α 下, 拒绝域为 : H 0 : β i = 0 vs H 1 : β i 0, ˆβ i a i RSS n p t n p (α/2).

31 Lemma 7 对于单个回归参数的检验 : 在检验水平 α 下, 拒绝域为 : H 0 : β i > 0 vs H 1 : β i 0, ˆβ i a i RSS n p t n p (1 α).

32 对于整个回归模型, 由 ˆβ N(β, σ 2 (X X) 1 ), 所以 1 σ 2 ( ˆβ β) X X( ˆβ β) χ 2 p 且与 RSS 独立, 所以对于整个回归模型的检验如下 Lemma 8 针对整个回归模型的检验检验的拒绝域为 : n p p H 0 : β = β 0 vs H 1 : β β 0 ( ˆβ β 0 ) X X( ˆβ β 0 ) RSS F p,n p (α).

33 同理, 对于部分回归模型的检验结果如下 : Lemma 9 针对整个回归模型的检验 H 0 : Aβ = 0 vs H 1 : Aβ 0, 其中 A 是一个 q p 的矩阵,rank(A) = q p. 检验的拒绝域为 : n p q ˆβ A (A(X X) 1 A ) 1 A ˆβ F q,n p (α). RSS

34 类似于假设检验, 我们也可以给出相关估计的区间估计, 这里不再一一阐述 Remark 3 回归模型中的 R 2, 特别的对于回归模型直接预报出 Coefficient of determination, 定义为 R 2 = 1 RSS n i=1 (Y i Ȳ ) 2, 这是一个 0-1 之间的数字, 越接近 1 表示模型的线性拟合越好信号处理等领域与之密切相关的是 SNR(Signal-to-Noise Ratio).

35 回归模型的延伸

36 广义线性模型多项式回归模型 : Y = α + β 1 X + + β k X k + ɛ; (3) 多元线性回归模型 : Y = α + β 1 X β p X p + ɛ; (4) 变量变换例如股票数据 Y = α + β log X + ɛ or log Y = α + βx + ɛ, (5) 数学中的 Fourier 变换, 统计学中经典的 Box-Cox 变换等等

37 高维数据下的线性模型经典的最小二乘法中针对的是解释变量维度 p 相比于样本个数 n 非常小的情形随着科技的发展, 在很多领域会出现高维数据 ( 大 p, 小 n) 例如生物基因数据中,p 上万, 而样本个数 n 只有几百甚至几十, 这时候经典的方法都不再适用了

38 我们看一个均值估计的例子 Example 1 假定 X N(µ, I p ), 其中 µ = (µ 1,, µ p ). 对于一个观察样本 X = (X 1,, X p ), 考虑下面四个估计 1. θ 1 = arg min a=(a 1,,a p) 2. θ 2 = arg min 3. θ 3 = arg min 4. θ 4 = arg min p (X i a i ) 2 ; i=1 a=(a 1,,a p) { i=1 a=(a 1,,a p) { i=1 a=(a 1,,a p) { i=1 p (X i a i ) 2 + λ p (X i a i ) 2 + λ p (X i a i ) 2 + λ p ai 2 }; i=1 p a i }; i=1 p I (a i 0)}, i=1 并计算每个估计对应的均方损失 E θ i µ 2.

39 高维回归模型的方法 : 惩罚 : 可以给系数 β 加上惩罚, 希望得到一个稀疏的估计 p LASSO: arg min Y Xβ 2 + λ n β i. i=1 其他惩罚函数如 SCAD, MCP, Adaptive Lasso, Group Lasso 等另一个代表性的是 Dantzig Selector: ˆβ = arg min β p β i subject to X (Y Xβ) λ n. i=1 变量选择 Variable Selection: 可以用一些 Independent Screening 如边际相关系数来选择变量选择完变量之后, 可以直接用传统的最小二乘或者第一步中的惩罚方法 Feature Selection 和 Dimension Reduction: 假定回归函数只是其中几个方向的函数, Dimension Reduction 方法如 SIR,PHD 等另外可以从主成分分析 PCA, 典则相关系数 CCA, 因子模型等进行 Feature Selection.

40 分类问题

41 分类是统计计算机等领域中几乎最重要的实际问题 : 分类问题对于两个总体分布 F (x) 和 G(x) 和一个新的观察值 X = x, 如何分类? 分类方法需要把整个样本空间 x R p 分成两部分 A 和 A c. 当 x A 时候, 认为新的观察值来自于 F (x), 否则归类为 G(x).

42 分类问题自带损失函数, 也称为错分率 : P(X 被错分 ) =P(X A c X F )P(X F ) + P(X A X G)P(X G) =π 1 df (x) + π 2 dg(x). A c A 其中 ı 1, π 2 为先验概率 ( 或者更一般的可以延伸为错分成本 ) 如果 F (x) 和 G(x) 有对应的密度函数 f (x) 和 g(x), 那么最好的分类方法 (Bayes 分类器 ) 为 : A = {x : π 1 f (x) > π 2 g(x)}. 对应的最优错分率为 Total Variation Distance.

Previous Next First Last Ba

Previous Next First Last Ba zwp@ustc.edu.cn Office: 1006 Phone: 63600565 http://staff.ustc.edu.cn/~zwp/ http://fisher.stat.ustc.edu.cn 1.1............... 1 1.2............... 9 1.2.1.......... 16 1.2.2....... 22 1.2.3......... 23