目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

Size: px

Start display at page:

Download "目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计"

因姜
5 years ago
Views:

1 四川大学学年第二学期统计计算 2018 年 4 月 19 日

2 目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

3 一元多项式回归分析全部内容见教材第 331 至 336 页. 1 一元多项式回归模型 : 第 331 页 2 一元多项式回归模型的参数估计 1 直接计算 : 第 331 至 332 页 2 正交多项式方法一般方法 : 第 332 至 333 页变量 x 的取值不规则 : 第 333 至 335 页变量 x 的取值等间隔 : 第 335 至 336 页

4 目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

5 线性等式约束下的回归分析全部内容见教材第 336 页至 339 页. 1 问题模型 : 第 336 页 2 化为无约束回归 : 第 336 至 338 页 3 拉格朗日乘子法 : 第 338 至 339 页

6 目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

7 回归分析若干问题讨论全部内容见教材第 339 至 342 页. 1 最小二乘解的改进 : 第 339 至 340 页 2 最小二乘估计方法的改进 : 第 340 至 342 页岭回归估计主成分回归稳健回归 3 数据预处理 : 第 342 页 4 回归诊断 : 第 342 至 343 页

8 问题?

9 目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

10 回归自变量前面讨论的第一类线性回归模型中,, Y 是随机变量, X 是确定性的. 相应的优化准则为极小化 Y X 2 2.

11 回归自变量 ( 续 ) 在实际的回归问题中, X 可以是随机变量, 我们希望寻找一个函数 y = M(x). 当 X 的观测值为 x 时, 将 M(x) 作为 Y 的预测值.

12 优化准则由于 X 是随机变量, 相应的优化准则应在平均意义下最小, 因此选取均方预测误差最小的准则, 即 M(X) = argmin L E[Y L(X)] 2 其中, min 是对一切 x 的可测函数 L(x) 取极小.

13 优化准则 ( 续 ) 问题如何求 M(x)? 如果 M(x) 不好求, 这种标准也无实用意义, 回忆最小二乘解是很容易求得的.

14 最优回归函数下面的定理从理论上给出了答案. 定理当 M(X) 为条件数学期望时, 有 M(X) = E[Y X] E[Y M(X)] 2 = min L E[Y L(X)] 2

15 最优线性回归函数对自变量 x 1,, x p, 最优回归函数 M(x 1,, x p ) 是一个条件数学期望, 一般不易求出, 于是将 L(x) 限定在线性函数类中, 从而只需找 0, 1,, p, 使得 M(x 1,, x p ) = argmin E[Y ( x p x p )] 2

16 最优线性回归函数 ( 续 ) 可以证明 : 当变量 y, x 1,, x p 的联合分布为多元正态分布时, 条件期望 E(y x 1,, x p ) 必为 x 1,, x p 的线性函数, 即是说这种情况下的最优回归必定是线性回归. 因此, 我们通常考虑线性回归是有意义的.

17 正态随机变量情形下的最优回归函数设 (X, Y) 服从二元正态分布, 则 Y 关于 X 的回归曲线是一条直线. 事实上, 若 X, Y 的联合概率密度函数为 1 p(x, y) = { 1 exp [ (x 1 ) 2 2(1 2 ) (x 1)(y 2 ) + (y 2) ]},

18 正态随机变量情形下的最优回归函数 ( 续 ) 显然, X 的概率密度函数为 { 1 p 1 (x) = exp (x 1) 2 }, 于是 Y 关于 X 的条件概率密度函数为 1 p(y x) = { exp 从而 M(x) = (1 2 ) [ y 2 ] 2 } 2 (x 1 ), 1 yp(y x)dy = (x 1 )

19 正态随机向量情形下的最优回归函数上述结果可以推广到多元正态随机向量情形. 设 (X 1, X 2 ) 服从 n 1 + n 2 元正态分布, 且 ] ] [ X1 [ 1 E = =, X 2 2 [ ] 11 Cov(X, X) = = 12 T

20 正态随机向量情形下的最优回归函数 ( 续 ) 设可逆. 令 11 = T 12, 由分块矩阵求逆公式, (X 1, X 2 ) 的联合分布概率密度函数可表为 1 p(x 1, x 2 ) = exp 1 2 (2 ) n 1/2 det( 11 ) 1/2 ( x (x 2 2 ) ) T 1 11 ( )) x (x 2 2 { 1 (2 ) n 2/2 det( 22 ) exp 1 } 1/2 2 (x 2 2 ) T 1 22 (x 2 2 )

21 正态随机向量情形下的最优回归函数 ( 续 ) 根据条件概率密度公式, 立即知道在给定 X 2 = x 2 的条件下, X 1 的条件概率密度为 1 p(x 1 x 2 ) = (2 ) n 1/2 det( 11 ) 1/2 exp 1 ( x (x 2 2 ) ( x (x 2 2 )). ) T 1 11

22 正态随机向量情形下的最优回归函数 ( 续 ) 为从而 X 1 的条件均值向量与条件方差阵分别 E(X 1 x 2 ) = (x 2 2 ) = EX 1 + Cov(X 1, X 2 )(Var X 2 ) 1 (x 2 EX 2 ), Var(X 1 x 2 ) = 11 = T 12 = Var X 1 Cov(X 1, X 2 )(Var X 2 ) 1 Cov(X 2, 同理可得在给定 X 1 = x 1 的条件下, X 2 的条件均值向量与条件方差阵.

23 最优线性回归系数的求解记 = [ 1,, p ] T, x = [x 1,, x p ] T, R xx = Cov(x, x), R xy = E[(x Ex)(y Ey)], R yx = Rxy. T

24 最优线性回归系数的求解 ( 续 ) 对于最优线性回归函数 M(x) = ˆ 0 + ˆ T x, 有 (1) 系数 ˆ 0, ˆ 满足 R xx ˆ = R xy, ˆ 0 = Ey ˆ T Ex 从而 M(x) = Ey + R yx R xx(x Ex) (2) 当 R xx 可逆时, ˆ = R 1 xx R xy, ˆ 0 = Ey ˆ T Ex 从而 M(x) = Ey + R yx R 1 xx (x Ex).

25 最优线性回归系数的求解 ( 续 ) 记 Q( 0, ) = E(y 0 T x) 2, b( 0, ) = Ey ( 0 + T Ex) 于是 Q( 0, ) = E[(y Ey) T (x Ex) + Ey ( 0 + T Ex)] 2 = E(y Ey) 2 + T R xx 2 T R xy + b( 0, ) 2

26 最优线性回归系数的求解 ( 续 ) 对任意 p, 令 = ˆ, 则 Q( 0, ) E(y Ey) 2 + T R xx 2 T R xy = E(y Ey) 2 + ( ˆ + ) T R xx ( ˆ + ) 2( ˆ + ) T R xy = E(y Ey) 2 + ˆ T R xx ˆ 2 ˆ T R xy + T R xx + 2 T (R xx ˆ R xy ) E(y Ey) 2 + ˆ T R xx ˆ 2 ˆ T R xy = Q( ˆ 0, ˆ )

27 最优线性回归系数的求解 ( 续 ) 在实际应用中, x 的方差 ( 阵 ) 和 x, y 的协方差 ( 矩阵 ) 可能未知, 于是需用样本协方差作为理论协方差的估计 ( 这时就需要抽样 ). 用 L(L xx ), L xy 分别作为 R xx, R xy 的估计, 在 x 的抽样值构成的矩阵满列秩条件下, 可得回归系数为 ˆ = L 1 L xy, ˆ 0 = y ˆ 1 x 1 ˆ p x p 显然, 上面两式与第一类回归系数的计算公式完全相同.

28 目录 1 一元多项式回归分析 2 线性等式约束下的回归分析 3 回归分析若干问题讨论 4 第二类回归分析 5 随机动态系统最优状态估计

29 线性最小均方误差估计对随机向量 x 和 y, 由线性最小均方误差估计理论, 用 y 对 x 的线性最小均方误差估计可唯一地表为 ˆx y = Ex + R xy R y(y Ey), 且 ˆx y 显然是 x 的无偏估计, 其均方误差矩阵为 E(x ˆx y )(x ˆx y ) T = R x R xy R yr yx.

30 离散时间状态空间描述假设一个离散时间线性动态过程的状态 x k 和其观测 y k 满足下列两个方程 : x k+1 = F k x k + v k, y k = H k x k + w k, 其中 k = 0,1, 表示时间, 且 F k : 转移矩阵已知或预先通过估计得到 H k : 观测矩阵已知或预先通过估计得到 v k : 过程噪声零均值, 无法观测 w k : 观测噪声零均值, 无法观测

31 状态的最小均方误差估计假设对系统直到时刻 j 有观测 y 1,, y j, 记 y 1 y 1:j =.. 我们的目的是利用所有到时刻 j 的观测 y 1:j 去估计时刻 k 的状态 x k, 记该估计为 x k j. y j

32 状态的最优估计利用观测数据 y 1:j, 状态 x k 的线性最小均方误差估计为其中 : x k j = Ex k + R xk y 1:j R y 1:j (y 1:j Ey 1:j ), 1 若 j > k, 则 x k j 称为内插或平滑 ; 2 若 j = k, 则 x k k 称为滤波 ; 3 若 j < k, 则 x k j 称为预报.

33 状态最优估计的计算问题直接利用公式 x k j = Ex k + R xk y 1:j R y 1:j (y 1:j Ey 1:j ) 计算 x k j 的方法称为批处理算法. 显然, 批处理算法要求保存时刻 j 之前的所有观测数据, 且需要计算维数不断增加的矩阵的广义逆, 因此批处理算法的存储量和计算量均很高.

34 状态最优估计的计算问题直接利用公式 x k j = Ex k + R xk y 1:j R y 1:j (y 1:j Ey 1:j ) 计算 x k j 的方法称为批处理算法. 显然, 批处理算法要求保存时刻 j 之前的所有观测数据, 且需要计算维数不断增加的矩阵的广义逆, 因此批处理算法的存储量和计算量均很高.

35 状态最优估计的计算问题问题 x k j 能否用递推算法获得?

36 Kalman 滤波对随机动态系统 x k+1 = F k x k + v k, y k = H k x k + w k, 以下只考虑 j = k 情形下的最优估计, 即 x k k = Ex k + R xk y 1:k R y 1:k (y 1:k Ey 1:k ).

37 Kalman 滤波考虑如下基本假设 : 1 过程噪声 {v k } 和观测噪声 {w k } 为互不相关零均值白噪声序列, 即对任意 k, l = 0,1,, Ev k = 0, Cov(v k, v l ) = Ev k v T l = R vk kl, Ew k = 0, Cov(w k, w l ) = Ew k w T l = R wk kl, Cov(v k, w l ) = Ev k w T l = O; 2 初始状态 x 0 的均值与方差已知, 且满足 : Cov(x 0, v k ) = Ex 0 v T k = 0, Cov(x 0, w k ) = Ex 0 w T k = 0.

38 Kalman 滤波公式 x k+1 k+1 = x k+1 k + K k+1 (y k+1 H k+1 x k+1 k ) = (I K k+1 H k+1 )x k+1 k + K k+1 y k+1, x k+1 k = F k x k k, K k+1 = P k+1 k H T k+1 (H k+1p k+1 k H T k+1 + R w k+1 ), P k+1 k = F k P k F T k + R v k, P k+1 = (I K k+1 H k+1 )P k+1 k = (I K k+1 H k+1 )P k+1 k (I K k+1 H k+1 ) T + K k+1 R wk+1 K T k+1, 其中 x 0 0 = Ex 0, P 0 = Var x 0.

39 Kalman 滤波公式的说明 Kalman 滤波因为是一种递推算法, 在许多实际的随机动态系统中具有特别重要的应用. 其递推计算过程是一种一步预报和修正的循环. 这种将迭代或递推过程分解成预报和更新两个步骤的思想和方法已经广泛应用于在自然科学工程技术经济等领域.

40 Kalman 滤波公式的说明 1 预报是基于 k 时刻状态 x k 的滤波值 x k k 对状态 x k+1 做最优估计 : x k+1 k = F k x k k ; 2 更新是在得到新鲜的观测值 y k+1, 从而获得新息 ỹ k+1 = y k+1 H k+1 x k+1 k 之后, 对上述预测结果 x k+1 k 进行修正, 以获得状态 x k+1 的最优滤波结果 : x k+1 k+1 = x k+1 k + K k+1 ỹ k+1.

41 问题?

Microsoft PowerPoint - 概率统计Ch02.ppt [Compatibility Mode]

Microsoft PowerPoint - 概率统计Ch02.ppt [Compatibility Mode] 66 随机变量的函数.5 随机变量的函数的分布设是一随机变量, 是的函数, g(, 则也是一个随机变量. 本节的任务 : 当取值 x 时, 取值 y g 67 ( 一离散型随机变量的函数设是离散型随机变量, 其分布律为或 P { x } p (,, x x, P p p, x p 已知随机变量的分布, 并且已知 g 要求随机变量的分布. (, 是的函数 : g(, 则也是离散型随机变