Template

Size: px

Start display at page:

Download "Template"

斌器温
5 years ago
Views:

1 数学建模哈尔滨理工大学应用数学系数学是知识的工具, 亦是其它知识工具的泉源勒内笛卡尔

2 第 5 章统计分析模型主讲人 : 陈东彦教授哈尔滨理工大学应用数学系 dychen_004@aliyun.com

3 内容 1 3 回归分析模型聚类分析模型判别分析模型数学建模

4 第 13 讲回归分析模型数学建模

5 回归分析方法是黑箱建模中常用的方法利用给定函数 f(x) 的一组观测值 ( x, f ), i 1,,, m 确定函数 f(x) 式的表示. i i 数学建模

6 一一元线性回归模型一元线性回归是处理两个变量之间关系的最简单的回归模型对于给定的数据 (xi, fi), i=1,,, m 1) 画散点图,) 直观判断, 3) 设定模型, 4) 拟合模型中参数,5) 检验,6) 预测

7 一一元线性回归模型例 5.1 为了估计山上积雪融化后对山下农田灌溉的影响, 在山上建立了一个观察站, 测量了最大积雪深度 x 与当年灌溉面积 y, 得到连续 10 年的数据, 如表 6.1 所示研究这些数据中所蕴含的规律性, 即写出关于 x 和 y 的回归方程

8 一一元线性回归模型表 5.1 最大积雪深度与灌溉面积观测数据年序最大积雪深度 x( 尺 ) 灌溉面积 y( 千亩 )

9 建模与求解一一元线性回归模型 1) 画散点图横坐标 : 各年最大积雪深度 x 纵坐标 : 相应的灌溉面积 y y O x

10 一一元线性回归模型 ) 直观判断数据点大致落在一条直线附近 3) 设定模型假设有如下结构式 y x 其中, 和是未知常数, 称为回归系数, 是随机误差, 满足 E( ) 0, Var( )

11 一一元线性回归模型 4) 拟合模型中参数 ; 只要能从观测数据中得到回归方程为 ŷ a bx 和的估计值 a, b, 则 (a 和 b 亦称为回归系数 ) 它近似地反映了变量 x 和 y 之间的线性关系选择 a 和 b 的原则 : 使回归直线与所有数据点都比较接近, 通常采用残差平方和来刻画所有观察值与回归直线的偏差程度, 即选择 a 和 b, 使得 n n ˆ i i i i i1 i1 min Q ( y y ) ( y a bx )

12 一一元线性回归模型 n min Q ( y yˆ ) i 1 n ( y a bx ) i 1 i i i i n Q ( yi a bxi) 0 a i 1 n Q ( yi a bxi ) xi 0 b i 1 L n n xy 1 1 a y bx, b ( x xi, y yi) L n n xx i1 i1 1 L x x x x n n n xx ( i ) ( i ) ( i ) i 1 i 1 n i 1 n n n n 1 L ( x x)( y y) x y ( x )( y ) n xy i i i i i i i 1 i 1 i 1 i 1

13 一一元线性回归模型回归方程 : yˆ x y b1.813, a.355 可见 : 回归方程的图像与 0 所有数据点都很接近 O x

14 5) 检验 : 1 F F n S F(1, n ) 一一元线性回归模型 a) 采用 F 检验检验两变量是否具有线性关系 S /1 / n- ~ (1, ) n S1 ( yˆ i y) : 回归平方和 i n 1 S ˆ ( yi y i) : 残差平方和 i1 : 第一自由度为 1, 第二自由度为 n- 的 F 分布在给定显著性水平下, F > F (F 表中的临界值 ) x 与 y 之间有十分显著的线性相关关系

15 一一元线性回归模型 5) 检验 : 采用 F 检验检验两变量是否具有线性关系对本例进行检验, 得 F F0.01 (1, 8) (10 ) x 与 y 之间有十分显著的线性相关关系

16 一一元线性回归模型 b) 利用相关系数检验两变量是否具有线性关系 r 查阅相关系数 r 检验表获取 r 的值. 通常当 r 大于表上 5% 相应值, 但小于表上 1% 相应值时 L L xx xy L yy 称 x 与 y 之间有显著的线性关系 ; 通常当 r 小于表上 5% 相应值称 x 与 y 之间没有显著的线性关系大于表上 1% 相应值时称 x 与 y 之间有十分显著的线性关系

17 在本例中一一元线性回归模型利用相关系数检验两变量是否具有线性关系 Lxy r , n 10 L L 5 xx yy 查表中 % 相应值为 0.63, 1% 相应值为 r 故最大积雪深度与灌溉面积有十分显著的线性关系

二多元线性回归模型多元线性回归是处理多个变量之间关系的最简单的模型, 是一元线性回归的推广多元线性回归模型为 : 用最小二乘法求 bj y x x 0 1 1 p p 其中, i 是未知常数, 称为回归系数,

18 二多元线性回归模型多元线性回归是处理多个变量之间关系的最简单的模型, 是一元线性回归的推广多元线性回归模型为 : 用最小二乘法求 bj y x x p p 其中, i 是未知常数, 称为回归系数, 是随机误差, 满足 E( ) 0, var( ) 若 bj 分别为 j( j 0,1,, p) 的估计值, n 组数据 ( yi, xi1, xi,, xip ) n min Q ( yi b0 b1 xi1 bpxip ) i1

19 二多元线性回归模型求解 n min Q ( yi b0 b1 xi1 bpxip ) i1 写成矩阵形式 min Q ( Y Xb) T ( Y Xb) 其中 y1 b0 1 x11 x1 p y b 1 x x y bp 1 x n n1 xnp 1 1 p Y, b, X 类似于一元线性回归, 系数估计值为 T 1 T b X X X Y

20 二多元线性回归模型模型检验 : a) 回归方程的显著性检验 S / p ~ (1, 1) S / n - p 1 1 F F n p F( p, n p 1) 1 n ( ˆ i ) : i1 S y y ˆ 回归平方和 n S ( yi y i) : 残差平方和 i1 y b b x b x b x ˆi 0 1 i 1 i p ip : 自由度为 p 和 n-p-1 的 F 分布在给定显著性水平下, F > F (F 表中的临界值 ) y 与 x 之间整体的线性相关关系显著成立

21 二多元线性回归模型模型检验 : b) 回归系数的显著性检验 bj Tj ~ t( n p 1) c jj c jj T ( X X ) T ˆ ˆ ˆ ( n p1) ˆ Y Xb 1 jj 为残差向量 t( n p 1) : 自由度为 n-p-1 的 t 分布 T t ( 1) n p 在给定显著性水平下, j j 0 x j 则回归系数, 说明对 y 有显著的影响

22 例 5. 二多元线性回归模型中国的税收收入 1978 年为亿元, 到 00 年已增长到亿元,5 年间增长了 33 倍, 数据见表 5. 所示建立模型预测中国税收未来的增长趋势, 分析中央和地方税收收入的增长规律

23 二多元线性回归模型表 5. 中国税收收入及相关数据年份税收收入 ( 亿元 )Y 国内生产总值 ( 亿元 )X1 财政支出 ( 亿元 ) X 商品零售价指数 (%)X

24 二多元线性回归模型问题分析影响中国税收收入增长的主要的因素可能有 : 解释变量 (1) 经济整体增长 () 公共财政的需求 (3) 物价水平 (4) 税收政策因素国内生产总值 X1 财政支出 X 商品零售物价指数 X3

25 二多元线性回归模型模型建立及求解类似于一元回归, 分别在平面上画出 Xi~Y 的散点图,i=1,, 3, 并观察 Xi 与 Y 之间的线性关系 ( 图略 ), 获知它们均具有较明显的线性函数关系故设定模型为 Y X X X t

26 二多元线性回归模型 b b b b y1 b0 1 x11 x1 p y b 1 x x y bp 1 x n n1 xnp 1 1 p Y, b, X T 1 T b X X X Y 回归方程 : Y x x x 1 3

27 二多元线性回归模型模型检验 : a) 回归方程的显著性检验 S / p ~ (, 1) S / n - p 1 1 F F p n p 1 n ( ˆ i ) : i1 S y y n ( i i) : i1 回归平方和 S y y ˆ 残差平方和 y b b x b x b x ˆi 0 1 i 1 i p ip F F (3, 1) 0.05 y 与 x1 x x3 之间整体的线性相关关系显著成立即国内生产总值财政支出商品零售物价指数等变量联合起来确实对税收收入有显著影响

28 二多元线性回归模型模型检验 : b) 回归系数的显著性检验 T T T bj Tj ~ t( n p 1) c jj 在给定显著性水平 =0.05 下 T t ( n p 1) t (1).080 j 0.05 当在其它解释变量不变的情况下, 国内生产总值 X1 财政支出 X 商品零售物价指数 X3 分别对被解释变量税收收入 Y 都有显著的影响

29 三非线性回归模型在很多实际问题中, 当从散点图或从机理分析判断两变量之间的关系不是线性关系时, 应考虑采用非线性回归方法一般非线性模型的形式 y f ( x, ) 其中 : f 是一般的函数, 是一随机误差变量, 是 p 维参数向量, E( ) 0, Var( )

30 三非线性回归模型内线性模型 y 对自变量 x 都不是线性的, 但经过变换可变成线性结构 y e, y ln x, y x 0 1 x x y, y 0e, y 0x, y ( 0 1x) x e 用适当的代换线性模型内线性模型 ( 可化为线性模型的回归问题 )

31 三非线性回归模型内线性模型处理一般可先化为线性模型再利用最小二乘法求出参数的估计值最后再经过适当的变换, 得到所求的回归曲线

32 三非线性回归模型例 5.3 为了检验 X 射线的杀菌作用, 用 00 千伏的 X 射线来照射细菌每次照射 6 分钟. 照射次数记为 t, 共照射 15 次, 各次照射后所剩细菌数 y 如下表所示表 6.3 细菌数观测数据序号 t y 序号 t y

33 三非线性回归模型例 5.3 的建模与求解 1) 画散点图 ) 直观判断 y yˆ t e 可供选择的非线性模型 t 双曲函数 y at b 抛物线 ( 幂函数的变形 ) y at bt c x 指数函数 y ae bt

34 三非线性回归模型例 5.3 的建模与求解 3) 设定模型选定指数函数两端同时取对数, 得 ln 0 1 y ae bt y ln a bt 令 ln a, b, y ln y y 01t 采用最小二乘法 0和 1的估计值 yˆ t 或 yˆ e t yˆ e t

35 三非线性回归模型一般非线性模型求最小二乘拟和曲线, 就是求的估计 ˆ 使最小 n n i i i i1 i1 S( ) [ y f ( x, )] 再将 ˆ 的值代入 f( x, ) 得到拟合曲线 yˆ f ( x, ˆ ) 求解非线性规划问题通常采用高斯 - 牛顿方法求解

36 三非线性回归模型高斯 - 牛顿方法求解 ( x, y )( i 1,,, n) i i : 观察数据, f ( ) (, ) i 代替 f x i S 代替 S( ) 在 0 点处, 将 fi ( ) 泰勒展开 f ( ) f ( ) J( )( ) ( 取前两项 ) 式中 f f1 f f n ( ) ( ), ( ),, ( ) T J( ) 是 n p 0 阶雅克比矩阵

37 三非线性回归模型高斯 - 牛顿方法求解 J( ) 是 n p 0 f ( ) f ( ) J( )( ) 阶雅克比矩阵 J( ) 0 f1( ) f1( ) f1( ) 1 p f( ) f( ) f( ) 1 p fn( ) fn( ) fn( ) 1 p 0

38 记则记三非线性回归模型高斯 - 牛顿方法求解 y ( y1, y,, y ) T n n T [ i ( i, )] [ ( )] [ ( )] i1 S y f x y f y f [ y f ( ) J( )( )] [ y f ( ) J( )( )] T [ y f ( )] [ y f ( )] [ y f ( )] J( )( ) T T T T ( 0) J( 0) J( 0)( 0) s s s g( ) (,,, ) T 1 T T 则 n g( ) J( ) [ y f ( )] J( ) J( )( )

39 令 g( ) 0 三非线性回归模型高斯 - 牛顿方法求解 g( ) J( ) [ y f ( )] J( ) J( )( ) T T J( ) J( )( ) J( ) [ y f ( )] T T [ J( ) J( )] J( ) [ y f ( )] T 1 T T 1 T i 1 i [ J( i ) J( )] i J( i ) [ y f ( i )] 递推公式

40 三非线性回归模型高斯 - 牛顿方法求解考虑线性模型 y x 雅克比矩阵为 J( ) 无论从哪一点开始, 第一估计为 x 0 1 这与线性回归中的结果一样 [ x x] x [ y x ] [ x x] x y T 1 T T 1 T 继续下去, 估计值不变, 即第一步就可得到的估计值注求回归直线的方法是高斯 - 牛顿方法的特殊情形

41 例 5.4 三非线性回归模型根据药理学的蛋白结合原理, 蛋白的 Langmuir 型单分子层具有吸附功能, 在恒温的条件下, 每一克蛋白的药物吸附量 y 与血浆浓度 x 的关系为求与的估计值表 6.4 药物吸附量与血浆浓度观测数据 y x x 观察值如下序号 x y

42 例 5.4 的求解采用高斯 - 牛顿公式, 直接求和的估计值 f x f x, ( x) 取 a, b 的初值为 0 0 J 与 y f 三非线性回归模型 0 0 为 a x 61.39, b 5.98

43 三非线性回归模型例 5.4 的求解 J0 y f [ J J ] J ( y f ) ( 188.6, 3.0) T 1 T T

44 三非线性回归模型例 5.4 的求解 a b , 若取临界值继续迭代 y 11 yˆ x x a , b 拟和曲线 108 yˆ 4.05x x x 药物吸附量散点图与回归曲线

45 教材第 5 章 : 作业思考题哈尔滨理工大学应用数学系

46 哈尔滨理工大学应用数学系 Thank you

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074>

<4D F736F F F696E74202D20CAB5CFB0C1F920CAFDD6B5B1E4C1BFD7CAC1CFB5C4CDB3BCC6CDC6B6CF E707074> 卫生统计学实习何平平北京大学公共卫生学院流行病与卫生统计学系 Tel: 82801619 实习六数值变量资料的统计推断 ( 三 ) 第 237~249 页一直线回归 (linear regression) ( 一 ) 定义 : 用直线方程表达 X( 自变量,independent variable) 和 Y ( 应变量,dependent variable) 之间的数量关系 Yˆ = a+