数学建模 哈尔滨理工大学应用数学系 数学是知识的工具, 亦是其它知识工具的泉源 勒内 笛卡尔
第 5 章统计分析模型 主讲人 : 陈东彦教授 哈尔滨理工大学应用数学系 dychen_004@aliyun.com
内容 1 3 回归分析模型 聚类分析模型 判别分析模型 数学建模
第 13 讲 回归分析模型 数学建模
回归分析方法是 黑箱 建模中常用的方法 利用给定函数 f(x) 的一组观测值 ( x, f ), i 1,,, m 确定函数 f(x) 式的表示. i i 数学建模
一 一元线性回归模型 一元线性回归是处理两个变量之间关系的最简单的回归模型 对于给定的数据 (xi, fi), i=1,,, m 1) 画散点图,) 直观判断, 3) 设定模型, 4) 拟合模型中参数,5) 检验,6) 预测
一 一元线性回归模型 例 5.1 为了估计山上积雪融化后对山下农田灌溉的影响, 在山上建立了一个观察站, 测量了最大积雪深度 x 与 当年灌溉面积 y, 得到连续 10 年的数据, 如表 6.1 所示 研究这些数据中所蕴含的规律性, 即写出关于 x 和 y 的回归方程
一 一元线性回归模型 表 5.1 最大积雪深度与灌溉面积观测数据 年序最大积雪深度 x( 尺 ) 灌溉面积 y( 千亩 ) 1 3 4 5 6 7 8 9 10 15. 10.4 1. 18.6 6.4 3.4 13.5 16.7 4.0 19.1 8.6 19.3 40.5 35.6 48.9 45.0 9. 34.1 46.7 37.4
建模与求解 一 一元线性回归模型 1) 画散点图横坐标 : 各年最大积雪深度 x 纵坐标 : 相应的灌溉面积 y y 40 30 0 O 10 15 0 5 x
一 一元线性回归模型 ) 直观判断 数据点大致落在一条直线附近 3) 设定模型 假设有如下结构式 y x 其中, 和 是未知常数, 称为回归系数, 是随机误差, 满足 E( ) 0, Var( )
一 一元线性回归模型 4) 拟合模型中参数 ; 只要能从观测数据中得到 回归方程为 ŷ a bx 和 的估计值 a, b, 则 (a 和 b 亦称为回归系数 ) 它近似地反映了变量 x 和 y 之间的线性关系 选择 a 和 b 的原则 : 使回归直线与所有数据点都比较 接近, 通常采用残差平方和来刻画所有观察值 与回归直线的偏差程度, 即选择 a 和 b, 使得 n n ˆ i i i i i1 i1 min Q ( y y ) ( y a bx )
一 一元线性回归模型 n min Q ( y yˆ ) i 1 n ( y a bx ) i 1 i i i i n Q ( yi a bxi) 0 a i 1 n Q ( yi a bxi ) xi 0 b i 1 L n n xy 1 1 a y bx, b ( x xi, y yi) L n n xx i1 i1 1 L x x x x n n n xx ( i ) ( i ) ( i ) i 1 i 1 n i 1 n n n n 1 L ( x x)( y y) x y ( x )( y ) n xy i i i i i i i 1 i 1 i 1 i 1
一 一元线性回归模型 回归方程 : yˆ.355 1.813 x y b1.813, a.355 可见 : 40 30 回归方程的图像与 0 所有数据点都很接近 O 10 15 0 5 x
5) 检验 : 1 F F n S F(1, n ) 一 一元线性回归模型 a) 采用 F 检验检验两变量是否具有线性关系 S /1 / n- ~ (1, ) n S1 ( yˆ i y) : 回归平方和 i n 1 S ˆ ( yi y i) : 残差平方和 i1 : 第一自由度为 1, 第二自由度为 n- 的 F 分布 在给定显著性水平 下, F > F (F 表中的临界值 ) x 与 y 之间有十分显著的线性相关关系
一 一元线性回归模型 5) 检验 : 采用 F 检验检验两变量是否具有线性关系 对本例进行检验, 得 F 748961 37.766 11.6 F0.01 (1, 8) 16.074 (10 ) x 与 y 之间有十分显著的线性相关关系
一 一元线性回归模型 b) 利用相关系数检验两变量是否具有线性关系 r 查阅相关系数 r 检验表获取 r 的值. 通常当 r 大于表上 5% 相应值, 但小于表上 1% 相应值时 L L xx xy L yy 称 x 与 y 之间有显著的线性关系 ; 通常当 r 小于表上 5% 相应值称 x 与 y 之间没有显著的线性关系 大于表上 1% 相应值时 称 x 与 y 之间有十分显著的线性关系
在本例中 一 一元线性回归模型 利用相关系数检验两变量是否具有线性关系 Lxy r 0.9894, n 10 L L 5 xx yy 查表中 % 相应值为 0.63, 1% 相应值为 0.765 r 0.9894 0.765 故最大积雪深度与灌溉面积有十分显著的线性关系
二 多元线性回归模型 多元线性回归是处理多个变量之间关系的最简单的模型, 是一元线性回归的推广 多元线性回归模型为 : 用最小二乘法求 bj y x x 0 1 1 p p 其中, i 是未知常数, 称为回归系数, 是随机误差, 满足 E( ) 0, var( ) 若 bj 分别为 j( j 0,1,, p) 的估计值, n 组数据 ( yi, xi1, xi,, xip ) n min Q ( yi b0 b1 xi1 bpxip ) i1
二 多元线性回归模型 求解 n min Q ( yi b0 b1 xi1 bpxip ) i1 写成矩阵形式 min Q ( Y Xb) T ( Y Xb) 其中 y1 b0 1 x11 x1 p y b 1 x x y bp 1 x n n1 xnp 1 1 p Y, b, X 类似于一元线性回归, 系数估计值为 T 1 T b X X X Y
二 多元线性回归模型 模型检验 : a) 回归方程的显著性检验 S / p ~ (1, 1) S / n - p 1 1 F F n p F( p, n p 1) 1 n ( ˆ i ) : i1 S y y ˆ 回归平方和 n S ( yi y i) : 残差平方和 i1 y b b x b x b x ˆi 0 1 i 1 i p ip : 自由度为 p 和 n-p-1 的 F 分布 在给定显著性水平 下, F > F (F 表中的临界值 ) y 与 x 之间整体的线性相关关系显著成立
二 多元线性回归模型 模型检验 : b) 回归系数的显著性检验 bj Tj ~ t( n p 1) c jj c jj T ( X X ) T ˆ ˆ ˆ ( n p1) ˆ Y Xb 1 jj 为残差向量 t( n p 1) : 自由度为 n-p-1 的 t 分布 T t ( 1) n p 在给定显著性水平下, j j 0 x j 则回归系数, 说明对 y 有显著的影响
例 5. 二 多元线性回归模型 中国的税收收入 1978 年为 519.8 亿元, 到 00 年已增长到 17636.45 亿元,5 年间增长了 33 倍, 数据见表 5. 所示 建立模型预测中国税收未来的增长趋势, 分析中央和地方税收收入的增长规律
二 多元线性回归模型 表 5. 中国税收收入及相关数据 年份 税收收入 ( 亿元 )Y 国内生产总值 ( 亿元 )X1 财政支出 ( 亿元 ) X 商品零售价指数 (%)X3 1978 519.8 364.1 11.09 100.7 1979 537.8 4038. 181.79 10.0 1980 571.70 4517.8 18.83 106.0 1981 69.89 486.4 1138.41 10.4 1998 96.80 78345. 10798.18 97.4 1999 1068.58 8067.5 13187.67 97.0 000 1581.51 89468.1 15886.50 98.5 001 15301.38 97314.8 1890.58 99. 00 17636.45 104790.6 053.15 98.7
二 多元线性回归模型 问题分析影响中国税收收入增长的主要的因素可能有 : 解释变量 (1) 经济整体增长 () 公共财政的需求 (3) 物价水平 (4) 税收政策因素 国内生产总值 X1 财政支出 X 商品零售物价指数 X3
二 多元线性回归模型 模型建立及求解 类似于一元回归, 分别在平面上画出 Xi~Y 的散点图,i=1,, 3, 并观察 Xi 与 Y 之间的线性关系 ( 图略 ), 获知它们均具有较明显的线性函数关系 故设定模型为 Y X X X 0 1 1 3 3 t
二 多元线性回归模型 b b b b 0 1 3 58.791 0.0067 0.70104 3.98541 y1 b0 1 x11 x1 p y b 1 x x y bp 1 x n n1 xnp 1 1 p Y, b, X T 1 T b X X X Y 回归方程 : Y 58.791 0.0067 x 0.70104 x 3.98541 x 1 3
二 多元线性回归模型 模型检验 : a) 回归方程的显著性检验 S / p ~ (, 1) S / n - p 1 1 F F p n p 1 n ( ˆ i ) : i1 S y y n ( i i) : i1 回归平方和 S y y ˆ 残差平方和 y b b x b x b x ˆi 0 1 i 1 i p ip F 717.38 3.075 F (3, 1) 0.05 y 与 x1 x x3 之间整体的线性相关关系显著成立 即 国内生产总值 财政支出 商品零售物价指数 等变量联合起来确实对 税收收入 有显著影响
二 多元线性回归模型 模型检验 : b) 回归系数的显著性检验 T T T 1 3 3.9566 1.147.7449 bj Tj ~ t( n p 1) c jj 在给定显著性水平 =0.05 下 T t ( n p 1) t (1).080 j 0.05 当在其它解释变量不变的情况下, 国内生产总值 X1 财政支出 X 商品零售物价指数 X3 分别对被解释变量 税收收入 Y 都有显著的影响
三 非线性回归模型 在很多实际问题中, 当从散点图或从机理分析判断两变量之间的关系不是线性关系时, 应考虑采用非线性回归方法 一般非线性模型的形式 y f ( x, ) 其中 : f 是一般的函数, 是一随机误差变量, 是 p 维参数向量, E( ) 0, Var( )
三 非线性回归模型 内线性模型 y 对自变量 x 都不是线性的, 但经过变换可变成线性结构 y e, y ln x, y x 0 1 x 0 1 0 1 0 1 1 x y, y 0e, y 0x, y ( 0 1x) x e 1 1 1 用适当的代换 线性模型 内线性模型 ( 可化为线性模型的回归问题 )
三 非线性回归模型 内线性模型处理 一般可先化为线性模型 再利用最小二乘法求出参数的估计值 最后再经过适当的变换, 得到所求的回归曲线
三 非线性回归模型 例 5.3 为了检验 X 射线的杀菌作用, 用 00 千伏的 X 射线来照射细菌每次照射 6 分钟. 照射次数记为 t, 共照射 15 次, 各次照射后所剩细菌数 y 如下表所示表 6.3 细菌数观测数据 序号 1 3 4 5 6 7 8 t 1 3 4 5 6 7 8 y 35 11 197 160 14 106 104 60 序号 9 10 11 1 13 14 15 t 9 10 11 1 13 14 15 y 56 38 36 3 1 19 15
三 非线性回归模型 例 5.3 的建模与求解 1) 画散点图 ) 直观判断 y 350 50 150 50 yˆ 39.74568 0.1843t e 可供选择的非线性模型 t 双曲函数 y at b 抛物线 ( 幂函数的变形 ) y at bt c 0 10 14 x 指数函数 y ae bt
三 非线性回归模型 例 5.3 的建模与求解 3) 设定模型选定指数函数 两端同时取对数, 得 ln 0 1 y ae bt y ln a bt 令 ln a, b, y ln y y 01t 采用最小二乘法 0和 1的估计值 yˆ 5.97316 0.1843 t 或 yˆ e 0.1843 t yˆ 39.74568 e 5.97316 0.1843 t
三 非线性回归模型 一般非线性模型 求 最小二乘 拟和曲线, 就是求 的估计 ˆ 使 最小 n n i i i i1 i1 S( ) [ y f ( x, )] 再将 ˆ 的值代入 f( x, ) 得到拟合曲线 yˆ f ( x, ˆ ) 求解非线性规划问题 通常采用高斯 - 牛顿方法求解
三 非线性回归模型 高斯 - 牛顿方法求解 ( x, y )( i 1,,, n) i i : 观察数据, f ( ) (, ) i 代替 f x i S 代替 S( ) 在 0 点处, 将 fi ( ) 泰勒展开 f ( ) f ( ) J( )( ) 0 0 0 ( 取前两项 ) 式中 f f1 f f n ( ) ( ), ( ),, ( ) T J( ) 是 n p 0 阶雅克比矩阵
三 非线性回归模型 高斯 - 牛顿方法求解 J( ) 是 n p 0 f ( ) f ( ) J( )( ) 阶雅克比矩阵 0 0 0 J( ) 0 f1( ) f1( ) f1( ) 1 p f( ) f( ) f( ) 1 p fn( ) fn( ) fn( ) 1 p 0
记 则 记 三 非线性回归模型 高斯 - 牛顿方法求解 y ( y1, y,, y ) T n n T [ i ( i, )] [ ( )] [ ( )] i1 S y f x y f y f [ y f ( ) J( )( )] [ y f ( ) J( )( )] T 0 0 0 0 0 0 [ y f ( )] [ y f ( )] [ y f ( )] J( )( ) T T 0 0 0 0 0 T T ( 0) J( 0) J( 0)( 0) s s s g( ) (,,, ) T 1 T T 则 0 0 0 0 0 n g( ) J( ) [ y f ( )] J( ) J( )( )
令 g( ) 0 三 非线性回归模型 高斯 - 牛顿方法求解 g( ) J( ) [ y f ( )] J( ) J( )( ) T T 0 0 0 0 0 J( ) J( )( ) J( ) [ y f ( )] T T 0 0 0 0 0 [ J( ) J( )] J( ) [ y f ( )] T 1 T 0 0 0 0 0 T 1 T i 1 i [ J( i ) J( )] i J( i ) [ y f ( i )] 递推公式
三 非线性回归模型 高斯 - 牛顿方法求解 考虑线性模型 y x 雅克比矩阵为 J( ) 无论从哪一点开始, 第一估计 为 x 0 1 这与线性回归中的结果一样 [ x x] x [ y x ] [ x x] x y T 1 T T 1 T 1 0 0 继续下去, 估计值不变, 即第一步就可得到的估计值 注 求回归直线的方法是高斯 - 牛顿方法的特殊情形
例 5.4 三 非线性回归模型 根据药理学的蛋白结合原理, 蛋白的 Langmuir 型单分 子层具有吸附功能, 在恒温的条件下, 每一克蛋白的药 物吸附量 y 与血浆浓度 x 的关系为 求 与 的估计值 表 6.4 药物吸附量与血浆浓度观测数据 y x x 观察值如下 序号 1 3 4 5 6 7 8 9 10 x 1.7 1.1 51.7 77. 1.4 9.5.5 4.3 67.8 34.8 y 0.103 0.466 0.767 1.573.46 0.083 0.399 0.889 1.735.360
例 5.4 的求解 采用高斯 - 牛顿公式, 直接求和 的估计值 f x f x, ( x) 取 a, b 的初值为 0 0 J 与 y f 三 非线性回归模型 0 0 为 a x 61.39, b 5.98
三 非线性回归模型 例 5.4 的求解 0.0010 0.0463 0.1741 0.0016 0.0747 0.0190 0.003 0.1651 0.05 0.0040 0.80 0.095 0.0057 0.4483 0.188 J0 y f0 0.0008 0.0351 0.167 0.0017 0.0793 0.0750 0.007 0.1793 0.0561 0.0037 0.060 0.5034 0.0057 0.473 0.4698 [ J J ] J ( y f ) ( 188.6, 3.0) T 1 T T 0 0 0 0
三 非线性回归模型 例 5.4 的求解 a b 1 1 61.39 188.6 7.77, 5.98 3.0.96 若取临界值 0.00005 继续迭代 y 11 yˆ x 0.000830 0.008966x a 144. 66, b4. 05 110 拟和曲线 108 yˆ 4.05x 144.66 x 106 4 8 1 16 x 药物吸附量散点图与回归曲线
教材第 5 章 : 作业 思考题 5 5.1 5. 哈尔滨理工大学应用数学系
哈尔滨理工大学应用数学系 Thank you