ii

Size: px

Start display at page:

Download "ii"

袈壤侯
9 years ago
Views:

1 i 概率统计讲义原著 : 何书元课件制作 : 李东风 2015 年秋季学期

2 ii

3 目录第一章古典概型和概率空间试验与事件古典概型与几何概型古典概型几何概型概率的公理化和加法公式概率的公理化概率的加法公式概率的连续性条件概率和乘法公式事件的独立性全概率公式与 Bayes 公式全概率公式 Bayes 公式概率与频率第二章随机变量和概率分布随机变量离散型随机变量连续型随机变量概率分布函数概率分布函数常见分布的分布函数随机变量函数的分布第三章随机向量及其分布随机向量及其联合分布离散型随机向量及其分布 iii

4 iv 目录 3.3 连续型随机向量及其分布随机向量函数的分布极大极小值的分布条件分布和条件密度第四章数学期望和方差数学期望数学期望概念常见分布数学期望数学期望的性质随机向量函数的数学期望数学期望的性质随机变量的方差协方差和相关系数第五章多元正态分布和极限定理多元正态分布大数律中心极限定理第六章描述性统计总体和参数抽样调查方法用样本估计总体分布众数和中位数随机对照试验第七章参数估计点估计和矩估计最大似然估计离散型随机变量的情况连续型随机变量的情况抽样分布及其上 α 分位数抽样分布抽样分布的上 α 分位数正态总体的区间估计已知 σ 时, µ 的置信区间未知 σ 时 µ 的置信区间

5 目录 v 方差 σ 2 的置信区间均值差 µ 1 µ 2 的置信区间方差比 σ1/σ 的置信区间单侧置信区间非正态总体和比例 p 的置信区间正态逼近法比例 p 的置信区间第八章假设检验假设检验的概念正态均值的假设检验已知 σ 时, µ 的正态检验法 p 值检验法未知 σ 时, 均值 µ 的 t 检验法未知 σ 时, µ 的单边检验法正态近似法样本量的选择均值比较的检验已知 σ1 2, σ2 2 时, µ 1, µ 2 的检验未知 σ1, 2 σ2, 2 但已知 σ1 2 = σ2 2 时, µ 1 µ 2 的检验成对数据的假设检验未知 σ1, 2 σ2 2 时, µ 1, µ 2 的检验方差的假设检验比例的假设检验小样本情况下的假设检验大样本情况下单个比例的假设检验大样本情况下两个总体比例的比较总体分布的假设检验第九章线性回归分析数据的相关性样本相关系数相关性检验回归直线一元线性回归最大似然估计和最小二乘估计平方和分解公式

6 vi 目录斜率 b 的检验预测的置信区间多元线性回归

7 目录 1 课程介绍介绍掌握概率论和数理统计的基本数学知识训练用概率论和数理统计方法对实际问题进行数学建模的能力学会解决常见的统计分析问题是应用型很强的学科参考书教材 : 何书元 : 概率论与数理统计, 高等教育出版社,2006. 陈家鼎刘婉如汪仁官 : 概率统计讲义 ( 第三版 ), 高等教育出版社,2004. 何书元概率论, 北京大学出版社,2005. 李贤平, 概率论基础第三版, 高等教育出版社, 2010; 李贤平, 陈子毅, 概率论基础学习指导书, 高等教育出版社,2011 Sheldon M. Ross, 概率论基础教程 (A First Course in Probability), 人民邮电出版社,2006, 郑忠国詹从赞翻译陈家鼎, 郑忠国, 概率与统计, 北京大学出版社,2007 程士宏, 测度论与概率论基础, 北京大学出版社,2004 Sheldon M. Ross, 应用随机过程概率模型导论 (Introduction to Probability Models), 人民邮电出版社,2011, 龚光鲁翻译陈家鼎孙山泽李东风刘力平, 数理统计学讲义, 高等教育出版社,2006 年 Robert V. Hogg and Allen T. Craig, Introduction to Mathematical Statistics(5th ed.), Prentice Hall, 1995.

8 2 目录概率论的内容随机事件与概率 ; 随机变量及其概率分布 ; 多维随机变量及其概率分布 ; 随机变量的数字特征 ; 大数定律及中心极限定理数理统计的内容描述统计 ; 参数估计 ; 假设检验 ; 回归分析. 课程安排时间地点 : 周二 ( 双周 )1-2, 周四 3-4, 二教 102 答疑 : 周二上午 10:00 11:30, 理科 1 号楼 1425E 教材 : 何书元 : 概率论与数理统计, 高等教育出版社,2006. 成绩评定 ( 暂定 ): 期末 60 + 作业 20 + 期中 20. 作业 : 每周四交作业, 发上周作业教学要求认真预习 ; 完成作业 ; 自己学习一种统计数据分析软件, 建议学习 R, 见李东风主页

9 第一章古典概型和概率空间 1.1 试验与事件第一章介绍在考虑一个 ( 未来 ) 事件是否会发生的时候, 人们常关心该事件发生的可能性的大小. 就像用尺子测量物体的长度我们用概率测量一个未来事件发生的可能性大小. 将概率作用于被测事件就得到该事件发生的可能性大小的测量值. 为了介绍概率, 需要先介绍试验和事件. 试验我们把按照一定的想法去作的事情称为随机试验. 随机试验的简称是试验 (experiment). 下面都是试验的例子. 掷一个硬币, 观察是否正面朝上, 掷两枚骰子, 观察掷出的点数之和, 在一副扑克牌中随机抽取两张, 观察是否得到数字相同的一对, 有 7 个运动员参加 100 米短跑比赛, 观测比赛结果的名次排列, 乘电梯从一楼上到 9 楼, 观测电梯一共停了几次 ; 观测放学回家的路上所用的时间 ; 观测航天器发射的成功与否 ; 3

10 4 第一章古典概型和概率空间观察明天的最高气温 ; 考察某商场在一天内来到的顾客数量 ; 观测下次概率统计课有多少同学迟到. 观察 2003 年爆发的非典型肺炎案例首次下降到零的日期. 在概率论的语言中, 试验还是指对试验的一次观测或试验结果的测量过程. 样本空间投掷一枚硬币, 用 ω + 表示硬币正面朝上, 用 ω 表示硬币反面朝上, 则试验有两个可能的结果 :ω + 和 ω. 我们称 ω + 和 ω 是样本点, 称样本点的集合 Ω = {ω +, ω } 为试验的样本空间. 投掷一枚骰子, 用 1 表示掷出点数 1, 用 2 表示掷出点数 2,, 用 6 表示掷出点数 6. 试验的可能结果是 1, 2, 3, 4, 5, 6. 我们称这 6 个数是试验的样本点. 称样本点的集合 Ω = {ω ω = 1, 2,, 6} 是试验的样本空间. 为了叙述的方便和明确, 下面把一个特定的试验称为试验 S. 样本点 (sample point): 称试验 S 的可能结果为样本点, 用 ω 表示. 样本空间 (sample space): 称试验 S 的样本点构成的集合为样本空间, 用 Ω 表示. 于是 Ω = {ω ω 是试验 S 的样本点 }. 事件投掷一枚骰子的样本空间是 Ω = {ω ω = 1, 2,, 6}. 用集合 A = {3} 表示掷出 3 点, 则 A 是 Ω 的子集. 我们称 A 是事件. 掷出 3 点, 就称事件 A 发生, 否则称事件 A 不发生.

11 1.1 试验与事件 5 用集合 B = {2, 4, 6} 表示掷出偶数点, B 是 Ω 的子集, 我们也称 B 是事件. 当掷出偶数点, 称事件 B 发生, 否则称事件 B 不发生. 事件 B 发生和掷出偶数点是等价的. 事件 (event): 设 Ω 是试验 S 的样本空间. 当 Ω 中只有有限个样本点时, 称 Ω 的子集为事件. 当试验的样本点 ( 试验结果 ) ω 落在 A 中, 称事件 A 发生, 否则称 A 不发生. 按照上述约定, 子集符号 A Ω 表示 A 是事件. 通常用大写字母 A, B, C, D 或 A 1, A 2,, B 1, B 2, 等表示事件. 用 A = Ω A 表示集合 A 的余集. 则事件 A 发生和样本点 ω A 是等价的, 事件 A 不发生和样本点 ω A 是等价的. 空集 ϕ 是 Ω 的子集. 由于 ϕ 中没有样本点, 永远不会发生, 所以称 ϕ 是不可能事件. Ω 也是样本空间 Ω 的子集, 包含了所有的样本点, 因而总会发生. 我们称 Ω 是必然事件. 例 1.1: 投掷两枚硬币投掷两枚硬币, 写出试验的样本点和样本空间. 解用 H(head) 表示硬币正面朝上, 用 T(tail) 表示硬币反面朝上, 试验一共有 4 个样本点, 他们是 HH HT TH TT 样本空间是 Ω = {HH, HT, TH, TT}. 注意, HT 和 TH 是不同的样本点. 例 1.2: 播音员选择例 1.2 某电视台要招聘播音员, 现在有三位符合条件的女士和两位符合条件的男士前来应聘. (1) 写出招聘男女播音员各一名的样本空间和样本点,

12 6 第一章古典概型和概率空间 (2) 写出招聘两名播音员的样本空间 Ω 和事件 A= 招聘到两名女士. 解本试验是招聘播音员. 用 W 1, W 2, W 3 分别表示第 1,2,3 位女士, 用 M 1,M 2 分别表示第 1,2 位男士. 用 W 1 M 1 表示招聘到第 1 位女士和第 1 位男士, 用 W 1 M 2 表示招聘到第 1 位女士和第 2 位男士,. (1) 招聘男女播音员各一名时, 样本空间是 Ω = { W 1 M 1, W 1 M 2, W 2 M 1, W 2 M 2, W 3 M 1, W 3 M 2 }. Ω 中的元素是样本点. (2) 招聘两名播音员时, 样本空间是 Ω = { W 1 W 2, W 1 W 3, W 2 W 3, W 1 M 1, W 1 M 2, W 2 M 1, W 2 M 2, W 3 M 1, W 3 M 2, M 1 M 2 }. 招聘到两名女士的事件 A = { W 1 W 2, W 1 W 3, W 2 W 3 }. 事件与集合当 A, B 都是事件, 则 A B, A B, A B = A B 都是事件. 也就是说事件经过集合运算得到的结果还是事件.( 图示 ) 我们也用 AB 表示 A B. 当 AB = ϕ 时, 也用 A + B 表示 A B. 当事件 AB = ϕ, 称事件 A, B 不相容. 特别称 A 为 A 的对立事件或逆事件. 如果多个事件 A 1, A 2,... 两两不相容 : A i A j = ϕ, i j, 就称他们互不相容. 注意, 互不相容与后面要讲到的独立是完全不同的概念从以上的叙述看出, 从集合角度看, 样本空间 Ω 是由试验 S 的可能结果构成的全集, 样本点 ω 就是 Ω 的元素, 事件 A 就是 Ω 的子集. 事件的运算符号和集合的运算符号也是相同的, 例如 :

13 1.2 古典概型与几何概型 7 (1) A = B 表示事件 A, B 相等, (2) A B 发生等价于至少 A, B 之一发生, (3) A B ( 或 AB) 发生等价于 A 和 B 都发生, (4) n j=1a j 发生表示至少有一个 A j (1 j n) 发生, j=1a j 发生表示至少有一个 A j (j = 1, 2, ) 发生, (5) n j=1a j 发生表示所有的 A j (1 j n) 都发生. j=1a j 发生表示所有的 A j (j = 1, 2, ) 都发生. 事件的运算事件的运算公式就是集合的运算公式, 例如 1 : 1. A B = B A, A B = B A, 2. A (B C) = A B C, A (B C) = A B C, 3. A(B C) = (AB) (AC), A (B C) = (A B) (A C), 4. A B = A + AB, A = AB + AB, 5. 对偶公式 : A B = Ā B, A B = Ā B, 进而有 j=1 A = j j=1 A j. 其中的公式 4 和 5 是值得牢记的. j=1 A j = j=1 A j, 古典概型古典概率模型 1.2 古典概型与几何概型设 Ω 是试验 S 的样本空间. 对于 Ω 的事件 A, 我们用 P (A) 表示 A 发生的可能性的大小, 称 P (A) 是事件 A 发生的概率, 简称为 A 的概率. 概率是介于 0 和 1 之间的数, 描述事件发生的可能性的大小. 按照以上原则, 如果事件 A, B 发生的可能性相同, 则有 P (A) = P (B). 如果事件 A 发生的可能性比 B 发生的可能性大 2 倍, 则有 P (A) = 2P (B). 1 图示讲解

14 8 第一章古典概型和概率空间用 # A, # Ω 分别表示事件 A 和样本空间 Ω 中样本点的个数. 定义 2.1 设试验 S 的样本空间 Ω 是有限集合, A Ω. 如果 Ω 的每个样本点发生的可能性相同, 则称 P (A) = # A # Ω (2.1) 为试验 S 下 A 发生的概率, 简称为事件 A 的概率. 能够用定义 2.1 描述的模型称为古典概率模型, 简称为古典概型. 概率的性质因为 # A 0, 当 AB = ϕ 时, # (A + B) = # A + # B, 所以从定义 (2.1) 可以得到概率 P 的以下性质 : (1) P (A) 0, (2) P (Ω) = 1, (3) 如果 A, B 不相容, 则 P (A + B) = P (A) + P (B). 从以上的性质再得到 (4) 如果 A 1, A 2,, A n 互不相容, 则 P (A 1 + A A n ) = P (A 1 ) + P (A 2 ) + + P (A n ), (5) P (ϕ) = 0, P (A) + P (A) = 1, P (A) = P (AB) + P (AB). 实际上, 我们由 (3) 得到 P (ϕ) + P (Ω) = P (Ω), 于是 P (ϕ) = 0, 由 A + A = Ω 和 (3) 得到 P (A) + P (A) = 1, 由 AB + AB = A 和 (3) 得到 P (A) = P (AB) + P (AB). 利用古典概型计算概率列出样本空间所有样本点, 一定注意这些样本点应该是可能性完全相同的 ; 计算样本空间样本点个数 ; 计算事件 A 样本点个数 ; 用公式 (2.1) 计算 P (A)

15 1.2 古典概型与几何概型 9 例 2.1 以下的例子中任取随机抽取都是指等可能的抽取假设硬币骰子等是均匀的掷一个均匀的硬币, 用 A 表示正面朝上. # Ω =2 # A =1 P (A) =1/2 例 2.2 掷一个均匀的骰子, 用 A 表示掷出奇数, B 表示掷出 5. # Ω = 6, # A = 3, # B = 1 P (A) = 3 6, P (B) = 1 6. 古典概型中的常用计数加法原理如果一个问题的做法分为两类, 第一类有 n 种方法, 第二类有 m 种方法, 这两类没有重叠而且仅有此两类, 则问题的做法共有 n + m 种多类的情况类似例选班长时, 可以从 15 个男生中选一个, 也可以从 10 个女生中选一个, 那么一共有 = 25 种选法古典概型中的常用计数乘法原理如果一个问题要两步完成, 第一步有 n 种做法, 第二步有 m 种做法, 则问题有 nm 种做法多步的情况类似例要选一个男生班长和一个女生班长组成领导核心, 男生 15 人, 女生 10 人, 则问题的做法有 = 150 种做法

16 10 第一章古典概型和概率空间古典概型中常用计数有重复的排列数从 n 个不同元素中有放回地每次随机抽取一个, 共抽取 m 次, 有序地记录结果, 共有 n m 种等可能的不同结果例掷骰子 3 次, 记录每次结果, 结果一共有 = 6 3 种例从 52 张扑克牌中随机有放回地抽取并记录 3 次, 结果共有 52 3 种古典概型中常用计数排列数从 n 个不同元素中无放回地每次随机抽取一个, 共抽取 m 次 (m n), 有序地记录结果, 共有种等可能的不同结果 A m n = n(n 1)... (n m + 1) = n! (n m)! A m n 在有的教材中记为 P m n 例从 52 张扑克牌中随机无放回地抽取 3 张, 记录每次结果, 结果有 = A 3 52 种古典概型中常用计数组合数从 n 个不同元素中无放回地每次抽取一个, 共抽取 m 次 (m n), 不计次序地记录结果 ( 只要元素相同, 不管次序是否相同都算是相同结果 ), 共有 C m n = n(n 1)... (n m + 1) m! = n! m!(n m)! 种等可能的不同结果例从一副扑克牌的 4 张 A 中随机无放回抽取 2 张组成一手牌, 不计次序有 C 2 4 = 4 3/2 = 6 种结果分别为

17 1.2 古典概型与几何概型 11 古典概型中常用计数分组方式数将 n 个不同元素分成有序号的 k 组, 要求第 i 组恰好有 n i 个元素 (i = 1, 2,..., k), 分组结果中同组的元素不考虑次序则这样分组的所有不同分法个数为 ( ) n = n 1, n 2,..., n k 当随机分组时, 这些分法是等可能的 n! n 1!n 2!... n k!. 随机分组的方法是 n 个元素随机排列 (n! 种排法 ), 然后前 n 1 个不计次序地归入 i = 1 组, 后续 n 2 个不计次序地归入 i = 2 组, 以此类推例 10 个学生分成 A, B, C 三个组, 分别有人, 组内不计次序分组方式个数为 10! 3!3!4! ( ) 10 = 3, 3, 4 古典概型中常用计数可重复分组数从 n 个不同的球中有放回地每次抽取一个, 共抽取 m 次, 结果不计次序共有 C m n+m 1 种不同的组合参考 : 何书元概率论 1.2 用 0 和 1 组成的序列表示一个结果用 n 1 个 1 分隔出 n 个组,1 表示组边界这 n 个组是结果排序后球号 1, 2,..., n 的组每组内有若干个 0 表示该组个数, 如果出现 11 则该组没有球, 把 m 个 0 分配到各个组中这样, 用长度为 n + m 1 的 0-1 向量表示一个结果, 结果个数为 C n 1 n+m 1( 从 n + m 1 个二进制位中选择 1 的位置, 即边界的位置 ) 可重复分组数在随机分组时一般不是等可能的例如, 从红白两个球中有放回地抽取 2 次, 计数这 2 次红球白球个数

18 12 第一章古典概型和概率空间共有 ( 红 0, 白 2), ( 红 1, 白 1), ( 红 2, 白 0) 三种结果, 即 C = 3 中结果随机抽取时 ( 红 1, 白 1) 概率为 1 2, ( 红 0, 白 2) 和 ( 红 2, 白 0) 的概率都是 1 4 例 2.3 例 2.3 掷两个骰子, 用 A 表示点数之和为 7. 计算 P (A). 解用 (i, j) 表示第一个骰子的点数是 i, 第二个骰子的点数是 j. 则 Ω = {(i, j) i, j = 1, 2,, 6}, A = {(i, j) i + j = 7, i, j = 1, 2,, 6}. Ω 中的样本点具有等可能性. 由 # Ω = 6 2, # A = 6 知道 P (A) = 6/36 = 1/6. 注意 : 这个概率空间是有次序的, 如果取无次序的概率空间 ( 比如 (1,2) 和 (2,1) 看成同一样本点 ) 则概率空间中的样本点不是等可能的例 2.4 例 2.4 在 4 个白球, 6 个红球中任取 4 个, 求取到 2 个白球和 2 个红球的概率. 解任取指无放回等可能随机抽取用 A 表示取到 2 个白球和 2 个红球. 由 # Ω = C10, 4 # A = C4C 得到 P (A) = C2 4C 2 6 C 4 10 = 例 2.5 例 2.5 将 52 张扑克 ( 去掉两张王牌 ) 随机地分给 4 家, 求每家都是同花色的概率. 解认为 52 张牌被等可能地分为 4 组, 求每组 13 张牌同花色的概率. 这时 # Ω = 52!/(13!) 4, # A = 4!, 故 P (A) = # A # Ω = 4!(13!)4 52! = 这样的小概率事件你和你周围的人是不会遇到的.

19 1.2 古典概型与几何概型 13 例 2.6 例 2.6 N 件产品中有 N i 件 i(1 i k) 等品, 从中任取 n 件. 求 n 件中恰有 n i 件 i (1 i k) 等品的概率. 解从题意知 N 1 + N N k = N, n 1 + n n k = n. 用 Ω 则表示试验的样本空间, 用 A 表示取出的 n 件中恰有 n i 件 i 等品, # Ω = C n N, # A = C n 1 N 1 C n 2 N 2 C n k N k 于是 P (A) = Cn1 N 1 C n2 N 2 C n k N k. C n N 例 2.7( 生日问题 ) 例 2.7 ( 生日问题 ) 求 n 个人中至少有两个人同生日的概率. 解认为每个人的生日等可能地出现在 365 天中的任一天, 则样本空间 Ω 的元素数为 # Ω = 365 n. 用 A 表示 n 个人的生日各不相同, 则做为 Ω 的子集 # A = A n 365. 要求的概率 p n = P (A) = 1 P (A) = 1 A n 365/365 n. 这里和以后规定对 k > n, A k n = Cn k = 0. 可以计算出以下结果 : n p n 图是 p n 和 n 的关系图. 横坐标是 n, 纵坐标是 p n. 可以看出, 当 n 增加时, p n 增加得很快. 例 2.8 例 2.8 设样本空间 Ω 有 n 个样本点, 在古典概率模型下证明 (1) 如果 A 1, A 2,, 是事件, 则 j=1 A j 是事件, 证明 : j=1 A j Ω, 所以 (1) 成立.

20 14 第一章古典概型和概率空间 (2) 对于互不相容的事件 A 1, A 2,, 证明 (2) P ( j=1 A j) = P (A j ). j=1 因为 # Ω = n, 所以只有有限个 A j 非空. 设前 m 个 A j 可能非空, 其余是空集. 则 j=1 A j = m j=1 A j. 对 j > m, P (A j ) = 0. 于是用性质 (4) 得到几何概型欧式空间中的体积 P ( A ) ( m j = P A ) m j = P (A j ) = j=1 j=1 用 R r 表示 r 维欧式空间 j=1 P (A j ). j=1 R r = {(x 1, x 2,..., x r ) x i (, ), i = 1, 2,..., r}. 对于 R r 的子集 A, 用 m(a) = A dx 1 dx 2... dx r 表示 A 的体积 ( 更一般地,m(A) 表示可测集 A 的测度, 参见实变函数 ) 几何概率用 Ω 表示试验 S 的样本空间, 当 Ω R r 时, 称 Ω 的子集是事件定义设样本空间 Ω 的体积 m(ω) 是正数, 样本点等可能地落在 Ω 中 ( 指 Ω 的体积相同的长方体事件发生的可能性相同 ), 对于 A Ω, 称 P (A) = m(a) m(ω) 为事件 A 发生的概率, 简称为 A 的概率这样的定义也满足 1.2 中的非负性全空间概率等于 1 可加性三个性质, 从而性质 (4) 和 (5) 也成立

21 1.3 概率的公理化和加法公式 15 例 ( 同心圆 ) 两个同心圆, 大圆圆面为 Ω: 半径 1m; 内部小圆圆面为 A: 半径 0.5m 落入 A 概率落入 A 外的大圆的概率 P (A) = m(a) m(ω) = π(0.5)2 π1 2 = 0.25 P (Ā) = 1 P (A) = 0.75 例 ( 会面概率 ) 两人 1:00 2:00 间独立地随机到达某地会面, 先到者仅等待 20 分钟求会面概率用 x, y 表示两人分别的到达时间, 则 Ω = {(x, y) : 0 x, y 60}, 样本点 (x, y) 等可能地落在空间 Ω 内 A 表示两人相遇, 则 A = {(x, y) x y 20, (x, y) Ω} m(ω) = m(a) 用图示,A 的两条斜边为 y = x ± 20, 面积等于 60 2 减去两个三角形面积即 , 所以 m(a) = 概率概率的公理化概率空间 P (A) = = 概率的公理化和加法公式

22 16 第一章古典概型和概率空间古典概型只对样本空间 Ω 含有限个样本点, 且每个样本点发生的可能性相同的情况定义了概率. 下面将概率的定义进行推广. 设 Ω 是试验 S 的样本空间, 在实际问题中往往并不需要关心 Ω 的所有子集, 只要把关心的子集称为事件就够了. 但是事件必须是 Ω 的子集, 并且满足以下三个条件 : (a) Ω 是事件, (b) A, B 是事件, 则 A B, A B, A B, A 都是事件, (c) 当 A j 是事件, 则 j=1 A j 是事件. 以后总假设上面的条件 (a), (b), (c) 成立. 由 (b) 知道有限个事件经过有限次运算后得到的结果仍然是事件. 满足条件 (a), (b), (c) 的事件的集合 F 叫做 σ 域或 σ 代数对于试验 S 的事件 A, 我们用 0,1 之间的数 P (A) 表示事件 A 发生的可能性的大小. 对于每个事件 A F, P (A) 是一个实数. P (A) 是事件 A 的函数. 概率及公理化定义 3.1 如果事件的函数 P 满足条件 (a) 非负性 : 对于任何事件 A, P (A) 0, (b) 完全性 : P (Ω) = 1, (c) 可列可加性 : 对于互不相容的事件 A 1, A 2,..., 有 ( ) P A j = P (A j ). j=1 j=1 就称 P 是试验 S 的概率, 简称为概率, 称 P (A) 是 A 的概率 (probability). 我们称定义 3.1 中的 (a), (b), (c) 为概率的公理化条件. 不满足公理化条件的 P 不是概率. 条件 (c) 中的可列, 指集合的个数或运算的次数可以依次排列起来. 从例 2.8 知道, 古典概率模型中的 P 是概率.

23 1.3 概率的公理化和加法公式 17 概率的性质概率的公理化条件并不直接告诉我们在实际问题中如何计算 P (A). P (A) 的计算要根据问题的条件和背景得到. 设 P 是试验 S 的概率, 则有以下的结果. (1) 不可能事件的概率是 0: P (ϕ) = 0, (2) 有限可加性 : 如果 A 1, A 2,, A n 是互不相容, 则 P ( n n A j) = P (A j ), j=1 (3) 单调性 : B A, 则 P (A) P (B) = P (A B) 0. ( 证明手写 ) j= 概率的加法公式概率的加法公式概率的有限可加性和可列可加性是概率 P 的最基本性质, 由此推出概率的加法公式. (4) P (A B) = P (A) + P (B) P (AB), (5) 如果 B A, 则 P (A B) = P (A) P (B), P (A) P (B), (6) Jordan 公式 : 设 A 1, A 2,, A n 是事件, 记 p k = P (A j1 A j2 A jk ) 1 j 1<j 2< <j k n 时, 有 P ( n A i) = i=1 例 3.1 n ( 1) k 1 p k. (3.2) 例 3.1 全班有 26 个人会打网球, 有 28 个人会打羽毛球, 他们中有 20 个人同时会打网球和羽毛球. 从全班的 40 名同学中任选一名, 计算他会打网球或会打羽毛球的概率. k=1

24 18 第一章古典概型和概率空间解对任选出的同学, 用 A 表示他会打网球, 用 B 表示他会打羽毛球, 则 A B 表示他会打网球或会打羽毛球. 利用 P (A) = 26/40, P (B) = 28/40, P (AB) = 20/40 得到 P (A B) = P (A) + P (B) P (AB) = 概率的连续性概率的连续性 = 如果 A 1 A 2, 就称事件序列 {A j } {A j j = 1, 2, } 是单调增的. 如果 A 1 A 2, 就称事件序列 {A j } 是单调减的. 我们把单调增序列和单调减序列统称为单调序列. 定理 3.1 设 {A j } 和 {B j } 是事件列. (1) 如果 {A j } 是单调增序列, 则 P ( (2) 如果 {B j } 是单调减序列, 则 P ( j=1 A j) = lim n P (A n). j=1 B j) = lim n P (B n). 通常称 j=1 A j 为单调增序列 {A j } 的极限, 称 j=1 B j 为单调减序列 {B j } 的极限. 定理 3.1 说明, A j 的概率收敛到它的极限 j=1 A j 的概率, B j 的概率收敛到它的极限 j=1 B j 的概率. 所以称概率具有连续性. 1.4 条件概率和乘法公式例 4.1: 掷骰子的条件概率例 4.1 掷一个骰子, 已知掷出了偶数点, 求掷出的是 2 的概率. 用 A 表示掷出偶数点, B 表示掷出 2.

25 1.4 条件概率和乘法公式 19 已知 A 发生后试验的条件已经改变. 在新的试验条件下 A 成为样本空间, A 的样本点具有等可能性, B 是 A 的子集, # A = 3, # B = 1. 所以, 用 P (B A) 表示要求的概率时, P (B A) = # B # A = 1 3. 我们称 P (B A) 是已知 A 发生的条件下, B 发生的概率. 例 4.2: 扑克牌的条件概率例 4.2 在 52 张扑克中任取一张, 已知抽到草花的条件下, 求抽到的是草花 5 的概率. 解设 A= 抽到草花, B= 抽到草花 5. 按例 4.1 的方法有 P (B A) = # B/ # A = 1/13. 条件概率设 A, B 是事件, 以后总用 P (B A) 表示已知 A 发生的条件下, B 发生的条件概率, 简称为条件概率 (conditional probability). 下面是条件概率的计算公式. 条件概率公式 : 如果 P (A) > 0, 则 P (B A) = P (AB) P (A). (4.1) 可以对古典概型给出 (4.1) 的证明 : 设试验 S 的样本空间是 Ω, A, B 是事件, P (A) > 0. 已知 A 发生后试验的条件已经改变. 在新的试验条件下 A 成为样本空间, A 的样本点具有等可能性. 已知 A 发生后, AB 是 A 的子集. 利用古典概型的定义知道 P (B A) = P (AB A) = # (AB) # A = # (AB)/ # Ω # A/ # Ω = P (AB) P (A). 例 4.3: 扑克牌问题在计算条件概率时, 公式 (4.1) 有时会带来许多的方便. 但有时根据问题的特点可以直接得到结果. 例 4.3 将一副扑克牌的 52 张随机均分给四家, 设 A= 东家得到 6 张草花, B= 西家得到 3 张草花, 求 P (B A).

26 20 第一章古典概型和概率空间解四家各有 13 张牌, 可以认为东家先取 13 张后西家再取 13 张在 A 发生的条件下, 西家的总可能取法为 C 13 39,B 发生要求西家取法为 C 3 7C 10 32, 用古典概型. P (B A) = C3 7C C 例 4.4: 条件概率是公理化概率例 4.4 设 P (A) > 0, 对于任何事件 B, 定义 P A (B) = P (B A). 则 (1) P A 是概率, (2) 对于事件 B, C, 当 P (AB) > 0 时, P A (C B) = P (C AB). (4.2) ( 证明略 ) 乘法公式乘法公式 : 设 A, B, A 1, A 2,..., A n 是事件, 则 (1) P (AB) = P (A)P (B A), (2) 当 P (A 1 A 2... A n 1 ) 0, 有 P (A 1 A 2... A n ) = P (A 1 )P (A 2 A 1 )... P (A n A 1 A 2... A n 1 ). (4.3) 证明将条件概率公式 (4.1) 用于等式右边的条件概率就得到证明. ( 手写 ) 例 4.5: 官员受贿问题例 4.5 ( 官员受贿问题 ) 某官员第 1 次受贿没被查处的概率是 q 1 = 98/100 = 第 1 次没被查处后, 第 2 次受贿没被查处的概率是 q 2 = 96/98 = ,. 前 j 1 次没被查处后, 第 j 次受贿不被查处的概率是 q j = (100 2j)/(100 2(j 1)),. 求他受贿 n 次还不被查处的概率 p n. 解用 A j 表示该官员第 j 次受贿没被查处, 则 A 1 A 2 A n 表示受贿 n 次还不被查处.

27 1.5 事件的独立性 21 容易计算 p n =P (A 1 A 2... A n ) =P (A 1 )P (A 2 A 1 )... P (A n A 1 A 2... A n 1 ) =q 1 q 2 q n = (n 1) 100 2n (n 2) 100 2(n 1) 100 2n = 100 =1 n 50. p 10 = 0.8, p 20 = 0.6, p 30 = 0.4 p 40 = 0.2, p 50 = 0. ( 如果假设 q 1 = q 2 = = 0.98, 有 p n = 0.98 n, 于是得到 p 10 = 0.817, p 20 = 0.668, p 30 = 0.545, p 40 = 0.446, p 50 = 0.364, p 60 = ) 1.5 事件的独立性两个事件独立设 A 是试验 S 1 下的事件, B 是试验 S 2 下的事件, 且 A 的发生与否不影响 B 的发生. 用公式表述出来就是 P (B A) = P (B). ( 设 P (A) > 0) 再用乘法公式得到 P (AB) = P (A)P (B A) = P (A)P (B). 此式表示事件 A, B 相互独立, 不要求 P (A) > 0. 定义 5.1 如果事件 A, B 满足 P (AB) = P (A)P (B), 就称 A, B 相互独立, 简称为 A, B 独立 (independent). 不可能事件, 必然事件与任何事件独立. 这是因为 P (ϕa) = P (ϕ)p (A) = 0, P (ΩA) = P (Ω)P (A) = P (A) 总成立. 当 P (A) > 0 时, A, B 独立当且仅当 P (B A) = P (B). 例 5.1: 独立的试验例 5.1 用 Ω 1 表示试验 S 1 的样本空间, 用 Ω 2 表示 S 2 的样本空间. 如果试验 S 1 和 S 2 是独立进行的, 可以证明试验 S 1 的事件和试验 S 2 的事件是相互独立的.

28 22 第一章古典概型和概率空间例 5.2: 长方形等分例 5.2 两线段将长方形 Ω 四等分, 得到 E 1, E 2, E 3, E 4. E 1 E 2 E 3 E 4 设 A = E 1 E 2, B = E 1 E 3, C = E 1 E 4. 在 Ω 中任取一点, 则 P (AB) = P (A)P (B) = 1/4, P (AC) = P (A)P (C) = 1/4, P (BC) = P (B)P (C) = 1/4. 于是 A, B, C 两两独立. 定理 5.1 定理 5.1 A, B 独立当且仅当 A, B 独立. 证明只需由 A, B 独立证明 A, B 独立. 当 A, B 独立, 有 P (AB) = P (B) P (AB) = P (B) P (A)P (B) = P (A)P (B). 于是 A, B 独立. 多个事件的相互独立定义 5.2 (1) 称事件 A 1, A 2,, A n 相互独立, 如果对任何 1 j 1 < j 2 < < j k n, P (A j1 A j2 A jk ) = P (A j1 )P (A j2 )... P (A jk ) (2) 称事件 A 1, A 2, 相互独立, 如果对任何 n 2, 事件 A 1, A 2,, A n 相互独立. (3) 称 {A n } 是独立事件列, 如果 A 1, A 2, 相互独立. 例 5.3: 三个事件相互独立例 5.3 事件 A,B, C 相互独立当且仅当他们两两独立, 并且 P (ABC) = P (A)P (B)P (C).

29 1.5 事件的独立性 23 例 5.4: 性质例 5.4 设 A 1, A 2,, A n 相互独立, 则有如下的结果. (1) 对 1 j 1 < j 2 < < j k n, A j1, A j2,, A jk 相互独立, (2) 用 B i 表示 A i 或 A i, 则 B 1, B 2,, B n 相互独立, (3) (A 1 A 2 ), A 3,, A n 相互独立 ; (4) (A 1 A 2 ), A 3,, A n 相互独立. 事实上, 把 A 1, A 2,..., A n 分为 k 个组, 每个组内的事件作并交差运算后得到的事件 B 1, B 2,..., B k 仍是相互独立的例 5.5 例 5.5 例 5.2 中的 A,B,C 两两独立但非相互独立因为 P (ABC) = 1/4, P (A)P (B)P (C) = 1/8. 例 5.6: 高炮例 5.6 每门高炮击中飞机的概率是 0.3, 要以 99% 的把握击中飞机, 需要几门高炮. 解用 A i 表示第 i 门高炮击中目标. 设需要 n 门高炮, 则要求 n 满足 P ( n A j) = 1 P ( n A j) = 1 (0.7) n j=1 j=1 由 n ln 0.7 ln(1 0.99) 解出 n 于是取 n = 13. 例 5.7: 明青花例 5.7 明青花 ( 瓷 ) 享有盛誉. 设一只青花盘在一年中被失手打破的概率是 (1) 计算一只弘治 ( ) 时期的青花麒麟 ( 图案 ) 盘保留到现在 ( 约 500 年 ) 的概率, (2) 如果弘治年间生产了 1 万件青花麒麟盘, 计算这 1 万件至今都已经被失手打破的概率.

30 24 第一章古典概型和概率空间解 (1) 用 A i 表示该盘在第 i 年没被打破, 则至今没被打破的概率是 p =P (A 1 A 2 A 500 ) =P (A 1 )P (A 2 A 1 ) P (A 500 A 1 A 2 A 499 ) =(1 0.03) 500 = , 被失手打破的概率是 q = 1 p = (2) 用 B j 表示第 j 件至今已被打破, m = 10000, 则 B 1, B 2,, B m 相互独立. 这 1 万件至今都已经被失手打破的概率是 q 1 =P ( m m B j) = P (B j ) = q m = j=1 j=1 有这类青花麒麟盘流传至今的概率是 p 1 = 1 q 1 = 如果当时生产了五十万件, 则有这类青花麒麟盘流传至今的概率是 p 50 = 如果当时生产了五百万件, 则有这类青花麒麟盘流传至今的概率是 p 500 = 当然, 这个模型里每年失手打破的概率都是 0.03 的假设过于粗糙, 实际上随着现存总数的减少保护必然加强, 打破概率变得很小全概率公式全概率公式 1.6 全概率公式与 Bayes 公式定理 6.1( 全概率公式 ) 如果事件 A 1, A 2,, A n 互不相容, B n j=1 A j, 则 n P (B) = P (A j )P (B A j ). (6.1) j=1

31 1.6 全概率公式与 BAYES 公式 25 证明 : 因为 B = B( n j=1 A j) = n j=1 (BA j), 用概率的有限可加性和乘法公式得到 P (B) =P (B( n j=1 A j)) =P ( n (BA j)) j=1 n = P (BA j ) = j=1 n P (A j )P (B A j ). j=1 全概率公式完备事件组全概率公式容易推广到可列个事件的情况 ( 见习题 1.14)). 如果事件 A 1, A 2,, A n 互不相容, n j=1 A j = Ω, 则称 A 1, A 2,, A n 是完备事件组, 这时 (6.1) 对任何事件 B 成立. A 和 A 总构成完备事件组, 所以总有 P (B) = P (A)P (B A) + P (A)P (B A). (6.2) 例 6.1( 抽签问题 ) 例 6.1 ( 抽签问题 ) n 个签中有 m 个标有中, 证明无放回依次随机抽签时, 第 j 次抽中的概率是 m/n. 解用归纳法. 用 A j 表示第 j 次抽中, 则对一切 m, n, 当 m n 时, 有 P (A 1 ) = m/n. 设对一切 m, n, 当 m n 时, 有 P (A j 1 ) = m/n, 则有于是有 P (A j A 1 ) = m 1 n 1, P (A j A 1 ) = m n 1. P (A j ) =P (A 1 )P (A j A 1 ) + P (A 1 )P (A j A 1 ) = m n m 1 n 1 + n m n = m n, 1 j n. m n 1

32 26 第一章古典概型和概率空间例 6.2( 敏感问题调查 ) 例 6.2 ( 敏感问题调查 ) 在调查家庭暴力 ( 或婚外恋服用兴奋剂吸毒等敏感问题 ) 所占家庭的比例 p 时, 被调查者往往不愿回答真相, 这使得调查数据失真. 为得到实际的 p 同时又不侵犯个人隐私, 调查人员将袋中放入比例是 p 0 的红球和比例是 q 0 = 1 p 0 的白球. 被调查者在袋中任取一球窥视后放回, 并承诺取得红球就讲真话, 取到白球就讲假话. 被调查者只需在匿名调查表中选是 ( 有家庭暴力 ) 或否, 然后将表放入投票箱. 没人能知道被调查者是否讲真话和回答的是什么. 如果声称有家庭暴力的家庭比例是 p 1, 求真正有家庭暴力的比例 p. 解对任选的一个家庭, 用 B 表示回答是, 用 A 表示实际是. 利用全概率公式得到 p 1 =P (B) ( 回答是 ) =P (B A)P (A) + P (B A)P (A) =p 0 P (A) + q 0 (1 P (A)) ( P (B A) 即讲真话概率, P (B A) 等于讲假话概率 ) =pp 0 + q 0 (1 p) = q 0 + (p 0 q 0 )p. 于是只要 p 0 q 0, 则 p = P (A) = p 1 q 0 p 0 q 0. 实际问题中, p 1 是未知的, 需要经过调查得到. 假定调查了 n 个家庭, 其中有 k 个家庭回答是, 则可以用 ˆp 1 = k/n 估计 p 1, 于是可以用估计 p. ˆp = ˆp 1 q 0 p 0 q 0

33 1.6 全概率公式与 BAYES 公式 27 如果袋中装有 30 个红球,50 个白球, 调查了 320 个家庭, 其中有 195 个家庭回答是, 则 p 0 = 3/8, q 0 = 5/8, ˆp 1 = 195/320, ˆp = 195/320 5/8 3/8 5/8 = 6.25%. 可以证明 p 0 q 0 越大, 得到的结论越可靠. 但是 p 0 q 0 太大时, 调查方案不易让被调查者接受. 例 6.3( 赌徒破产模型 ) 例 6.3 ( 赌徒破产模型 ) 甲有本金 a 元, 决心再赢 b 元停止赌博. 设甲每局赢的概率是 p = 1/2, 每局输赢都是一元钱, 甲输光后停止赌博, 求甲输光的概率 q(a). 解用 A 表示甲第一局赢, 用 B k 表示甲有本金 k 元时最后输光. 由题意, q(0) = 1, q(a + b) = 0, 并且 q(k) =P (B k ) =P (A)P (B k A) + P (A)P (B k A) = 1 2 P (B k+1) P (B k 1) = 1 2 q(k + 1) + 1 q(k 1). 2 于是有 2q(k) = q(k + 1) + q(k 1). 从而得到 q(k + 1) q(k) = q(k) q(k 1) = = q(1) q(0) = q(1) 1. 上式两边对 k = n 1, n 2,, 0 求和后得到, q(n) 1 = n(q(1) 1). (6.3) 取 n = a + b, 得到 0 1 = (a + b)(q(1) 1), q(1) 1 = 1/(a + b).

34 28 第一章古典概型和概率空间最后由 (6.3) 得到 : q(a) = 1 + a(q(1) 1) = 1 a a + b = b b + a. (6.4) (6.4) 说明, 当甲的本金 a 有限, 则贪心 b 越大, 输光的概率越大, 如果一直赌下去 (b ), 必定输光 Bayes 公式 Bayes 公式定理 6.2(Bayes 公式 ) 如果事件 A 1, A 2,, A n 互不相容, B n j=1 A j, 则 P (B) > 0 时, 有 P (A j B) = P (A j )P (B A j ) n i=1 P (A, 1 j n. (6.5) i)p (B A i ) 证明由条件概率公式和全概率公式得到 P (A j B) = P (A jb) P (B) = P (A j )P (B A j ) n i=1 P (A i)p (B A i ), 1 j n. 值得指出的是, 分子总是分母中的一项. 当 A 1, A 2,, A n 是完备事件组, P (B) > 0 时, (6.5) 成立. Bayes 公式也可以推广到可列个事件的情况 ( 见习题 1.21). 最常用到的 Bayes 公式是当 P (B) > 0, 例 6.4( 疾病普查问题 ) P (A B) = 例 6.4 ( 疾病普查问题 ) P (A)P (B A) P (A)P (B A) + P (A)P (B A). (6.6) 一种新方法对某种特定疾病的诊断准确率是 90%( 有病被正确诊断和没病被正确诊断的概率都是 90%). 如果群体中这种病的发病率是 0.1%, 甲在身体普查中被诊断患病, 问甲的确患病的概率是多少? 解设 A= 甲患病, B = 甲被诊断有病. 根据题意, P (A) = 0.001, P (B A) = 0.9, P (B A) = 0.1,

35 1.6 全概率公式与 BAYES 公式 29 于是, 用公式 (6.6) 得到 P (A)P (B A) P (A B) = P (A)P (B A) + P (A)P (B A) = = 9 = < 1% 没有病的概率 P (A B) = > 99%. 造成这个结果的原因是发病率较低和诊断的准确性不够高. 如果甲复查时又被诊断有病, 则他的确有病的概率将增加到 7.5%. 如果人群的发病率不变, 诊断的准确率提高到 99%, 可以计算出 P (A B) = 9.02%. 例 6.5( 吸烟与肺癌问题 ) 例 6.5 ( 吸烟与肺癌问题 ) 1950 年某地区曾对岁的男性公民进行调查. 肺癌病人中吸烟的比例是 99.7%, 无肺癌人中吸烟的比例是 95.8%. 如果整个人群的发病率是 p = 10 4, 求吸烟人群中的肺癌发病率和不吸烟人群中的肺癌发病率. 解引入 A = 有肺癌, B = 吸烟, 则 P (A) =10 4, P (B A) =99.7%, P (B A) =95.8%. 利用公式 (6.6) 得到 : P (A)P (B A) P (A B) = P (A)P (B A) + P (A)P (B A) % = % + ( ) 95.8% = P (A)P (B A) P (A B) = P (A)P (B A) + P (A)P (B A) 10 4 (1 99.7%) = 10 4 (1 99.7%) + ( ) (1 95.8%) =

36 30 第一章古典概型和概率空间于是, 吸烟人群的发病率 = P (A B) 不吸烟人群的发病率 P (A B) = 结论 : 吸烟人群的肺癌发病率是不吸烟人群的肺癌发病率的倍. 例 6.6( 肇事车判定 ) 例 6.6 某城市夏利牌出租车占 85%, 富康牌出租车占 15%. 这两种出租车都是红色, 富康出租车略大一些, 每辆车肇事的概率相同. 在一次出租车的交通肇事逃逸案件中, 有证人指证富康车肇事. 为了确定是否富康车肇事, 在肇事地点和相似的能见度下警方对证人辨别出租车的能力进行了测验, 发现证人正确识别富康车的概率是 90%, 正确识别夏利车的概率是 80%. 如果证人没有撒谎, 求富康车肇事的概率. 解 : 用 A 表示证人看见富康车肇事, 用 B 表示富康车肇事, 则 B 表示夏利车肇事, 并且 P (B) = 0.15, P (A B) = 0.9, P (A B) = 要求的概率是 P (B A). 用 Bayes 公式得到 P (A B)P (B) P (B A) = P (A B)P (B) + P (A B)P (B) = (1 0.8) 0.85 =44.26%. 这个概率看起来很小, 但是在没有证人的情况下, 富康车肇事的概率更小, 是 15%. 1.7 概率与频率概率与频率古典概型只对等可能的情况定义了概率, 为了能够描述更复杂的试验, 很多学者使用概率的频率定义.

37 1.7 概率与频率 31 设 A 是试验 S 的事件. 在相同的条件下将试验 S 独立地重复 N 次, 我们称 f N = N 次试验中 A 发生的次数 N 是 N 次独立重复试验中, 事件 A 发生的频率 (frequency). 理论和试验都证明, 当 N, f N 会收敛到一个数 P (A). 我们称 P (A) 为事件 A 在试验 S 下发生的概率, 简称为 A 的概率. (Flash 演示 )

38 32 第一章古典概型和概率空间

39 第二章随机变量和概率分布 2.1 随机变量随机变量引入事件是用来描述随机试验的某些现象是否出现的, 要说明比较复杂的试验结果, 就需要定义许多事件. 为了更深入地研究随机现象, 就要建立数学模型, 随机变量是随机现象的最基本的数学模型, 我们用随机变量的值表示随机试验的结果如果用 X 表示明天的最高气温, {X 30} 就表示明天的最高气温不超过 30 o C, 由于 X 的取值在今天无法确定, 所以称 X 是随机变量 (random variable). 例 1.1: 骰子点数例 1.1 掷一个骰子, 样本空间是 Ω = { ω ω = 1, 2,, 6 }. 用 X 表示掷出的点数, 称 X 是随机变量. {X 3} 表示掷出的点数不超过 3, 并且 {X 3} = { ω ω = 1, 2, 3} 是事件将 X 视为 Ω 上的函数, X(ω) = ω, ω Ω, 则 {X j} = {ω ω = 1, 2,, j}. 是事件 33

40 34 第二章随机变量和概率分布例 1.2: 扑克牌点数例 1.2 张扑克. 在一副扑克的 52 张中任取一张, 样本空间的每个点表示一用 X 表示所取扑克的大小, 则 X = 3 表示所取到的扑克是 3. 将 X 视为样本空间上的函数, 则 {X = 3} { ω X(ω) = 3 } = { 草花 3, 黑桃 3, 红桃 3, 方块 3 }. 是事件我们称 X 是随机变量. 随机变量定义定义 ( 随机变量 ) X 是定义在样本空间 Ω 上的实值函数 : 对每一个样本点 ω, X(ω) 是一个实数. ( 更严格的数学定义还要求关于 X 落入区间是事件 ) 通常将随机变量 X(ω) 简记为 X. 在概率论和数理统计学中, 人们习惯用大写的 X, Y, Z, ξ, η 等表示随机变量. 不够时还可以用 X 1, X 2, 等表示. 随机变量的事件我们用 {X x}, 或更简单地用 X x 表示事件 { ω X(ω) x}. 对于实数的集合 A, 我们用 {X A}, 或更简单地用 X A 表示事件 {ω X(ω) A}. 于是 {X A} ={ω X(ω) A}, {a < X b} ={ω a < X(ω) b}. 注 : 这里和以后所述的数集都是高等数学中的实数的 ( 可测 ) 集合, 并且对数集 A, 承认 {X A} 是事件.

41 2.2 离散型随机变量 35 例 1.3,1.4: 随机变量的函数例 1.3 掷一个骰子, 用 X 表示掷出的点数, 则 X, X 2, X + X 都是样本空间上的函数, 因而都是随机变量. 例 1.4 掷 n 个骰子, 用 Y 表示掷出的点数之和, 则 Y 是随机变量. 对函数 g(x), X = g(y ) 也是随机变量, 因为 X(ω) = g(y (ω)) 也是样本空间 Ω 上的函数. 例 1.5: 随机变量与概率例 1.5 率. 在 52 张扑克中任取 13 张, 求这 13 张牌中恰有 5 张草花的概解易得到注 : 用 X 表示这 13 张牌中草花的张数, 则 X = 5 是关心的事件, 容 P (X = 5) = C5 13 C 8 39 C = 在许多实际问题中, 一个随机变量 X 的含义是十分清楚的, 所以一般不再关心随机变量 X 在样本空间 Ω 上是如何定义的. 可以认为 X 的所有取值就是我们的样本空间只是在必要的时候才将自变元 ω 写出来. 2.2 离散型随机变量离散型随机变量有些变量只能取有限个或可列个值, 比如, 被访问者的性别年龄职业, 一批产品中次品个数, 一个医学试样中白细胞个数, 掷两个骰子第一次得到 12 点的时间, 等等另外的变量可以取到区间内任何值, 比如温度气压长度时间等测量值定义 2.1 如果随机变量 X 只取有限个值 x 1, x 2,, x n, 或可列个值 x 1, x 2,, 就称 X 是离散型随机变量, 简称为离散随机变量 (discrete random variable). 以下就 X 取可列个值的情况加以表述, 对于 X 取有限个值的情况可类似的表述.

42 36 第二章随机变量和概率分布定义 2.2 设 X 是离散随机变量, 称 P (X = x k ) = p k, k 1, (2.1) 为 X 的概率分布 (probability distribution). 称 {p k } 是概率分布列, 简称为分布列. (distribution sequence). 分布列当分布列 {p k } 的规律性不够明显时, 也常常用如下的方式表达概率分布, X x 1 x 2 x 3 P p 1 p 2 p 3 (2.2) 分布列 {p k } 有如下的性质 : (a) p k 0, (b) j=1 p j = 1. 由于 p k 是概率, 所以是非负的. 下面证明 (b). 对 k j, {X = x j } 发生, {X = x k } 就不能发生, 所以两点分布 {X = x j }, j = 1, 2,, 互不相容. 利用 Ω = {X = x j }. 和概率的可列可加性得到 1 = P (Ω) = j=1 P (X = x j ) = j=1 p j. 两点分布 (Bernoulli 分布 ) B(1, p): 如果 X 只取值 0 或 1, 概率分布是 j=1 P (X = 1) = p, P (X = 0) = q, p + q = 1, (2.3) 就称 X 服从两点分布, 记做 X B(1, p) 或 X b(1, p) 任何试验, 当只考虑成功与否时, 就可以用两点分布的随机变量描述 : 1, 试验成功, X = 0, 试验不成功.

43 2.2 离散型随机变量 37 二项分布二项分布 (Binomial 分布 )B(n, p): 如果随机变量有如下的概率分布 : P (X = k) =Cnp k k q n k, k = 0, 1,, n, (2.4) ( 其中 pq > 0, p + q = 1) 就称 X 服从二项分布, 记做 X B(n, p). 称为二项分布的原因是 Cnp k k q n k 为二项展开式 : (p + q) n = 的第 k + 1 项. B 表示 Binomial. n Cnp k k q n k k=0 二项分布的折线图二项分布的背景二项分布的背景设试验 S 成功的概率为 p, 将试验 S 重复 n 次, 用 X 表示成功的次数, 则 X B(n, p). 解释 : 用 A j 表示第 j 次试验成功, 则 A 1, A 2,, A n 相互独立, 且 P (A j ) = p.

44 38 第二章随机变量和概率分布从 n 次试验中选定 k 次试验的方法共有 C k n 种. 对第 j 种选法为 {j 1, j 2,, j k } 成功, 其余失败, 用 B j = A j1 A j2 A jk A jk+1 A jk+2 A jn 表示, 则 {B j } 互不相容, 并且 {X = k} = C k n j=1 B j, P (B j ) = p k q n k. 用概率的有限可加性得到 C k n P (X = k) = P (B j ) = Cnp k k q n k. j=1 泊松分布 (Poisson 分布 ) Poisson(λ): 概率分布 : 如果随机变量 X 有如下的 P (X = k) = λk k! e λ, k = 0, 1,, (2.5) 就称 X 服从参数是 λ 的 Poisson 分布, 简记为 X Poisson (λ). 这里 λ 是正常数. Poisson 分布的例子 : 单位时间放射性粒子个数 ; 某段高速公路上一年的事故数 ; 某商场一天中顾客到来个数 ; 一段时间内接到的电话个数 ; 等等泊松分布的折线图

45 2.2 离散型随机变量 39 例 2.1 放射性粒子数例年, 著名科学家 Rutherford( 罗瑟福 ) 和 Geiger( 盖克 ) 观察了放射性物质钋 ( 读 po1)(polonium) 放射 α 粒子的情况. 他们进行了 N = 2608 次观测, 每次观测 7.5 秒, 一共观测到个 α 粒子放出, 下面的表是观测记录. 其中的 Y 是服从 Poisson(3.87) 分布的随机变量, 3.87 = 10094/2608 是 7.5 秒中放射出 α 粒子的平均数. 用 Y 表示这块放射性钋在 7.5 秒内放射出的 α 粒子数, 表的最后两列表明事件 {Y = k} 在 N = 2608 次重复观测中发生的频率和 P (Y = k) 基本相同.

46 40 第二章随机变量和概率分布观测到的观测到 k 个粒子发生的 P (Y = k) α 粒子数 k 的次数 m k 频率 m k /N Y Poisson(3.87) 总计放射粒子数的观测频率与泊松概率对比图例 2.2 战争数例 2.2 自 1500 至 1931 年的 N = 432 年间, 比较重要的战争在全世界共发生了 299 次. 以每年为一个时间段的记录见下面

47 2.2 离散型随机变量 41 爆发的战争数 k 爆发 k 次战争的年数 m k 频率 m k /N P (Y = k) 总计平均每年发生战争次数 λ = 299/ 上面, Y Poisson(0.69). 一年中发生战争次数的频率与泊松概率对比图例 2.3 出租车遇红灯数例 2.3 设一辆出租车一天内穿过的路口数 Y 服从泊松分布 Poisson(λ), 设各个路口的红绿灯是独立工作的, 在每个路口遇到红灯的概率是 p(> 0). (1) 已知一辆出租车一天内路过了 k 个路口, 求遇到的红灯数的分布 ; (2) 求一辆出租车一天内遇到的红灯数的分布. 解设这辆出租车路过的路口数是 Y, 遇到的红灯数是 X. 每到一个路口相当于作一次试验, 遇到红灯是试验成功.

48 42 第二章随机变量和概率分布 (1) P (X = m Y = k) = C m k p m q k m, m = 0, 1,..., k, q = 1 p, (2) {Y = j}; j = 0, 1, 2,..., 构成完备事件组. 利用全概率公式得到 P (X = m) = = = P (Y = k)p (X = m Y = k) k=m k=m k=m = (λp)m e λ m! λ k k! e λ C m k p m q k m (λq) k m m!(k m)! e λ (λp) m j=0 = (λp)m e λ e λq m! 说明 X 服从泊松分布 Poisson(pλ). (λq) j j! = (λp)m e λp, m = 0, 1,. m! 超几何分布 H(n, M, N) 如果 X 的概率分布是 P (X = m) = Cm M Cn m N M, m = 0, 1,..., M, (2.8) C n N 就称 X 服从超几何分布, 记作 H(n, M, N). 注意对 k < 0 或 k > n, 约定 C k n = 0. 名称超几何分布来自超几何函数, 类似于二项分布来自二项展开式. 例 2.4 N 件产品中恰有 M 件次品, 从中任取 n 件, 用 X 表示这 n 件中的次品数, 则 X 服从超几何分布 (2.8). 如果这批产品充分多, 无放回的抽取和有放回的抽取就没有本质的差异 : P (X = m) = Cm M Cn m N M C n N C m n p m (1 p) n m, (p = M N )

49 2.3 连续型随机变量 43 几何分布如果随机变量 X 有如下的分布 P (X = k) = q k 1 p, k = 1, 2,, pq > 0, p + q = 1, (2.10) 就称 X 服从参数是 p 的几何分布. 设某试验成功概率为 p, 独立地重复此试验直到第一次成功, 则第一次成功需要的试验次数分布为参数 p 的几何分布例 2.5 甲向一个目标射击, 直到击中为止. 用 X 表示首次击中目标时的射击次数. 如果甲每次击中目标的概率是 p, 则 X 服从几何分布 (2.10). 解用 A j 表示甲第 j 次没击中目标, 由 {A j } 的独立性得到 P (X = k) =P (A 1 A 2 A k 1 A k ) =q k 1 p, k = 1, 2,. (2.11) 2.3 连续型随机变量连续型随机变量定义在线段上随机投点的位置, 温度气压电压电流等物理量等等, 理论上可以在取到某个区间任何实数值这样取值的随机变量称为连续型随机变量定义 3.1 设 X 是随机变量, 如果存在非负函数 f(x) 使得对任何满足 a < b 的 a, b, 有 P (a < X b) = b a f(x) dx, (3.1) 就称 X 是连续型随机变量, 称 f(x) 是 X 的概率密度函数, 简称为概率密度 (probability density) 或密度. 分布密度性质设 f(x) 是 X 的概率密度, 则 f(x) 有如下的基本性质. (a) f(x) dx = 1,

50 44 第二章随机变量和概率分布 (b) P (X = a) = 0. 于是 P (a < X b) = P (a X b), (c) 对数集 A( 严格意义下要求可测性 ), P (X A) = f(x) dx. (3.2) 证明 : (a) 由可得 (b) f(x)dx = P ( < X ) = 1, Pr(X = a) Pr(X (a ε, a]) = (c) 不证 A a a ε f(x) dx 0, ε 0. 概率密度的意义概率密度与离散型随机变量的分布列有很大差别, 分布列 p k = Pr(X = x k ) 本身就是 X 取 x k 的概率 ; 连续型随机变量取任何一个特定值的概率都等于零 ; f(x) 是一个相对均匀分布的概念, 如果 f(x 2 ) = 2f(x 1 ), 可以认为 X 在 x 2 附近取值的概率比 X 在 x 1 附近取值的概率大一倍, 严格讲, 假设 f(x) 在 x 1 和 x 2 处连续, Pr(x 2 ε < X x 2 + ε) Pr(x 1 ε < X x 1 + ε) = x2+ε x 2 ε x1 +ε f(x) dx f(x) dx f(x 2) f(x 1 ) = 2 x 1 ε 均匀分布 (Uniform 分布 ) U(a, b): 对 a < b, 如果 X 的密度是 1 f(x) =, x (a, b), b a (3.3) 0, x (a, b). 就称 X 服从区间 (a, b) 上的均匀分布, 记做 X U(a, b). 这里 U 是 Uniform 的缩写. 明显, 表达式 (3.3) 中的区间 (a, b) 也可以写成 (a, b], [a, b) 或 [a, b].

51 2.3 连续型随机变量 45 采用 (a, b) 的示性函数 (indicator function) 1, x (a, b), I (a,b) = 0, x / (a, b), 还可以将 (3.3) 中的密度 f(x) 写成 f(x) = 1 b a I (a,b). 例 3.1 等车例 3.1 每天的整点 ( 如 9 点, 10 点, 11 点等 ) 甲站都有列车发往乙站. 一位要去乙站的乘客在 9 点至 10 点之间随机到达甲站. 用 Y 表示他的等车时间, 计算他候车时间小于 30 分钟的概率. 解题目中随机到达的含义指在等长的时间段中到达的可能性相同. 用 X 表示他的到达时刻, X 在 0 至 60 分钟内均匀分布, 有密度函数 f(x) = 1 60 I (0,60). {Y < 30 分钟 } 表示该乘客在 9 : 30 至 10 : 00 之间到达, 这是和 {30 < X 60} 等价的, 于是 P (Y < 30 分钟 ) = P (30 < X 60) = f(x)dx = 1 2. 指数分布 (Exponential 分布 ) E(λ): 对正常数 λ, 如果 X 的密度是 λe λx, x 0, f(x) = (3.4) 0, x < 0, 就称 X 服从参数 λ 的指数分布, 记做 X E(λ). 这里 E 是 Exponential 的缩写. 通常还把 (3.4) 简记为 f(x) = λe λx, x 0, 或 f(x) = λe λx I [0, ).

52 46 第二章随机变量和概率分布指数分布的密度图示例指数分布的无后效性指数分布经常用来表示电子元件寿命事件到来间隔时间等这样的量经常具有无后效性, 即已经存活 ( 等待 ) 了多长时间对还会再存活 ( 等待 ) 多长时间没有影响非负随机变量 : 若随机变量 X 满足 Pr(X < 0) = 0 则称 X 为非负随机变量定理 3.1 设 X 是连续型非负随机变量, 则 X 服从指数分布的充分必要条件是对任何 s, t 0, 有 P (X > s + t X > s) = P (X > t). (3.5) 性质 (3.5) 称为无后效性. 无后效性是指数分布的特征. 如果 X 表示某仪器的工作寿命, 无后效性 (3.5) 的解释是 : 当仪器工作了 s 小时后再能继续工作 t 小时的概率等于该仪器刚开始就能工作 t 小时的概率. 说明该仪器的使用寿命不随使用时间的增加发生变化, 或说仪器是永葆青春的. 一般来说, 电子元件和计算机软件等具备这种性质, 它们本身的老化是可以忽略不计的, 造成损坏的原因是意外的高电压, 计算机病毒等等. 青花盘的使用寿命也可被认为有无后效性.

53 2.3 连续型随机变量 47 例 3.2 粒子到来间隔时间设时间 (0, t] 内有 N(t) 个粒子放射出来 N(t) Poisson(µt) 设 X 为第一个粒子发射出来的时刻, 则 {X > t} = {N(t) = 0} µt (µt)0 Pr(X > t) = Pr(N(t) = 0) = e 0! = e µt 对任何 0 a < b 有 P (a < X 1 b) = P (X 1 > a) P (X 1 > b) =e µa e µb = b a µe µx dx. 即 X 的概率密度为 f(x) = µe µx I [0, ) (x). 正态分布正态分布 (Normal 分布 ) N(µ, σ 2 ): 设 µ 是常数, σ 是正常数. 如果 X 的密度是 f(x) = ( ) 1 exp (x µ)2, x R, (3.8) 2πσ 2 2σ 2 就称 X 服从参数为 (µ, σ 2 ) 的正态分布, 记做 X N(µ, σ 2 ). 这里 N 是 Normal 的缩写. 特别, 当 X N(0, 1) 时, 称 X 服从标准正态分布 (standard normal distribution). 标准正态分布的密度函数有特殊的地位, 所以用一个特定的符号 φ 表示 : φ(x) = 1 ) exp ( x2, x R. (3.9) 2π 2 正态分布的密度图示例

54 48 第二章随机变量和概率分布正态分布密度特点参数 µ 是密度的中心和最大值点, 密度在 µ 两侧对称 ; 参数 σ 代表了密度的宽度,σ 越大密度越宽 ( 见演示 ) 正态分布的随机变量 X 具有大部分值靠近 µ 的特点 ( 经验规则 ): Pr( X µ σ) =68.27% Pr( X µ 2σ) =95.45% Pr( X µ 3σ) =99.73% Pr( X µ > 6σ) = 出现在 µ ± kσ(k=2,3,6 等 ) 外的点认为是比较值得注意的点记 Φ(x) = x φ(t) dt, Φ(x) 有表格另外 Φ( x) = 1 Φ(x) 对 X N(µ, σ 2 ), 正态分布的历史 Pr(X (a, b]) = Φ( b µ σ ) Φ(a µ σ ) 正态分布最早由 Gauss 在研究测量误差时得到, 所以正态分布又被称为 Gauss 分布.

55 2.3 连续型随机变量 49 在布朗运动的研究中, 人们也得到了正态分布. 正态分布在概率论和数理统计中有特殊的重要地位. 事实表明, 产品的许多质量指标, 生物和动物的许多生理指标等都服从或近似服从正态分布. 大量相互独立且有相同分布的随机变量的累积也近似服从正态分布 ( 参考二项分布当 n 较大时的概率分布图形 ). 例 3.3 零件长度例 3.3 一台机床加工的部件长度服从正态分布 N(10, ). 当部件的长度在 10 ± 0.01 内为合格品, 求一部件是合格品的概率. 解件用 X 表示生产的一个部件的长度, 则 X N(10, ). 事 { 0.01 X } 表示这个部件是合格品. P ( 0.01 X ) =P ( 0.01 X ) 3 =Φ(1.67) Φ( 1.67) = 2Φ(1.67) 1 = = 这个概率令人太不满意了, 说明这台机床的质量有问题. 以后会知道质量问题可以由参数 σ 2 体现出来 ( 参考习题 2.17). Gamma 分布 Gamma 分布 Γ(α, λ): 设 α, λ 是正常数, Γ(α) 由积分 Γ(α) = 0 x α 1 e x dx (3.14) 定义. 如果 X 的密度是 λ α Γ(α) f(x) = xα 1 e λx, x 0, (3.15) 0, x < 0. 就称 X 服从参数 (α, λ) 的 Gamma 分布, 记做 X Γ(α, λ). 这里 Γ 是 Gamma 的简写.

56 50 第二章随机变量和概率分布注意 α = 1 时 Γ(1, λ) 即 E(λ) 伽马分布的密度图示例 Gamma 分布的历史英国著名统计学家 Pearson 在研究物理, 生物及经济中的随机变量时, 发现很多连续型随机变量的分布都不是正态分布. 这些随机变量的特点是只取非负值, 于是他致力于这类随机变量的研究. 从 1895 年至 1916 年间, Pearson 连续发表了一系列的连续分布密度曲线, 认为这些曲线可以包括常见的单峰分布, 其中就有 Gamma 分布. 在气象学中, 干旱地区的年季或月降水量被认为服从 Γ 分布, 指定时间段内的最大风速等也被认为服从 Γ 分布. 例 3.4: 指数分布随机变量的和例 3.4 在 Poisson 分布的例子中, 用 S k 表示从开始到观测到第 k 个 α 粒子的时间, 可以证明 S k 服从 Γ(k, λ) 分布.

57 2.4 概率分布函数概率分布函数概率分布函数概率分布函数为了计算事件 {X (a, b]} 的概率, 如果 X 是离散型随机变量, 则 Pr(X (a, b]) = 如果 X 是连续型随机变量, 则 Pr(X (a, b]) = x k (a,b] b a p k f(x) dx 事实上, 如果我们定义 F (x) = Pr(X x), 则 Pr(X (a, b]) = F (b) F (a) 这样的 F (x) 可以帮助我们计算 {X (a, b]} 的概率概率分布函数定义定义 4.1 对随机变量 X, 称 x 的函数 F (x) = P (X x), x, (4.1) 为 X 的概率分布函数, 简称为分布函数 (distribution function), 也称为累积 (cumulative) 分布函数例 4.1 Φ(x) = x φ(t) dt 是标准正态分布的分布函数. 离散型随机变量的分布函数从定义看出, 如果 X 是离散型随机变量, 有概率分布 p k = P (X = x k ), k = 1, 2,, (4.2) 则 X 的分布函数 F (x) = P (X x) = P ( {X = x j }) = p j (4.3) j: x j x j: x j x 是单调不减的阶梯函数.

58 52 第二章随机变量和概率分布它在每个 x j 有跳跃 p j. 这时, 我们也称 F (x) 是分布列 {p j } 的分布函数. 见二项分布 B(10, 0.6) 的分布函数图, 横坐标是 x, 纵坐标是 F (x). 从图形可以看出, F (x) 是单调不减右连续函数. B(10,0.6) 的分布函数图连续型随机变量的分布函数如果 X 是连续型随机变量, 有概率密度 f(x), 则 F (x) = x f(t) dt (4.4) 是连续函数, 并且在 f(x) 的连续点 x 有 f(x) = F (x). 我们也称 F (x) 是 f(x) 分布函数. 见图形 N(0,1), E(1.2), E(0.6), E(0.3) 分布函数图

59 2.4 概率分布函数 53 分布函数性质分布函数 F (x) 的常用性质 : (1) F 单调不减右连续, (2) F ( ) = 1, F ( ) = 0. 证明 (1) 对 x < y, 单调不减性由 {x < X y} = {X y} {X x} 和 P (x < X y) = P (X y) P (X x) = F (y) F (x) 0 得到. 由于 n 越大, 集合 {X 1/n} 越小, 所以用 F 的单调性和概率 P 的连续性得到 lim F (x + δ) = lim F (x + 1/n) δ 0 n = lim P (X x + 1/n) n =P ( n=1{x x + 1/n}) =P (X x) = F (x). (2) 由 F ( ) = P (X ) = P (Ω) = 1 和 F ( ) = P (X ) = P ( ) = 0 得到 (2).

60 54 第二章随机变量和概率分布密度与分布函数对于连续型的随机变量, 密度函数通过 (4.4) 唯一决定分布函数. 定理 4.1 设 X 的分布函数 F 连续, 数集 A 中任何两点之间的距离大于正数 δ. 如果在 A 外导数 F (x) 存在且连续, 则 F (x), 当 x A, f(x) = (4.5) 0, 当 x A 是 X 的密度函数. 连续型分布的分布函数一定是连续的, 分布函数如果不连续就不是连续型分布除了连续型分布和离散型分布以外还存在其它类型的分布如 : 零过多数据的分布常见分布的分布函数均匀分布的分布函数若 X U(0, 1), 则其分布密度为 f(x) = 1, x (0, 1) 其分布函数为 0 x 0 F (x) = x 1 dt = x, x (0, 1) 0 1 x 1 若 X U(a, b), 则其分布密度为 f(x) = 1, x (a, b) b a 其分布函数为 0 x a F (x) = x 1 x a dt =, x (a, b) a b a b a 1 x b

61 2.4 概率分布函数 55 正态分布的分布函数设 X N(0, 1), 则 X 的分布函数为 Φ(x) = x φ(t) dt 其中 φ(x) = 1 e x2 2 2π 设 X N(µ, σ 2 ), 下一节将证明其分布函数为 F (x) = Φ( x µ σ ) 指数分布的分布函数若 X E(λ), 则其分布密度为 f(x) = λe λx, x 0 其分布函数为 F (x) = x 0 λe λt dt = 1 e λx, x 0 Gamma 分布的分布函数若 X Γ(α, λ), 则其分布密度为 f(x) = λα Γ(α) xα 1 e λx, x 0 当 λ = 1 时其分布函数为 I α (x) = 1 Γ(α) x 0 t α 1 e t dt, t 0 称为不完全 Gamma 函数, 是没有解析表达式的对一般 Γ(α, λ) 其分布函数为 F (x) = I α (λx), x 0

62 56 第二章随机变量和概率分布 2.5 随机变量函数的分布随机变量函数分布例 5.1 例 5.1 设 X 有如下的概率分布 X P 求 Y = X 2 的分布. 解 Y 的取值是 0, 1, 4, 9, 而且 P (Y = 0) = P (X = 0) = 0.3; P (Y = 1) = P ( X = 1) = = 0.4; P (Y = 4) = P ( X = 2) = P (X = 2) = 0.1; P (Y = 9) = P (X = 3) = 0.2. 于是 Y 有分布 Y P 例 5.2 均匀分布的反函数例 5.2 设 X U(0, 1), Φ 1 (p)(p (0, 1)) 是 Φ(x) 的反函数, 求 Y = Φ 1 (X) 的分布. 解 F Y (y) = P (Φ 1 (X) y) = P (X Φ(y)) = Φ(y), x R, 所以 Y N(0, 1). 例 5.3: 正态分布例 5.3 解设 X N(µ, σ 2 ), 则 Y = (X µ)/σ 服从标准正态分布 N(0, 1), 且 X 的分布函数为 Φ( x µ σ ). 先求 Y 的分布函数 F Y (y). 设 F X (x) 是 X 的分布函数, 则 F X 连续可导, 并且有 F X(x) = 1 ( exp (x ) µ)2. 2πσ 2 2σ 2

63 2.5 随机变量函数的分布 57 于是, 关于 y 连续可导, 对 y 求导数得到概率密度 F Y (y) =P (Y y) = P ((X µ)/σ y) =P (X yσ + µ) = F X (yσ + µ) f Y (y) =F Y (y) = F X(yσ + µ)σ = σ ( ) (yσ + µ µ) 2 exp 2πσ 2 2σ 2 = 1 2π e y2 /2 = φ(y). 定理说明 Y N(0, 1). 因为 F Y (y) = F X (µ + σy) 所以 F X (x) = F Y ( x µ σ x µ ) = Φ( ). σ 定理 5.1 设 X 有密度函数 f(x), D R, Y = g(x), P (Y D) = 1. 如果存在函数 h i (y) 使得 (1) 对 y D, {Y = y} = n i=1 {X = h i(y)}, (2) 每个 h i (y) 是 D 到其值域 D i 的可逆映射, 有连续的导数, (3) 值域 D 1, D 2,, D n 互不相交, 则 Y 有密度函数 n i=1 f Y (y) = f(h i(y)) h i(y), y D, 0, y D. (5.1) 证明见附录 A3. 注 : 定理 5.1 中的 n 也可以是. 计算随机变量的函数的概率密度的更直接方法请参考附录 D. 为了方便记忆, 可以把 (5.1) 写成 f Y (y) = n df X(h i (y)), y D. (5.2) dy i=1

64 58 第二章随机变量和概率分布推论推论 : 设随机变量 X 取值于 C R, Y = g(x), g(x) 是 C 到 D R 的一一变换,x = h(y) = g 1 (y) 是 g(x) 的反函数, 设 h(y) 有连续的导数则 f Y (y) = f(h(y)) h (y), y D. 例 5.4: 正态分布的线性变换例 5.4 设常数 a 0, X N(µ, σ 2 ), 则 Y = ax + b 服从正态分布 N(aµ + b, a 2 σ 2 ). 特别地, Y = X µ σ N(0, 1) 解 X 有密度函数 f X (x) = 1 ( exp (x ) µ)2. 2πσ 2 2σ 2 设 D = (, ), 则 P (Y D) = 1, {Y = y} = {ax + b = y} = {X = (y b)/a}. h(y) = (y b)/a 满足定理 5.1( 或推论 ) 的条件, 有导数 h (y) = 1/a. 利用定理 5.1 得到 Y 的概率密度 f Y (y) =f X (h(y)) h (y) = 1 ( exp 2πσ 1 ( = exp 2πσ a [(y b)/a µ]2 2σ 2 ) 1 a (y b ) aµ)2 2a 2 σ 2 再由正态分布的定义知道 Y N(aµ + b, a 2 σ 2 ). 例 5.5: 正态分布的平方设 X N(0, 1), 求 Y = X 2 的分布. 解设 D = (0, ), 则 P (Y D) = P ( X > 0) = 1. {Y = y} = {X = y} + {X = y}, y D. h 1 (y) = y, h 2 (y) = y 满足定理 5.1 的条件.

65 2.5 随机变量函数的分布 59 由定理 5.1 得到 Y 的密度 f Y (y) =f X (h 1 (y)) h 1(y) + f X (h 2 (y)) h 2(y) = 1 ( exp 1 ) 1 2π 2 h2 1(y) + 1 ( exp 1 2π 2 h2 2(y) = 1 2πy e y/2, y (0, ). 2 y ) 1 2 y 例 5.6 设 r 是正数, X U(0, 2π), 求 Y = r cos X 的密度. 解设 D = ( r, r), 则 P (Y D) = 1. 对于 y D, 有 {Y = y} = {cos X = y/r} ={cos X = y/r, X (0, π)} {cos X = y/r, X (π, 2π)} ={cos X = y/r, X (0, π)} {cos(2π X) = y/r, X (π, 2π)} ={X = arccos(y/r)} {X = 2π arccos(y/r)}, h 1 (y) = arccos(y/r), h 2 (y) = 2π arccos(y/r) 满足定理 5.1 的条件, 在 D 中有导数 h 1 1(y) = r2 y, 1 2 h 2(y) = r2 y. 2 因为 X 有分布函数于是 Y 有密度函数 F X (x) = x, x (0, 2π), 2π f Y (y) =f X (h 1 (y)) h 1(y) + f X (h 2 (y)) h 2(y) 1 = π r 2 y, 2 y ( r, r).

66 60 第二章随机变量和概率分布

67 第三章随机向量及其分布 3.1 随机向量及其联合分布随机向量如果 X, Y 都是随机变量, 就称 (X, Y ) 是 2 维随机向量, 简称为随机向量 (random vector). 对于随机向量 (X, Y ), 我们称 F (x, y) = P (X x, Y y) (1.1) 为 (X, Y ) 的联合概率分布函数, 简称为联合分布 (joint distribution). 容易证明, 联合分布函数 F (x, y) 是 x, y 的单调不减函数. 对随机事件 A, B, A 1, A 2,, A n, 以后用 {A, B} 表示 AB, 用 {A 1, A 2,, A n } 表示 n A j. j=1 边缘分布设 F (x, y) 是 (X, Y ) 的联合分布, 则 X,Y 分别有概率分布 F X (x) =P (X x, Y ) = F (x, ), F Y (y) =P (X, Y y) = F (, y). 我们称 X 的分布函数 F X (x), Y 的分布函数 F Y (x) 为 (X, Y ) 的边缘分布函数 (marginal distribution function). 61

68 62 第三章随机向量及其分布独立随机变量定义 1.1 称随机变量 X, Y 独立, 如果对任何实数 x, y, 事件 {X x} 和 {Y y} 独立. 按照定义 1.1, X, Y 独立的充分必要条件是对任何 x, y, P (X x, Y y) = P (X x)p (Y y) 或等价地有 F (x, y) = F X (x)f Y (y). 定义 1.2 设 X 1, X 2, 是随机变量, (1) 如果对任何实数 x 1, x 2,, x n, P (X 1 x 1, X 2 x 2,, X n x n ) =P (X 1 x 1 )P (X 2 x 2 ) P (X n x n ), 就称随机变量 X 1, X 2,, X n 相互独立. (2) 如果对任何 n, X 1, X 2,, X n 相互独立, 就称随机变量的序列 {X j } = {X j : j = 1, 2, } 相互独立. 这时称 {X j } 是独立序列 (independent sequence). 独立的性质当 X 1, X 2,, X n 是来自相互独立进行的随机试验的随机变量时, 它们相互独立. 常数与任何随机变量独立. 定理 1.1 设 X 1, X 2,, X n 相互独立, 则有如下的结果. (1) 对于数集 A 1, A 2,, A n, 事件 {X 1 A 1 }, {X 2 A 2 }, {X n A n } 相互独立, (2) 对于一元函数 g 1 (x), g 2 (x),, g n (x), 随机变量 Y 1 = g 1 (X 1 ), Y 2 = g 2 (X 2 ),, Y n = g n (X n ) 相互独立, (3) 对于 k 元函数 φ(x 1, x 2,, x k ), 随机变量 φ(x 1, X 2,, X k ), X k+1, X k+2,, X n 相互独立. 略去定理证明.

69 3.2 离散型随机向量及其分布 63 n 元随机向量如果 X 1, X 2,, X n 都是随机变量, 就称 X = (X 1, X 2,, X n ) 是 n 维随机向量, 也简称为随机向量. 定义 1.3 设 X = (X 1, X 2,, X n ) 是随机向量, 称 R n 上的 n- 元函数 F (x 1, x 2,, x n ) = P (X 1 x 1, X 2 x 2,, X n x n ) (1.2) 为 X = (X 1, X 2,, X n ) 的联合分布函数, 简称为联合分布. 设随机向量 (X 1, X 2,, X n ) 有联合分布 F (x 1, x 2,, x n ), X i 有分布函数 F i (x i ), 根据随机变量独立性的定义知道, X 1, X 2,, X n 相互独立的充分必要条件是对任何 (x 1, x 2,, x n ), 有 F (x 1, x 2,, x n ) = F 1 (x 1 )F 2 (x 2 ) F n (x n ). (1.3) 二元离散型随机向量 3.2 离散型随机向量及其分布如果 X, Y 都是离散型随机变量, 就称 (X, Y ) 是离散性随机向量. 设离散型随机向量 (X, Y ) 有概率分布 p i,j = P (X = x i, Y = y j ), i, j 1 (2.1) 则 X 和 Y 分别有概率分布 p i P (X = x i ) = P (X = x i, Y = y j ) = p i,j, i 1, j=1 j=1 q j P (Y = y j ) = P (X = x i, Y = y j ) = p i,j, j 1. (2.2) i=1 i=1 我们称 X 的分布 {p j }, Y 的分布 {q j } 为 (X, Y ) 的边缘分布. 概率分布表当 (X, Y ) 的概率分布的规律性不强, 或不能用 (2.2) 明确表达时, 还可

70 64 第三章随机向量及其分布以用表格的形式表达如下. p i,j y 1 y 2 y 3 y n {p i } x 1 p 1,1 p 1,2 p 1,3 p 1,n p 1 x 2 p 2,1 p 2,2 p 2,3 p 2,n p 2 x 3 p 3,1 p 3,2 p 3,3 p 3,n p 3 {q j } q 1 q 2 q 3 q n 1 这时 p i 是其所在行中 p i,j 之和, q j 是其所在列的 p i,j 之和. 离散型随机变量的独立性定理 2.1 设离散型随机向量 (X, Y ) 的所有不同取值是 (x i, y j ), i, j 1, 则 X, Y 相互独立的充分必要条件是对任何 (x i, y j ), P (X = x i, Y = y j ) = P (X = x i )P (Y = y j ). (2.3) 定理 2.1 证明如果 (2.3) 成立, 则对任何 x, y R, 利用概率的可列可加性得到 ( P (X x, Y y) =P {X = x i}, ) {Y = y j} i:x i x j:y j y = P (X = x i, Y = y j ) 于是 X,Y 独立. i:x i x = j:y j y i:x i x j:y j y = i:x i x P (X = x i ) =P (X x)p (Y y). P (X = x i )P (Y = y j ) j:y j y P (Y = y j ) 现在设 X, Y 独立. 对于 A = {x k k = i} 和 B = {y k k = j} 由定理 1.1 知道 {X = x i } = {X A} 与 {Y = y j } = {Y B} 独立, 所以有 (2.3) 成立.

71 3.3 连续型随机向量及其分布 65 离散型随机向量如果 X 1, X 2,, X n 都是离散型的随机变量, 就称 X = (X 1, X 2,, X n ) 是离散型随机向量. 如果 X 所有的不同取值是 (x 1j1, x 2j2,, x njn ), j 1, j 2,, j n 1, 就称 p(j 1, j 2,, j n ) =P ( ) X 1 = x 1j1,, X n = x njn, j1, j 2,, j n 1, 是 X 的联合概率分布. 例 2.1( 多项分布 ): 略 3.3 连续型随机向量及其分布联合概率密度定义 3.1 设 (X, Y ) 是随机向量, 如果有 R 2 上的非负可积函数 f(x, y) 使得对 R 2 的所有长方形子集 D = { (x, y) a < x b, c < y d } (3.1) 有 P ((X, Y ) D) = f(x, y) dxdy, (3.2) D 就称 (X, Y ) 是连续型随机向量, 并称 f(x, y) 是 (X, Y ) 的联合概率密度或联合密度 (joint density). 按照上述定义, 连续型随机向量有概率密度, 没有概率密度的随机向量不是连续型随机向量. 设 f(x, y) 是 (X, Y ) 的概率密度. 可以证明对 R 2 的子区域 B, 有 P ((X, Y ) B) = f(x, y)dx dy. (3.3) B 于是有 R 2 f(x, y)dx dy = P ((X, Y ) R 2 ) = 1. (3.4)

72 66 第三章随机向量及其分布 Fubini 定理定理 3.1 (Fubini 定理 ) 设 D 是 R n 的子区域, φ(x 1, x 2,, x n ) 是 D 上的非负函数或满足 φ(x 1, x 2,, x n ) dx 1 dx 2 dx n <, D 则对区域 D 上的 n 重积分 φ(x 1, x 2,, x n )dx 1 dx 2 dx n D 可以进行累次积分计算, 且积分的次序可以交换. 边缘密度设 f(x, y) 是随机向量 (X, Y ) 的概率密度, 则 X 和 Y 也都是连续型随机变量, 我们称 X, Y 各自的概率密度为 f(x, y) 或 (X, Y ) 的边缘密度 (marginal density). 对任何 a < b, 有 P (a < X b) =P (a < X b, Y < ) b ( ) = f(x, y)dy dx. a 由概率密度的定义知道 X 有边缘密度 f X (x) = 完全对称地得到 Y 的边缘函数 f Y (y) = 例 : 平面上的均匀分布 f(x, y)dy. (3.5) f(x, y)dx. 设 D 是 R 2 的子区域, 面积 m(d) (0, ). 如果 (X, Y ) 有密度函数 1, (x, y) D, m(d) f(x, y) = (3.6) 0, (x, y) D, 就称 (X, Y ) 服从 D 上的均匀分布, 记做 (X, Y ) U(D).

73 3.3 连续型随机向量及其分布 67 例 3.1 设 (X, Y ) 在单位圆 D = {(x, y) x 2 + y 2 1} 内均匀分布, 求 X 和 Y 的概率密度. 解用 I D 表示 D 的示性函数, 即则 (X, Y ) 有联合密度 f(x, y) = (1/π)I D. X 只在 [ 1, 1] 中取值. 由 (3.5) 知道 f X (x) = = 1 π = 1 π f(x, y)dy I {x2 +y 1}dy 2 I { y 1 x2 } dy = 2 π 1 x2, x 1. 同理得到 Y 的密度函数 f Y (y) = 2 π 1 y2, y 1. 联合分布与联合密度定理 3.2 设 (X, Y ) 有连续的分布函数 F (x, y), 定义 2 F (x,y), 当该混合偏导数存在, x y f(x, y) = 0, 其他. (3.7) 如果 f(x, y)dxdy = 1, R 2 则 f(x, y) 是 (X, Y ) 的联合密度. 证明略. 没有密度的例子例 3.2 续型随机变量. 存在随机向量 (X, Y ), 它有连续的联合分布函数, 但不是连解设 X 在 [0, 1] 上均匀分布, Y = X. 则 (X, Y ) 有连续的联合分布

74 68 第三章随机向量及其分布函数 ( 见图 3.3.1) F (x, y) =P (X x, X y) =P (X min(x, y) ) 0, min(x, y) 0, = min(x, y), min(x, y) (0, 1], 1, min(x, y) > 1. (X, Y ) 只在 D = {(x, y) 0 x = y 1} 上取值. 如果 (X, Y ) 有联合密度 f(x, y), 则有矛盾的结果 1 = P ((X, Y ) D) = f(x, y)dxdy = 0. 所以 (X, Y ) 没有联合密度, 从而不是连续型随机变量. D 例 3.2 说明 : F (x, y) 连续, 除去有限条直线外, 2 F (x,y) x y 条件还不能保证 (X, Y ) 有联合密度. 存在且连续的连续型随机变量独立性定理定理 3.3 设 X, Y 分别有概率密度 f X (x), f Y (y). 则 X, Y 独立的充分必要条件是随机向量 (X, Y ) 有联合密度 f(x, y) = f X (x)f Y (y). (3.8) 证明如果 (3.8) 是 (X, Y ) 的联合密度, 则有 x ( y ) P (X x, Y y) = f X (s)f Y (t)dt ds = x y f X (s)ds f Y (t)dt =P (X x)p (Y y). 由定义 1.1 知道 X, Y 独立. 如果 X, Y 独立, 对 a b, c d, 利用 Fubini 定理得到 P (a < X b, c < Y d) =P (a < X b)(c < Y d) = = b a b d a c f X (x)dx d c f Y (y)dy f X (x)f Y (y)dxdy.

75 3.3 连续型随机向量及其分布 69 按联合分布密度定义可知 f X (x)f Y (y) 是 (X, Y ) 的联合分布密度均匀分布例 3.3 设 (X, Y ) 在矩形 D = {(x, y) a < x b, c < y d} 上均匀分布. 容易计算出 X 和 Y 的概率密度如下, f X (x) = f Y (y) = I D m(d) dy = 1 (b a) I (a,b], I D m(d) dx = 1 (d c) I (c,d]. 于是 X U(a, b), Y U(c, d). 由于 f X (x)f Y (y) = 1 m(d) I D 是 (X, Y ) 的联合密度, 所以 X, Y 相互独立. 反之, 若 X U(a, b), Y U(c, d), 且 X, Y 相互独立, 则 (X, Y ) 在 D 上均匀分布. 因为这时 (X, Y ) 的联合密度在 D 上是常数. 对于非长方形上的均匀分布其分量非均匀分布联合概率计算的例子例 3.4 两人某天在 1 点至 2 点间独立地随机到达某地会面, 先到者等候 20 分钟后离去. 求这两人能相遇的概率. 解认为每个人在 0 至 60 分钟内等可能到达, 用 X, Y 分别表示他们的到达时间. 则 X U(0, 60), Y U(0, 60), X, Y 独立. 利用 1, x (0, 60), 60 f X (x) = f Y (x) = 0, x / (0, 60), 得到 (X, Y ) 的联合密度 1/60 2, (x, y) D, f(x, y) = f X (x)f Y (y) = 0, (x, y) / D. 其中 D = {(x, y) 0 x, y 60}. 定义 ( 见图 3.3.2) A = { (x, y) x y 20, (x, y) D }.

76 70 第三章随机向量及其分布要计算的概率是 P ( X Y 20) = f(x, y)dxdy A = = A 二维正态分布例 3.5 ( 二维正态分布 ) 设 µ 1, µ 2 是常数, σ 1, σ 2 是正常数, ρ 是 ( 1, 1) 中的常数. 如果随机向量 (X, Y ) 有概率密度 1 { f(x, y) = 2πσ 1 σ exp 2 1 ρ 2 1 [ (x µ1 ) 2 2(1 ρ 2 ) 2ρ(x µ 1)(y µ 2 ) σ 1 σ 2 + (y µ 2) 2 σ 2 2 σ 2 1 ]}, (3.9) 就称 (X, Y ) 服从二维正态分布, 记做 (X, Y ) N(µ 1, µ 2 ; σ 2 1, σ 2 2; ρ). 二维正态分布 ( 续 ) 例 3.6 ( 接例 3.5) 设 (X, Y ) 有联合密度 (3.9). 证明

77 3.3 连续型随机向量及其分布 71 (1) X N(µ 1, σ 2 1), Y N(µ 2, σ 2 2), (2) X,Y 独立的充分必要条件是 ρ = 0. 解 (1) 引入则有 f X (x) = u = x µ 1 σ 1, v = y µ 2 σ 2, µ = ρu, σ = 1 ρ 2, σ 2 = 2πσ 1 σ 2 1 ρ 2 f(x, y)dy 1 = exp 2πσ 1 1 ρ 2 = 1 ( exp u2 2πσ1 = 1 2πσ1 exp = 1 2πσ1 exp 于是 X N(µ 1, σ 2 1). [ exp [ ) 1 2πσ 1 ] 2(1 ρ 2 ) (u2 2ρuv + v 2 ) dv 1 ] 2(1 ρ 2 ) (v ρu)2 2 ( ) u2 ( 注意密度积分为 1) 2 ( (x µ 1) 2 ). 2σ 2 1 完全对称地得到 Y N(µ 2, σ 2 2). X,Y 独立的充分必要条件是 exp [ (v ] µ)2 exp dv 2σ 2 ( ) u2 dv 2 f X (x)f Y (y) = f(x, y). (3.10) 当 ρ = 0, (3.10) 成立, 于是 X,Y 独立. 当 X,Y 独立, 有 (3.10) 成立, 取 (x, y) = (µ 1, µ 2 ) 得到于是有 ρ = = 2πσ1 2πσ2 1 2πσ 1 σ 2 1 ρ 2, 即证明了 X,Y 独立的充分必要条件是 ρ = 0. 在军事武器的鉴定工作中, 如果用 (X, Y ) 表示某型号导弹的弹落点, 则 (X, Y ) 服从二维正态分布. 这时 (µ 1, µ 2 ) 是目标的地理坐标, R = (X µ 1 ) 2 + (Y µ 2 ) 2 是弹落点至目标的距离, 被称为脱靶量. σ 2 1, σ 2 2 的大小描述的是制导精度.

78 72 第三章随机向量及其分布 n 元连续型随机向量定义 3.2 设 X = {X 1, X 2,, X n } 是随机向量, 如果有 R n 上的非负可积函数 f(x 1, x 2,, x n ) 使得对 R n 的任何子立方体有 D = { (x 1, x 2,, x n ) a i < x i b i, 1 i n } P (X D) = f(x 1, x 2,, x n )dx 1 dx 2 dx n, D 就称 X 是连续型随机向量, 并称 f(x 1, x 2,, x n ) 是 X 的联合概率密度函数, 简称为联合密度或概率密度. 按照上述定义, 连续型随机向量有概率密度, 没有概率密度的随机向量不是连续型随机向量. 设 f(x 1, x 2,, x n ) 是 X 的概率密度. 可以证明对 R n 的子集 B, 有 P (X B) = f(x 1, x 2,, x n )dx 1 dx 2 dx n. B 于是有 f(x 1, x 2,, x n )dx 1 dx 2 dx n = P (X R n ) = 1. R n n 个随机变量的独立性定理定理 3.4 设对每个 i(1 i n), 随机变量 X i 有概率密度 f i (x i ). 则 X 1, X 2,, X n 相互独立的充分必要条件是随机向量 X = (X 1, X 2,, X n ) 有联合密度 f 1 (x 1 )f 2 (x 2 ) f n (x n ), (x 1, x 2,, x n ) R n. (3.11) 独立的随机向量的值域一定是 ( 超 ) 长方体 3.4 随机向量函数的分布离散型随机向量的函数 Poisson 分布例例 4.1 ( 泊松分布的可加性 ) 设一个公交车站有 1 路, 2 路,, n 路汽车停靠. 早 7 点至 8 点之间乘 i 路车的乘客到达数 X i 服从参数是 λ i 的泊松分布. 计算 7 点至 8 点之间

79 3.4 随机向量函数的分布 73 (1) 乘 1 和 2 路汽车的到达人数 Z 2 = X 1 + X 2 的概率分布, (2) 到达总人数 Z n = X 1 + X X n 的概率分布. 解 Z 2 是取非负整数值的随机变量, 对于 k = 0, 1,, 有 P (Z 2 = k) =P (X 1 + X 2 = k) =P ( k {X 1 = i, X 2 = k i}) i=0 k = P (X 1 = i)p (X 2 = k i) = = i=0 k i=0 k i=0 λ i 1 i! λ k i 2 (k i)! e λ 1 λ 2 (X, Y 独立 ) 1 k! Ci kλ i 1λ k i 2 e λ1 λ2 = (λ 1 + λ 2 ) k e (λ 1+λ 2 ). k! 说明到达的总人数 Z 2 = X 1 + X 2 Poisson(λ 1 + λ 2 ). 现在假设 Z n 1 Poisson(λ 1 + λ λ n 1 ). 利用 Z n 1 和 X n 独立, Z n = Z n 1 + X n 和 (1) 中的结果得到 Z n Poisson(λ 1 + λ λ n ). 从例 4.1 可以得到如下的结果 : 如果 X 1, X 2,, X n 相互独立, X i Poisson(λ i ), 则 Z n = X 1 +X 2 + +X n Poisson(λ 1 +λ 2 + +λ n ). 离散型随机向量二项分布例例 4.2 设全班有 k 个同学, 在相同的条件下每个同学重复进行同一试验. 如果第 i 个同学作了 m i 次试验, 其中试验成功的次数是 X i. 计算全班同学的试验成功总次数 Z n = X 1 + X X n 的概率分布. 解设每次试验成功的概率是 p, 全班同学一共进行了 m = m 1 + m m n 次独立重复试验, 试验成功的总次数 Z n 服从二项分布 B(m, p).

80 74 第三章随机向量及其分布例 4.2 说明 : 如果 X i 服从二项分布 B(m i, p) 分布, X 1, X 2,, X n 相互独立, 则它们的和 Z n = X 1 + X X n 服从二项分布 B(m 1 + m m n, p). 当然也可以按照例 4.1 的方法推导出上述结果, 但是从问题的背景出发得到的结果更加直接和容易理解. 连续型随机向量函数的分布设随机向量 (X, Y ) 有联合密度 f(x, y), u = u(x, y), v = v(x, y) 是二元函数, 则 U = u(x, Y ), V = v(x, Y ) 是随机变量, 于是可以计算 U, V 的概率分布. 连续型随机向量函数的分布例 4.3 例 4.3 设 (X, Y ) 有联合密度 f(x, y), 则 Z = X + Y 有密度函数 f Z (z) = 特别当 X,Y 独立时, Z = X + Y 有密度函数解对任何 a < b, f Z (z) = P (a < Z b) =P (a < X + Y b) = I {a<x+y b} f(x, y)dxdy R 2 ( b x ) = f(x, y)dy dx = = b a a x f(x, z x)dx. (4.1) f X (x)f Y (z x)dx. (4.2) ( b ) f(x, z x)dz dx ( 取 y = z x) a ( ) f(x, z x)dx dz. (4.3) 由密度函数的定义知道最后一式括号中以 z 为自变量的函数是 Z = X + Y 的密度. 由于 Z = Y + X, 所以 Z 的密度也可以表示成 f Z (z) = f(z y, y)dy. (4.4)

81 3.4 随机向量函数的分布 75 连续型随机向量函数的分布例 4.4 例 4.4 设 (X, Y ) 有联合密度 f(x, y), 则 V = X Y 有密度函数 f V (v) = 特别当 X,Y 独立时, V = X Y 有密度函数 f V (v) = 证明同例 4.3 f(x, x v)dx. (4.5) f X (x)f Y (x v)dx. (4.6) 例 4.5 Reileigh 分布例 4.5 设 X, Y 独立, 都服从标准正态分布 N(0, 1), 求脱靶量 Z = X2 + Y 2 的分布. 解 (X, Y ) 有联合密度 Z 在 [0, ) 取值. f(x, y) = 1 + y 2 2π exp( x2 ). (4.7) 2 对 z 0, 利用公式 (3.3) 得到 Z 的分布函数 F Z (z) =P ( X 2 + Y 2 z) 1 + y 2 = 2π exp( x2 )dxdy 2 = 1 2π { 2π 0 x 2 +y 2 z} z dθ 0 e r2 /2 r dr ( 取 x = r cos θ, y = r sin θ, Jacobi=r) z = e r2 /2 r dr. 0 F Z (z) 连续, 求导得到 Z 的密度函数 f Z (z) = ze z2 /2, z 0. (4.8) (4.8) 称为瑞利 (Rayleigh) 分布密度, 于是脱靶量 Z 服从瑞利分布.

82 76 第三章随机向量及其分布随机向量函数的联合密度定理定理 4.1 设 (X, Y ) 有联合密度 f(x, y), U = u(x, Y ), V = v(x, Y ) 是 (X, Y ) 的函数, D 是平面上的区域使得 P ((U, V ) D) = 1. 如果有 D 上的函数 x i = x i (u, v), y i = y i (u, v), i = 1, 2,, n, 使得以下条件成立, (1) 对 (u, v) D, 有 {U = u, V = v} = n i=1 {X = x i, Y = y i }, (2) 每个 x i = x i (u, v), y i = y i (u, v) (4.9) 是 D 到其值域 D i 的可逆映射, 有连续的偏导数, 并且雅可比 (Jacobi) 行列式 (x i, y i ) 0, (u, v) D, i = 1, 2, n, (u, v) (3) 集合 D 1, D 2,, D n 互不相交, 则 (U, V ) 有联合密度. n i=1 g(u, v) = f(x i(u, v), y i (u, v)) (x i,y i ) (u,v), (u, v) D, 0, (u, v) D. (4.10) 独立同分布定义 4.1( 独立同分布随机变量列 ) 如果随机变量 X 1, X 2,, X n 相互独立并且有相同的分布, 就称它们独立同分布 (independent and identically distributed), 简称为 i.i.d..

83 3.4 随机向量函数的分布 77 例 4.6 例 4.6 设 X, Y 独立都服从标准正态分布 N(0, 1), (R, Θ) 由极坐标变换 X = R cos Θ, Y = R sin Θ 决定. 求 (R, Θ) 的联合密度. 解 (X, Y ) 有联合密度 (4.7). 定义 D = {(r, θ) r > 0, θ [0, 2π)}. 则 P ((R, Θ) D) = 1. : x = r cos θ, y = r sin θ 建立了 D 到 D 1 = {(x, y) (x, y) 0} 的可逆变换. 对 (r, θ) D, 利用 {R = r, Θ = θ} = {X = x, Y = y}, (x, y) (r, θ) = r > 0, 得到 (R, Θ) 的联合密度 R 和 Θ 分别有概率密度 g R (r) = g Θ (θ) = g(r, θ) = f(r cos θ, r sin θ)r = 1 2π r exp( r2 /2), (r, θ) D. 2π 0 0 g(r, θ)dθ = r exp( r2 2 )I (0, ), g(r, θ)dr = 1 2π I [0,2π). (4.11) 从 g(r, θ) = g R (r)g Θ (θ), (r, θ) D. 知道 R 和 Θ 独立. R 服从瑞利分布, Θ 服从 [0, 2π) 上的均匀分布.

84 78 第三章随机向量及其分布例 4.7 设 X, Y 独立同分布, 都服从标准正态分布, 求 U = X/Y, V = X 2 +Y 2 的联合密度. 解设 D = {(u, v) v > 0, < u < }, 则 P ((U, V ) D) = 1. 对 (u, v) D, 函数 x = u v, y = v 1+u 2 1+u 2 使得 {U = u, V = v} ={X/Y = u, X 2 + Y 2 = v} ={X = x, Y = y} + {X = x, Y = y}. 可以计算 (x, y) J = (u, v) = v u2 v 1+u 2 (1+u 2 ) 3/2 u v u 2 v 1+u 2 1 (1+u 2 ) 3/2 2 v 1+u 2 1 = 2(1 + u 2 ) u 2 2(1 + u 2 ) + u 2 2 2(1 + u 2 ) 2 1 = 2(1 + u 2 ). 再利用定理 4.1 得到 (U, V ) 的联合密度 g(u, v) =f(x, y) J + f( x, y) J = 1 2 exp( v/2) 1, v 0, u (, ). π(1 + u 2 ) g(u, v) 说明 U, V 独立, V 服从参数是 1/2 的指数分布, U 有密度 1/[π(1 + u 2 )]. 这时称 U 服从柯西分布. 3.5 极大极小值的分布次序统计量在研究产品的使用寿命时, 经常需要进行寿命试验. 用 X 1, X 2,, X n (5.1) 分别表示第 1, 2,, n 件产品的使用寿命.

85 3.5 极大极小值的分布 79 在时间 t = 0 时对这 n 件产品开始进行寿命试验. 用 X (1) 表示第一个寿终的产品的使用寿命, 用 X (2) 表示第二个寿终的产品的使用寿命,, 用 X (n) 表示第 n 个 ( 最后一个 ) 寿终的产品的使用寿命则每个 X (i) 都是随机变量, 并且 X (1) X (2) X (n). (5.2) 我们称 (5.2) 中的随机变量为 X 1, X 2,, X n 的 ( 从小到大 ) 次序统计量 (order statistics). 我们称 X (1) 是 X 1, X 2, X n 的极小值, 它是寿命最短的产品的使用寿命 ; 称 X (n) 是 X 1, X 2, X n 的极大值, 它是寿命最长的产品的使用寿命. X (n) = max(x 1, X 2,, X n ), (5.3) X (1) = min(x 1, X 2,, X n ). 极小值和极大值的意义设华北地区第 j 年的降雨量是 X j, 则 X (50) = max(x 1, X 2,, X 50 ) 是 50 年一遇的最大降雨量, 也是 50 年中涝灾最严重的那一年的降雨量. 同理, X (1) = min(x 1, X 2,, X 50 ) 是 50 年中最干旱的那一年的降雨量. 明显, X (1) X 1 X (50), X (1) 的分布和 X 1 的分布是不同的, X (50) 的分布和 X 1 的分布也是不同的. 研究随机变量 X (1), X (50) 的概率分布是有意义的.

86 80 第三章随机向量及其分布例 5.1 设某地区的年降水量 X 1, X 2,, 是独立同分布的, 有公共的分布函数 F (x) 和分段连续的密度函数 f(x), 求 50 年一遇的最大, 最小降雨量的分布函数和分布密度. 解取 n = 50. X (n) 有分布函数 F max (x) =P (X (n) x) =P (X 1 x, X 2 x,, X n x) =P (X 1 x)p (X 2 x) P (X n x) =[F (x)] n. F max (x) 连续, 在有导数的点求导数得到 X n 的密度 f max (x) = F max(x) = n[f (x)] n 1 f(x). (5.4) X (1) 有分布函数 F min (x) =P (X (1) x) =1 P (X (1) > x) =1 P (X 1 > x, X 2 > x,, X n > x) =1 P (X 1 > x)p (X 2 > x) P (X n > x) =1 [1 F (x)] n. F min (x) 连续, 在有导数的点求导数得到 X (1) 的密度 f min (x) = F min(x) = n[1 F (x)] n 1 f(x). (5.5) 例 5.2 某家庭原来有 4 个灯泡用于室内照明, 新装修后有 24 个灯泡用于室内照明. 装修入住后主人总认为灯泡更容易坏了, 试解释其中的原因. 解设所有灯泡的使用寿命相互独立, 且服从指数分布 Exp(λ). 用 X i 表示第 i 只灯泡的使用寿命. 装修前等待第一个灯泡烧坏的时间长度 X 为 X = min{x 1, X 2,, X 4 }.

87 3.6 条件分布和条件密度 81 装修后等待第一个灯泡烧坏的时间长度 Y 为 Y = min{x 1, X 2,, X 24 }. 利用 P (X > t) = e 4λt, P (Y > t) = e 24λt 可以分别得到 X 和 Y 的密度函数 f X (t) = 4λe 4λt, 和 f Y (t) = 24λe 24λt. 所以 X Exp(4λ), Y Exp(24λ). 容易计算当 λ = 1/(1500 小时 ) 时, P (X > 400) =0.3442, P (Y > 400) = P (X > 200) =0.5866, P (Y > 200) = P (X > 100) =0.7651, P (Y > 100) = 从中不难看出, Y 要比 X 随机地小很多. 装修前使用 200 小时不换灯泡的概率是 58.7%, 装修后使用 200 个小时不换灯泡是不大可能的. 3.6 条件分布和条件密度条件分布和条件密度设 X = (X 1, X 2,, X n ), Y = (Y 1, Y 2,, Y m ) 是随机向量, 本节讨论已知 X = (x 1, x 2,, x m ) 的条件下, Y 的概率分布. 为了叙述的简单, 我们只对 n = m = 1 的情况详细讨论. 离散型随机变量的条件分布设 (X, Y ) 是离散型随机向量, 有概率分布 X, Y 分别有边缘分布 p ij = P (X = x i, Y = y j ) > 0, i, j = 1, 2,, (6.1) p i = P (X = x i ), q j = P (Y = y j ), i, j = 1, 2,. (6.2) 对每个固定的 i, 由条件概率公式得到条件概率 P (Y = y j X = x i ) = P (X = x i, Y = y j ) P (X = x i ) = p ij p i, j = 1, 2,... (6.3) 定义 6.1 称 (6.3) 为条件 X = x i 下, Y 的条件概率分布, 简称为条件分布 (conditional distribution).

88 82 第三章随机向量及其分布例 6.1 甲向一个目标射击, 用 S n 表示第 n 次击中目标时的射击次数. 如果甲每次击中目标的概率是 p = 1 q, 则 (X, Y ) = (S 1, S 2 ) 有联合分布 P (X = i, Y = j) =P ( 失败 i 1 次, 第 i 次击中, 再失败 j i 1 次, 第 j 次击中 ) =p 2 q j 2, j > i 1. (6.4) 从问题的背景得到 X 的边缘分布 ( 几何分布 ) P (X = i) = pq i 1, i = 1, 2,, Y 的边缘分布是 j 1 P (Y = j) = P (X = i, Y = j) i=1 p 2 q j 2 j 1 = i=1 =(j 1)p 2 q j 2, j = 2, 3,. 于是对确定的 j( 2), 得到 X 的条件分布 P (X = i Y = j) = p 2 q j 2 (j 1)p 2 q = 1, 1 i < j. (6.5) j 2 j 1 (6.5) 说明已知 S 2 = j 时, S 1 在 {1, 2,, j 1} 中的取值是等可能的. 连续型随机变量条件分布问题北京夏季的高温闷热天气会造成北京电网的负荷过高. 用 X 表示夏季未来某天的最高气温, 用 Y 表示同一天北京电网的最大负荷, 可以认为 (X, Y ) 是连续型随机向量, 有联合密度 f(x, y). 如果已有对 X 的预测值 x, 在已知 X = x 的条件下研究 Y 的概率分布是有实际意义的工作.

89 3.6 条件分布和条件密度 83 我们用 P (Y y X = x) 表示已知 X = x 的条件下, Y 的分布函数, 称为条件分布函数. 注意, 条件分布函数 P (Y y X = x) 就是最高气温为 x 的那天北京电网最大负荷的概率分布函数, 是有明确的意义的. 不能直接按条件概率公式理解连续型随机变量的条件分布推导如何计算连续型随机变量的条件分布? 首先 X,Y 分别有边缘密度 f X (x) = f(x, y)dy, f Y (y) = f(x, y)dx. 对于充分小的正数 ε, 可以理解 P (Y y x ε < X x) P (Y y X = x). 另一方面, 如果 f X (x) 在 x 连续, f X (x) > 0, 并且 x F (x, y) 存在, 就有 lim P (Y y x ε < X x) ε 0+ P (Y y, x ε < X x) = lim ε 0+ P (x ε < X x) = lim ε 0+ F (x,y) x = F X (x) x x = = = F (x, y) F (x ε, y) F X (x) F X (x ε) y f(x, t) dt f X (x) y y f(s, t)dtds f X (x) f(x, t) f X (x) dt

90 84 第三章随机向量及其分布条件密度定义 6.2 称设随机向量 (X, Y ) 有联合密度 f(x, y), X 有边缘密度 f X (x), 若在 x( 确定的 x) 处 f X (x) > 0, 就称 P (Y y X = x) = y f(x, t) dt, y R (6.6) f X (x) 为条件 X = x 下, Y 的条件分布函数 (conditional distribution function), 简称为条件分布, 记做 F Y X (y x). f Y X (y x) = f(x, y), y R, (6.7) f X (x) 为条件 X = x 下, Y 的条件概率密度, 简称为条件密度 (conditional density). 条件密度和条件分布的关系对使得 f X (x) > 0 的 x, (1)F Y X (y x) = P (Y y X = x) = y f Y X (t x) dt, y R, (2) 如果 F Y X (y x) 关于 y 连续, 且除有限个点外有连续的导数, 则 f Y X (y x) = F y Y X(y x), 当偏导数存在, 0, 当偏导数不存在, 是 X = x 下, Y 的条件密度例 6.2 ( 接例 3.1) 设 (X, Y ) 在单位圆 D = {(x, y) x 2 + y 2 1} 内均匀分布, 则 X 和 Y 分别有概率密度 : f X (x) = 2 1 x2, x 1, 和 f Y (y) = 2 1 y2, y 1. π π f(x, y) = 1 π I D 是 (X, Y ) 的联合密度. 对 x ( 1, 1), Y 有条件密度 f Y X (y x) = I D πf X (x) = x 2, y 1 x 2. 说明已知 X = x 后, Y 在 ( 1 x 2, 1 x 2 ) 上均匀分布.

91 3.6 条件分布和条件密度 85 例 6.3 设炮击的目标是 (µ 1, µ 2 ), 弹落点的坐标 (X, Y ) 服从正态分布 N(µ 1, µ 2 ; σ1, 2 σ2; 2 ρ). 已知 X = x 时, 求 Y 的条件密度. 解 (X, Y ) 的联合密度为 1 { f(x, y) = 2πσ 1 σ exp 2 1 ρ 2 1 [ (x µ1 ) 2 2(1 ρ 2 ) 2ρ(x µ 1)(y µ 2 ) σ 1 σ 2 + (y µ 2) 2 σ 2 2 σ 2 1 ]}, X 有边缘分布 N(µ 1, σ 2 1). X = x 时, Y 的条件密度为 f(x, y) f Y X (y x) = f X (x) 1 ( = exp (y µ x) 2 2π(1 ρ2 )σ 2 2(1 ρ 2 )σ2 2 其中 µ x = µ 2 + (ρσ 2 /σ 1 )(x µ 1 ). 说明已知 X = x 时, Y N(µ x, (1 ρ 2 )σ 2 2). 当 X 和 Y 独立时, ρ = 0, 于是 f Y X (y x) = f Y (y). ), (6.8) 布朗运动与正态分布布朗运动描述浸没 ( 或悬浮 ) 在液体或气体中微小颗粒的运动, 这种现象由英国植物学家 Robert Brown 发现, 由 Einstein 于 1905 年作出解释 : 微粒运动是由大量分子的连续碰撞造成的. 自 1918 年开始, Wiener 发表了一系列的论文对布朗运动进行数学的描述. 所以布朗运动又称为 Wiener 过程. 至今布朗运动已经是量子力学, 概率统计, 金融证券等研究中最重要的随机过程. 现在设花粉的微粒在液体表面由于受到水分子的连续碰撞而进行布朗运动, 运动起点的坐标是 (µ 1, µ 2 ). 用 (X, Y ) 表示花粉在 t 时刻的坐标, 则 (X, Y ) 服从二维正态分布.

92 86 第三章随机向量及其分布

93 第四章数学期望和方差 4.1 数学期望数学期望概念数学期望引入随机变量的分布函数或密度函数描述了随机变量的统计性质, 从中可以了解随机变量落入某个区间的概率, 但是还不能给人留下更直接的总体印象. 例如用 X 表示某计算机软件的使用寿命, 当知道 X 服从指数分布 E(λ) 后, 我们还不知道该软件的平均使用寿命是多少. 这里的平均使用寿命应当是一个实数. 我们需要为随机变量 X 定义一个实数, 这个数就是数学期望, 它反映随机变量的平均取值. 演示 : 不同参数的指数分布的期望值不同参数的指数分布的期望值 Exponential density f(x) x 87

94 88 第四章数学期望和方差例 1.1 一个班有 n = 126 的学生, 期中考试后有 n j (0 j 100). 个同学的成绩是 j 分用 x i 表示第 i 个同学的成绩, 则全班同学的平均分是 µ 1 n n x i = j n j = j n j n n. (1.1) i=1 j=0 j=0 现在从班中任选一个同学, 用 X 表示这个同学的期中成绩, 则 X 有分布 p j = P (X = j) = n j, 0 j 100. (1.2) n 随机变量 X 的概率分布就是该班期中考试成绩的分布, 所以 X 的数学期望应当定义成平均分 µ. 用 E(X) 表示 X 的数学期望时, 应当有 100 E(X) = j n 100 j n = jp j. j=0 j=0 例 1.2 设 X 有概率分布 X p 作为 X 的可能值的平均数, ( )/2 = 50.5 并不能代表 X 的取值的平均. 对 X 进行 N 次独立重复观测. 由于频率是概率的估计, 所以当 N 充分大, 观测到 1 的比例大约是 0.01, 观测到 100 的比例大约是于是对 X 的单次平均观测值大约是 = 这就说明用 E(X) = = 表示 X 的平均值是合理的.

95 4.1 数学期望 89 数学期望定义离散型定义 1.1 设 X 有概率分布 p j = P (X = x j ), j = 0, 1,, 只要级数 j=0 x j p j 收敛, 就称 E(X) = x j p j (1.3) 为 X 或分布 {p j } 的数学期望 (expected value ) 或均值 (mean). 在定义 1.1 中要求 j=0 x j p j 收敛的原因是要使 (1.3) 中的级数有确切的意义. 当所有的 x j 非负时, 如果 (1.3) 中的级数是无穷, 由 (1.3) 定义的 E(X) 也有明确的意义, 它表明 X 的平均取值是无穷. 这时也称 X 的数学期望是无穷. 不难看出, 只取有限个值的随机变量的数学期望总是存在的. j=0 数学期望的重心解释在定义 1.1 中, 将 p j 视为横坐标 x j 处的质量, 由 (x j µ)p j = j=1 知道 {p j } 的重心是 µ. x j p j µ = 0, j=1 所以数学期望 E(X) 是 X 的分布 {p j } 的重心. 对于有概率密度 f(x) 的连续型随机变量 X, 我们也用 f(x) 和横轴所夹面积的 ( 横坐标的几何 ) 重心定义 X 的数学期望. 设 µ 是所述的重心, 如果就有 (x µ)f(x)dx = x f(x)dx <, (1.4) 于是 µ = xf(x)dx 是所述的重心. 参见前面不同参数的指数分布的密度图 xf(x)dx µ = 0.

96 90 第四章数学期望和方差数学期望定义连续型定义 1.2 设 X 是有概率密度 f(x) 的随机变量, 如果下式成立, x f(x)dx <, (1.4) 就称 xf(x)dx (1.5) 为 X 或 f(x) 的数学期望或均值. 和离散时的情况一样, 在定义 1.2 中要求 (1.4) 的原因是要使 (1.5) 中的积分有确切的意义. 当 X 非负时, 如果 (1.4) 中的积分是无穷, 由 (1.5) 定义的 E(X) 也有明确的意义, 它表明 X 的平均取值是无穷. 这时也称 X 的数学期望是无穷. 由于随机变量的数学期望由随机变量的概率分布唯一决定, 所以也可以对概率分布定义数学期望. 概率分布的数学期望就是以它为概率分布的随机变量的数学期望. 有相同分布的随机变量必有相同的数学期望. 例 1.3 某省的体育彩票中, 有顺序的 7 个数字组成一个号码, 称为一注. 7 个数字中的每个数字都选自 0, 1, 2,, 9, 可以重复. 如果彩票一元一张, 且全体不同的彩票中只有一个大奖, 中大奖获得奖金 300 万元, 上税 20%, 甲购买一注时期望盈利多少? 解用 X 表示甲购买一注时的收益, 中大奖获利 % = 240 万, 于是 P (X = 240 万 1) = 10 7, P (X = 1) = X 的数学期望是 E(X) = 1 ( ) = 于是每购买一注, 甲期望获得 0.76 元. 也就是说, 每买一注, 平均损失 0.76 元.

97 4.1 数学期望 91 例 1.4 在澳门赌场, 有很多人在赌廿一点时顺便押对子. 其规则如下 : 庄家从 6 副 ( 每副 52 张 ) 扑克中随机发给你两张. 如果你下注 a 元, 当得到的两张牌是一对时, 庄家赔你十倍, 否则输掉你的赌注. 如果你下注 100 元, 你和庄家在每局中各期望赢多少元? 解 : 用 X, Y 分别表示你和庄家在一局中的获利, a = 100. 则 P (X = 10a) = 13C2 4 6 C = 0.074, P (X = a) = , 于是, 你期望赢 EX = 10a a ( ) = 0.186a = 18.6( 元 ). 庄家期望赢 18.6 元, 这是因为 EY = 10a a ( ) = EX. 当只使用一副扑克, 可以计算出你每局期望赢元常见分布数学期望两点分布 B(1, p) P (X = 1) = p, P (X = 0) = 1 p, 则 E(X) = 1 p + 0 (1 p) = p. 设 A 是事件, I A 是 A 的示性函数, 即 1, 当 A 发生, I A = 0, 当 A 不发生. 则 I A 服从两点分布, 且 P (I A = 1) = P (A). 于是 E(I A ) = P (I A = 1) = P (A).

98 92 第四章数学期望和方差二项分布 B(n, p) 设 q = 1 p, 由 p j = P (X = j) = C j np j q n j, 0 j n, 得到 E(X) = =np n j=1 n 1 =np n jcnp j j q n j j=0 C j 1 n 1p j 1 q n j ( 用 jc j n = nc j 1 n 1) Cn 1p k k q n 1 k ( 用 k = j 1) k=0 =np(p + q) n 1 =np. 说明在 n 次独立重复试验中, 成功的概率 p 越大, 平均成功的次数越多. 泊松分布 Poisson(λ) 由得到 E(X) = P (X = k) = λk k! e λ, k = 0, 1,, k=0 k λk k! e λ = λ k=1 λ k 1 (k 1)! e λ = λ. 说明参数 λ 是泊松分布 Poisson(λ) 的数学期望. 回忆在 2.2 的例 2.1 中, 7.5 秒内放射性钋平均放射出 3.87 个 α 粒子, 7.5 秒内放射出的粒子数 X Poisson(3.87). 几何分布服从几何分布的随机变量 X 有离散分布 P (X = j) = pq j 1, j = 1, 2,.

99 4.1 数学期望 93 X 的数学期望 E(X) = j=1 jpq j 1 ( ) =p q j j=0 ( 1 =p 1 q = 1 p. ) 结论说明单次试验中的成功概率 p 越小, 首次成功所需要的平均试验次数就越多. 指数分布 E(λ) 由 X 的概率密度 f(x) = λe λx, x > 0 得到 E(X) = xf(x)dx = 0 xλe λx dx = 1 λ. 在 3.5 的例 5.2 中, X 1 E(λ), 1/λ = 1500( 小时 ), 所以单个灯泡的平均使用寿命是 1500 小时. 家里用 4 只灯泡时, X = min{x 1, X 2,, X 4 } E(4λ), 于是平均使用 1500/4 = 375 小时要换一个灯泡 ; 家里用 24 只灯泡时, Y = min{x 1, X 2,, X 24 } E(24λ), 平均使用 1500/24 = 62.5 小时要换一个灯泡. Γ(α, λ) 分布由 X 的概率密度 f(x) = λα Γ(α) xα 1 e λx, x > 0,

100 94 第四章数学期望和方差得到 E(X) = = 0 xf(x)dx λ α = 1 Γ(α)λ 0 Γ(α + 1) = Γ(α)λ Γ(α) xα e λx dx t α e t dt = α λ. ( 用 Γ(α + 1) = αγ(α)) ( 用 t = λx) 若 X 表示寿命, 则平均寿命 EX = α/λ 和 α 成正比, 和 λ 成反比. 这和 f(x) 的形状是一致的 ( 演示 :Gamma 分布密度 ). 当 α = 1, 又得到指数分布 E(λ) 的数学期望 1/λ. 对称分布的期望定理 1.1 设 X 的数学期望有限, 概率密度 f(x) 关于 µ 对称 : f(µ + x) = f(µ x), 则 E(X) = µ. 证这时 g(t) = tf(t + µ) 是奇函数 : g( t) = g(t). 于是 E(X) = = =µ + =µ. xf(x)dx µf(x)dx + tf(t + µ)dt (x µ)f(x µ + µ)dx 定理 1.1 的结论是自然的, 因为只要 f(x) 关于 µ 对称, 则 µ 就是曲线 f(x) 和 x 轴所夹面积的几何重心的横坐标. 推论 1.2 正态分布 N(µ, σ 2 ) 的数学期望是 µ, 均匀分布 U(a, b) 的数学期望是 (a + b)/ 随机向量函数的数学期望随机向量函数的数学期望 4.2 数学期望的性质

101 4.2 数学期望的性质 95 定理 2.1 设 X = (X 1, X 2,, X n ) 是随机向量, x = (x 1, x 2,, x n ) R n. (1) 如果 X 有联合密度 f(x) = f(x 1, x 2,, x n ), 实函数 g(x) 使得 g(x) f(x)dx 1 dx 2 dx n <, R n 则 Y = g(x) 有数学期望 E(Y ) = g(x)f(x)dx 1 dx 2 dx n ; (2.1) R n (2) 如果 X 是离散型随机向量, 有概率分布 p j1,j 2,,j n = P ( X = (x j1, x j2,, x jn ) ), j 1, j 2,, j n 1, 实函数 h(x) 使得 h(x j1, x j2,, x jn ) p j1,j 2,,j n <, j 1,j 2,,j n 则 Y = h(x) 有数学期望 E(Y ) = h(x j1, x j2,, x jn )p j1,j 2,,j n. (2.2) j 1,j 2,,j n 推论推论设 g(x) 为一元函数, 若随机变量 X 有密度 f(x) 且 g(x) f(x)dx < 则 Eg(X) = 若随机变量 X 有概率分布列 g(x)f(x) dx; Pr(X = x k ) = p k, k = 1, 2,... 且则 g(x k ) p k < k Eg(X) = g(x k )p k. k

102 96 第四章数学期望和方差例 2.1 设 X N(0, 1), 计算 E(X 2 ). 解 X 有概率密度 f(x) = 1 2π exp( x 2 /2), 由公式 (2.1) 得到 E(X 2 ) = 1 2π x 2 exp( x 2 /2)dx = 2 x 2 exp( x 2 /2)dx 2π 0 = 2 2π 0 = 2 π 0 2te t 1 2t dt ( 取 x = 2t) t 3/2 1 e t dt = 2 π Γ( ) = 2 π 1 2 Γ(1 2 ) ( 用 Γ(1 + α) = αγ(α)) =1. ( 用 Γ(1/2) = π) 例 2.2 设 X 在 (0, π/2) 上均匀分布, 计算 E(cos X). X 有概率密度 f(x) = 2/π, x (0, π/2). 用 (2.1) 得到 E(X) = f(x) cos x dx = 2 π π/2 0 cos x dx = 2 π. 例 2.3 设 X, Y 独立同分布且服从 N(0, 1), Z = X 2 + Y 2. 计算 E(Z). 解 (X, Y ) 有联合密度 f(x, y) = 1 2π exp ( x2 + y 2 ). 2

103 4.2 数学期望的性质 97 用公式 (2.1) 得到 E(Z) = (x 2 + y 2 )f(x, y)dxdy R 2 = 1 R2 (x 2 + y 2 ) exp ( x2 + y 2 ) dxdy 2π 2 = 1 2π ( dθ r 3 exp( r2 2π ) dr x = r cos θ, 取 y = r sin θ 1 =2 3/2 t 3/2 e t 2t dt ( 取 r = 2t) =2 0 0 te t dt = 2. ) 例 2.4 (X, Y ) 在单位圆 D = {(x, y) x 2 + y 2 1} 内均匀分布, 计算 E(X), E(Y ). 解 (X, Y ) 有联合密度 f(x, y) = 1 π I D. 用公式 (2.1) 得到 E(X) = xf(x, y)dxdy = 1 R π 2 对称地得到 E(Y ) = y 2 dy x dx = 0. 1 y 数学期望的性质数学期望的性质根据定理 2.1, j=1 E X = x j p j, 当 p j = P (X = x j ), x f(x) dx, 当 X 有密度 f(x). 于是, EX 有限的充分必要条件是 E X <. 定理 2.2 设 E X j < (1 j n), c 0, c 1,, c n 是常数, 则有以下结果.

104 98 第四章数学期望和方差 (1) 线性组合 Y = c 0 + c 1 X 1 + c 2 X c n X n 的数学期望存在, 而且 E(Y ) = c 0 + c 1 E(X 1 ) + c 2 E(X 2 ) + + c n E(X n ), (2.3) (2) 如果 X 1, X 2,, X n 相互独立, 则 Z = X 1 X 2 X n 的数学期望存在, 并且 E(X 1 X 2 X n ) = E(X 1 )E(X 2 ) E(X n ), (3) 如果 X 1 X 2, 则 E(X 1 ) E(X 2 ). 定理 2.2 证明只对 X = (X 1, X 2,, X n ) 有联合密度 f(x) 的情况给出证明. (1) 利用公式 (2.1) 得到 E Y = R n c 0 + n f(x)dx1 c j x j dx 2 dx n j=1 n c 0 + c j x j f(x)dx 1 dx 2 dx n j=1 R n n =c 0 + c j E X j <. j=1 再利用公式 (2.1) 得到 E(Y ) = R n ( c 0 + n c j x j )f(x)dx 1 dx 2 dx n j=1 n =c 0 + c j x j f(x)dx 1 dx 2 dx n j=1 R n n =c 0 + c j E(X j ). j=1 (2) 这时 f(x) = f 1 (x 1 )f 2 (x 2 ) f n (x n ), 其中 f j (x j ) 是 X j 的概率密度. 利用公式 (2.1) 和 Fubini 定理得到 E Y = x 1 x 2 x n f(x)dx 1 dx 2 dx n R n = x 1 f 1 (x 1 )dx 1 x 2 f 2 (x 2 )dx 2 =E( X 1 )E( X 2 ) E( X n ) <. x n f n (x n )dx n

105 4.2 数学期望的性质 99 再利用公式 (2.1)) 和 Fubini 定理得到 E(Y ) = x 1 x 2 x n f(x)dx 1 dx 2 dx n R n = x 1 f 1 (x 1 )dx 1 x 2 f 2 (x 2 )dx 2 x n f n (x n )dx n =E(X 1 )E(X 2 ) E(X n ). (3) 只对 Y = X 2 X 1 有概率密度 g(y) 的情况证明. 由 Y 0, 知道对 y < 0 有 g(y) = 0. 于是用 (1) 得到 E(X 2 ) E(X 1 ) = E(Y ) = 例 2.5( 二项分布 B(n, p)) 0 yg(y) dy 0. 设单次试验成功的概率是 p, 问 n 次独立重复试验中, 期望有几次成功? 解引入 1, 第 i 试验成功, X i = 0, 第 i 次试验不成功. 则 EX i = p, X = (X 1 + X X n ) 是 n 次试验中的成功次数, 期望的成功数是 EX = EX 1 + EX EX n = np. 这里 X B(n, p). 可见 X 的数学期望是指对 X 的期望值, 它也是 X 的平均取值. 例 2.6( 超几何分布 H(n, M, N)) N 件产品中有 M 件正品, 从中任取 n 件, 期望有几件正品? 解定义随机变量 1, 第 i 次取得正品, X i = 0, 第 i 次取得次品. 则无论是否有放回的抽取, 总有 EX i = M/N( 参考 1.6 例 6.1). Y = X 1 + X X n 是抽到的正品数. 期望的正品数是 EY = EX 1 + EX EX n = nm/n.

106 100 第四章数学期望和方差本例中, 有放回的抽取时,Y B(n, M/N). 无放回的抽取时, Y 服从超几何分布 H(n, M, N)( 参考 2.2 的 (4)). 例 2.7( 信封搭配 ) 将 n 个不同的信笺随机放入 n 个写好地址的信封, 平均有几封能正确搭配? 解定义随机变量 1, 第 i 封信正确搭配, X i = 0, 第 i 封信没有正确搭配. 则 EX i = P (X i = 1) = 1/n. Y = X 1 + X X n 是正确搭配的个数, 于是平均正确搭配的个数是 EY = EX 1 + EX EX n = n/n = 1. 本例说明无论有多少个信封, 平均只有一封信能正确搭配. 例 2.8 如果 E X = 0, 则 P (X = 0) = 1. 证用 I {n X >1} 表示事件 {n X > 1} 的示性函数, 利用定理 2.2 的 (3) 得到 P ( X > 1/n) =P (n X > 1) =E(I {n X >1} ) E(n X I {n X >1} ) ne X =0. 由概率的连续性得到 P ( X > 0) = P ( n=1{ X > 1/n}) = lim P ( X > 1/n) = 0. n 最后得到 P ( X = 0) = 1 P ( X > 0) = 1. 本例说明 E X = 0 的充分必要条件是 P (X = 0) = 1.

107 4.2 数学期望的性质 101 当 P (X = 0) = 1, 我们称 X = 0 以概率 1 发生, 记做 X = 0, wp1. 这里 wp1. 表示 with probability 1. 完全类似地, 我们把 P (X Y ) = 1 记做 X Y, wp1. 当 P (A) = 1, 我们称 A 以概率 1 发生. 不难理解, 当 P (A) = 1, A 在实际中必然发生. 以概率 1 发生又称作几乎处处或几乎必然 (almost surely) 发生, 用 a.s. 表示. 例 2.9 设商店每销售一吨大米获利 a 元, 每库存一吨大米损失 b 元, 假设大米的销量 Y 服从指数分布 E(λ). 问库存多少吨大米才能获得最大的平均利润. 解库存量是 x 时, 利润是 ay b(x Y ), Y < x, Q(x, Y ) = ax, Y x. 用 I {Y <x} 表示事件 {Y < x} 的示性函数, 用 I {Y x} 表示 {Y x} 的示性函数, 就可以将 Q(x, Y ) 写成 Q(x, Y ) = [ay b(x Y )]I {Y <x} + axi {Y x}. 平均利润是 q(x) =EQ(x, Y ) = = x 0 Q(x, y)f Y (y)dy [ay b(x y)]f Y (y)dy + ax = a + b λ (1 e λx ) bx. ( 具体过程略 ) q(x) 的最大值点是所要的库存数. 由 x f Y (y)dy q (x) = (a + b)e λx b = 0, q (x) = (a + b)λe λx < 0, 得到 x = λ 1 ln[(a + b)/b] 是 q(x) 的最大值点. 于是库存 λ 1 ln[(a + b)/b] 吨大米可以获得最大平均利润.

108 102 第四章数学期望和方差中心矩和原点矩定义 2.1 设 X 是随机变量, m 是正整数. 如果 E X m <, 就称 EX m 为 X 的 m 阶原点矩, 称 E(X EX) m 为 X 的 m 阶中心矩. 当 m > 2 时, 我们将原点矩和中心矩统称为高阶矩. 方差定义 4.3 随机变量的方差方差用来描述分布的分散程度, 或宽窄定义 3.1 如果随机变量 X 的数学期望 µ = EX 有限, 就称 E(X µ) 2 (3.1) 为 X 的方差 (variance), 记做 Var(X) 或 σ XX. 当 Var(X) <, 称 X 的方差有限. 称 σ X = Var(X) 为 X 的标准差. 设 X 是对长度为 µ 的物体的测量值, 则 X µ 是测量误差, (X µ) 2 是测量误差的平方. 如果测量仪器无系统偏差 ( 即 EX = µ), 则 E(X µ) 2 是测量误差平方的平均, 称为均方误差. 方差的计算公式当 X 有离散分布 P (X = x j ), j = 1, 2, 时, 利用公式 (2.2) 得到 Var(X) = (x j µ) 2 P (X = x j ). j=1 当 X 有概率密度 f(x) 时, 利用公式 (2.1) 得到 Var(X) = (x µ) 2 f(x) dx. 随机变量 X 的方差 Var(X) 由 X 的分布唯一决定. X 的方差描述了 X 的分散程度, Var(X) 越小, 说明 X 在数学期望 µ 附近越集中. 特别当 Var(X) = 0 时, 由例 2.8 知道 P (X = µ) = 1.

109 4.3 随机变量的方差 103 利用数学期望的线性性质得到, Var(X) = E(X 2 2Xµ + µ 2 ) = EX 2 (EX) 2. (3.2) (3.2) 是计算方差的常用公式. 两点分布 B(1, p) 的方差 P (X = 1) = p, P (X = 0) = 1 p. 由 X 2 = X 和 EX = p, 得到 Var(X) = EX 2 (EX) 2 = p p 2 = pq. 二项分布 B(n, p) 的方差设 q = 1 p, 由 EX = np, P (X = j) = C j np j q n j, 0 j n, 和计算随机向量函数数学期望的公式 (2.2) 得到 E(X 2 ) = E[X(X 1)] + EX n = Cnj(j j 1)p j q n j + np j=0 =p 2 d2 dx 2 n Cnx j j q n j x=p + np j=0 =p 2 d2 dx 2 (x + q)n x=p + np =n(n 1)p 2 + np. 最后用方差的计算公式 (3.2) 得到 Var(X) = n(n 1)p 2 + np (np) 2 = npq. 后面讲了定理 3.1 后可以用 B(1,p) 来计算 B(n, p) 的方差

110 104 第四章数学期望和方差泊松分布 Poission(λ) 的方差由 EX = λ, P (X = k) = λk k! e λ, k = 0, 1,, 和函数期望公式 (2.2) 得到 E(X 2 ) =E[X(X 1)] + EX = k(k 1) λk k! e λ + λ k=0 =λ 2 k=2 =λ 2 + λ. 用方差的展开计算公式 (3.2) 得到 λ k 2 (k 2)! e λ + λ Var(X) = λ 2 + λ λ 2 = λ. 几何分布服从几何分布的随机变量 X 有离散分布 P (X = j) = pq j 1, j = 1, 2,. 用 EX = 1/p 和公式函数期望公式 (2.2) 得到 E(X 2 ) =E[X(X 1)] + EX = j(j 1)pq j p j=1 ( ) =pq q j 1 + p j=0 ( 1 ) 1 =pq + 1 q p = 2pq (1 q) p = 2q p p. 最后用方差的展开计算公式 (3.2) 得到 Var(X) = 2q p p 1 p 2 = q p 2.

111 4.3 随机变量的方差 105 均匀分布 U(a, b) 由 X 的概率密度 f(x) = 1 b a I (a,b), 数学期望 EX = (a + b)/2, 和得到 EX 2 = b a x 2 b a dx = b3 a 3 3(b a). Var(X) = b3 a 3 ( a + b 3(b a) ) 2 (b a) 2 = 指数分布 E(λ) X 有数学期望 EX = 1/λ 和概率密度 f(x) = λe λx, x > 0. 于是由 E(X 2 ) = 0 x 2 λe λx dx = 1 t 2 e t dt λ 2 0 = 1 λ 2 Γ(3) ( 取 x = t/λ) = 2 λ 2, 得到 Var(X) = 2 λ 2 1 λ 2 = 1 λ 2. 正态分布 N(µ, σ 2 ) X 有数学期望 EX = µ 和概率密度 f(x) = 1 2πσ e (x µ)2 2σ 2,

112 106 第四章数学期望和方差于是 Var(X) = = 1 2πσ (x µ) 2 f(x)dx = σ2 2π ( (x µ) 2 (x ) µ)2 exp 2σ 2 t 2 exp =σ 2. ( 用例 2.1) ( ) t2 dt 2 dx ( 取 x µ = σt) 现在我们知道了正态分布 N(µ, σ 2 ) 中的 µ 和 σ 2 就是该正态分布的数学期望和方差. 如果 (X, Y ) N(µ 1, µ 2 ; σ1, 2 σ2; 2 ρ), 则从 3.3 的例 3.6 知道 X (µ 1, σ1),y 2 (µ 2, σ2), 2 于是得到 µ 1 = EX, µ 2 = EY, σ1 2 = Var(X), σ2 2 = Var(Y ). 方差的性质定理 3.1 设 a, b, c 是常数, EX = µ, Var(X) <, µ j = EX j, 定理证明 Var(X j ) < (1 j n), 则 (1) Var(a + bx) = b 2 Var(X), (2) Var(X) = E(X µ) 2 < E(X c) 2, 只要 c µ, (3) Var(X) = 0 的充分必要条件是 P (X = µ) = 1, (4) Var( n j=1 X j) = n i=1 n j=1 [E(X ix j ) µ i µ j ], (5) 当 X 1, X 2,, X n 相互独立, Var( n j=1 X j) = n j=1 Var(X j). (1) 由方差的定义得到 (2) 对 c µ, 由 Var(a + bx) =E[(a + bx) E(a + bx)] 2 =E[a + bx (a + bµ)] 2 =E[b 2 (X µ) 2 ] =b 2 Var(X) E(X c) 2 =E[(X µ) + (µ c)] 2 =E(X µ) 2 + 2E(X µ)(µ c) + E(µ c) 2 =Var(X) + (µ c) 2,

113 4.3 随机变量的方差 107 知道 (2) 成立. (3) Var(X) = 0 即 E(X µ) 2 = 0, 由例 2.8 其充分必要条件为 P ((X µ) 2 = 0) = 1, 即 P (X = µ) = 1 (4) Var( j [ ] 2 x j ) =E (X j µ j ) j = E [(X i µ i )(X j µ j )] i j = [E(X i X j ) µ i µ j ] i j (5) 独立时 Var( j [ ] 2 X j ) =E (X j µ j ) j = E(X j µ j ) E [(X i µ i )(X j µ j )] j i<j = j = j Var(X i ) + 2 i<j Var(X i ) [E(X i µ i )E(X j µ j )] 在性质 (1) 中取 b = 1 得到 Var(a + X) = Var(X), 说明对随机变量进行常数的平移后, 随机变量的分散程度不变 ; 取 a = 0 得到 Var(bX) = b 2 Var(X), 说明将 X 扩大 b 倍后, 方差扩大 b 2 倍. (2) 说明随机变量 X 在均方误差的意义下距离 µ 最近. (3) 说明除了以概率 1 等于常数的随机变量外, 任何随机变量的方差都大于零. 以后无特殊说明, 都认为所述随机变量的方差大于零. 例 3.2 设 Var(X) = σ 2 <, Y = (X EX)/σ, 则 EY = 0, Var(Y ) = 1.

114 108 第四章数学期望和方差这时称 Y 是 X 的标准化. 特别地, 当 X N(µ, σ 2 ), Y N(0, 1). 例 3.3 设 X 1, X 2,, X n 相互独立, 有共同的方差 σ 2 <, 则 ( 1 n ) Var X j = 1 n n σ2. j=1 如果 X i 是第 i 次测量重量为 µ 的物体时的测量值, 测量的均方误差是 Var(X i ) = σ 2, 则用 n 次测量的平均值作为 µ 的测量值时均方误差降低 n 倍. 说明只要测量仪器没有系统偏差 ( 指 EX = µ), 测量精度总可以通过多次测量的平均来改进. 例 3.4 ( 接例 2.5, 二项分布 B(n, p)) 设 X 1, X 2,, X n 独立同分布, 都服从两点分布 B(1, p), 则 Y = X 1 + X X n B(n, p). 利用 Var(X i ) = pq 和定理 3.1 的 (5) 得到 Var(Y ) = Var(X 1 ) + Var(X 2 ) + + Var(X n ) = npq. 例 3.5 ( 接例 2.6, 超几何分布 ) 设 N 件产品中有 M 件正品, 无放回地从中依次取 n 件, 用 Y 表示取解得的正品数, 则 Y H(n, M, N). 求 Var(Y ). 设 X 1, X 2,, X n 在例 2.6 中定义, 即 X i 为第 i 次抽取结果的两点分布, 则 EX i = M/N. 对 i < j, X j X i 服从两点分布. 利用抽签的原理 ( 参考 1.6 的例 6.1) 知道 E(X j X i ) =P (X j X i = 1) = P (X j = 1, X i = 1) =P (X j = 1 X i = 1)P (X i = 1) = M 1 M N 1 N.

115 4.3 随机变量的方差 109 再利用 Y = (X 1 + X X n ) 和定理 3.1 的 (4) 得到 Var(Y ) = n j=1 i=1 n [E(X i X j ) EX i EX j ] =nex 1 + n(n 1)E(X 1 X 2 ) n 2 (EX 1 ) 2 ( 用 X 2 1 = X 1 ) =n M N =n M N 1 M ( M + n(n 1)M N 1 N n2 N ( 1 M ) N n N N 1. 特别当 n = N, Var(Y ) = 0. 实际上这时 Y = EY = M. 本例中如果采用有放回的抽样, 则 Y B(n, M/N), Y 的方差 n M N (1 M ) 要更大. 说明对均值的估计, 无放回的抽取要比有放回的抽取方差 N 小. ) 2 Markov 不等式定理 3.2 ( 马尔柯夫 (Markov) 不等式 ) 对随机变量 X 和 ε > 0, 有 P ( X ε) 1 ε α E X α, α > 0. (3.3) 作为定理 3.2 的直接推论, 取 α = 2, 用 X EX 代替 X 就得到 P ( X EX ε) 1 Var(X), ε > 0. (3.4) ε2 证用 I[A] 表示事件 A 的示性函数, 对任何正数 α, P ( X ε) =EI[ X ε] E ( X α I[ X ε]) ε α E X α ε α = 1 ε α E X α. 人们称 α = 2 时的马尔柯夫不等式为切比雪夫 (Chebyshev) 不等式. 内积不等式定理 3.3 ( 内积不等式 ) 设 EX 2 <, EY 2 <, 则有 E(XY ) EX 2 EY 2. (3.5) (3.5) 中等号成立的充分必要条件是有不全为零的常数 a, b, 使得 P (ax + by = 0) = 1.

116 110 第四章数学期望和方差证对于不全为零的常数 a, b, 二次型 E(aX + by ) 2 =a 2 EX 2 + 2abE(XY ) + b 2 EY 2 =(a, b)σ(a, b) T 0. (3.6) 其中 ( ) EX 2 E(XY ) Σ =. E(XY ) EY 2 (3.6) 说明矩阵 Σ 非负定, 于是 Σ 0 从 det(σ) = EX 2 EY 2 [E(XY )] 2 得到 (3.5), 并且知道 (3.5) 中等号成立当且仅当 Σ 退化, 当且仅当有不全为零的常数 a, b 使 E(aX + by ) 2 = 0, 当且仅当 ( 用例 2.8) 有不全为零的常数 a, b 使 P (ax + by = 0) = 1. 协方差和相关系数的定义 4.4 协方差和相关系数设 σ X = σ XX, σ Y = σ Y Y 分别是 X, Y 的标准差. 定义 4.1 设 µ X = EX, µ Y = EY 存在, (1) 当 E (X µ X )(Y µ Y ) <, 称 E[(X µ X )(Y µ Y )] (4.1) 为随机变量 X, Y 的协方差 (covariance), 记做 Cov(X, Y ) 或 σ XY. 当 Cov(X, Y ) = 0 时, 称 X, Y 不相关. (2) 当 0 < σ X σ Y <, 称 ρ XY = σ XY σ X σ Y (4.2) 为 X, Y 的相关系数 (correlation coefficient). 有时也用 ρ(x, Y ) 表示相关系数 ρ XY. 在定义 4.1 中, 引入 X, Y 的标准化则有 X µ X, Y µ Y, σ X σ Y [ ( X µ X ρ XY = E 下面是计算协方差的常用公式. σ X )(Y µ Y σ Y ) ]. σ XY = E(XY ) (EX)(EY ). (4.3)

117 4.4 协方差和相关系数 111 相关系数的性质从定义 4.1 和内积不等式 ( 见定理 3.3) 马上得到相关系数的性质如下. 定理 4.1 设 ρ XY 是 X, Y 的相关系数, 则有 1. ρ XY 1, 2. ρ XY = 1 的充分必要条件是有常数 a, b 使得 P (Y = a + bx) = 1, 3. 如果 X, Y 独立, 则 X, Y 不相关. 证明课外例 4.1 ( 接例 2.4 ) 设 (X, Y ) 在单位圆 D = {(x, y) x 2 + y 2 1} 内均匀分布, 则 X, Y 不证相关, 也不独立. 由例 2.4 知道 E(X) = E(Y ) = 0, 于是 Cov(X, Y ) = xyf(x, y)dxdy = 1 R π 2 所以 X, Y 不相关 y 2 ydy x dx = 0. 1 y 2 又由 3.3 的例 3.1 知道联合密度不能写成两个边缘密度的乘积, 所以 X, Y 不独立. 例 4.2 相关系数 ρ XY 只表示了 X, Y 间的线性关系. 当 ρ XY 系. = 0, 尽管称 X, Y 不相关, 它们之间还可以有很强的非线性关例如当 Y = X 2, X N(0, σ 2 ) 时, (X, Y ) 总在抛物线 y = x 2 上, 但是 X, Y 不相关, 因为 Cov(X, Y ) = E[X(Y σ 2 )] = EX 3 σ 2 EX = 0.

118 112 第四章数学期望和方差例 4.3 ( 接 3.3 例 3.6) 设 (X, Y ) N(µ 1, µ 2 ; σ 2 1, σ 2 2; ρ), 则 ρ XY 必要条件是 X, Y 不相关. = ρ, 并且 X, Y 独立的充分证明 : 课外随机向量和随机矩阵的期望设 X = (X 1, X 2,..., X n ) 是随机向量, 若 EX i = µ i, 则记 µ = (µ 1, µ 2,..., µ n ) 称 EX = µ 若 Y ij (i = 1,..., m, j = 1,..., n) 是随机变量,EY ij 存在, 记 Y 11 Y 12 Y 1n Y 21 Y 22 Y 2n Y =... Y m1 Y m2 Y mn 则称 EY = EY 11 EY 12 EY 1n EY 21 EY 22 EY 2n... EY m1 EY m2 EY mn 随机向量和随机矩阵的性质设 X 和 Y 如上定义,EX 和 EY 存在对任意常数向量 a = (a 1,..., a n ), k m 常数矩阵 A 和 n l 常数矩阵 B, 有 E(aX T ) =aex T, (EY ) T =E(Y T ), E(AY ) =A E(Y ), E(Y B) =E(Y ) B, E(AY B) =A E(Y ) B. (4.6)

119 4.4 协方差和相关系数 113 证明略协方差阵定义 4.2 如果随机向量 X = (X 1, X 2,, X n ) 的数学期望 µ = EX 存在, 每个 X i 的方差 Var(X i ) <, 就称 Σ = E[(X µ) T (X µ)] = (σ ij ) n n (4.7) 为 X 的协方差矩阵. 其中 σ ij = Cov(X i, X j ) (4.8) 是 X i, X j 的协方差. 协方差矩阵 Σ 是对称矩阵. 如果矩阵 A 的行列式 det(a) = 0, 就称 A 是退化的. 定理 4.2 设 Σ 是 X = (X 1, X 2,, X n ) 的协方差矩阵, 则 (1) Σ 是非负定矩阵, (2) Σ 退化的充分必要条件是有不全为零的常数 a 1, a 2,, a n 使得其中 µ i = EX i. ( n ) P a i (X i µ i ) = 0 = 1. (4.9) i=1 定理 4.2 证明

120 114 第四章数学期望和方差任取一个 n 维实向量 a = (a 1, a 2,, a n ), 有 aσa T = = n i=1 j=1 n i=1 j=1 [ n =E n a i a j σ ij n a i a j E[(X i µ i )(X j µ j )] n i=1 j=1 =E [ n a i (X i µ i ) ] 2 i=1 =Var [ n a i (X i µ i ) ] i=1 ] a i a j (X i µ i )(X j µ j ) 0. (4.10) 所以 Σ 非负定. 从 (4.10) 看出, Σ 退化的充分必要条件是有非零向量 a 使得 Var [ n a i (X i µ i ) ] = 0. i=1 再用定理 3.1 的 (3) 得到本定理的 (2).

121 第五章多元正态分布和极限定理 5.1 多元正态分布多元正态分布本节中的向量都是列向量, 用 A T 表示矩阵 A 的转置. 设 µ = (µ 1, µ 2,, µ n ) T 是 n 维常数列向量, B 是 n m 常数矩阵, ε 1, ε 2,, ε m 是相互独立都服从标准正态分布的随机变量, ε = (ε 1, ε 2,, ε m ) T. 定义 1.1 如果 X = µ + Bε, (1.1) 就称随机向量 X = (X 1, X 2,, X n ) T 服从 n 元 ( 或多元 ) 正态分布, 记做 X N(µ, Σ), 其中 Σ = BB T. 上面定义的 X 的数学期望和方差阵为 EX =E [µ + Bε] = µ + BEε =µ + B 0 = µ Var(X) =E [ (X µ)(x µ) T ] =E [ (Bε)(Bε) T ] = E [ B(εε T )B T ] =BE(εε T )B T = BI n B T = BB T = Σ 注意 : µ 和 Σ 完全决定多元正态分布的随机向量 X 的联合分布多元正态分布的性质性质 1 多元正态分布的边缘分布也是多元 ( 或一元 ) 正态分布. 115

122 116 第五章多元正态分布和极限定理证 : 这是因为,X = µ + Bε 则其一部分分量可以写成用 µ 和 B 的对应行线性组合的结果性质 2 如果 X N(µ, Σ), A 是 m n 矩阵, 则 Y = AX N(Aµ, AΣA T ). 特别对向量 a = (a 1, a 2,, a n ) T, 有 n a j X j = a T X N(a T µ, a T Σa). j=1 证由 Y = AX = (Aµ) + (AB)ε 和定义 1.1 得到结论. 性质 3 量, 有联合密度 : 证明略设 X N(µ, Σ). 当 Σ = BB T 正定时, X 是连续型随机向 1 [ f(x) = ( 2π) n det(σ) exp 1 ] 2 (x µ)t Σ 1 (x µ), x = (x 1, x 2, x n ) T R n. (1.3) 性质 4 如果 Σ 正定,X N(µ, Σ), 则 X 1, X 2,..., X n 相互独立的充分必要条件是 Σ = diag(σ 2 1, σ 2 2,..., σ 2 n) 证明 : 利用性质 3 以及独立的充分必要条件是联合密度等于边缘密度乘积性质 5 设 X N(µ, Σ), 则 X 1, X 2,, X n 相互独立都服从标准正态分布的充分必要条件是 µ = 0, Σ = I, 即 X N(0, I). 证明 : 必要性 : 设各分量 iid 标准正态分布, 则 0 0 X = + I. n ε 0 其中 ε = (X 1,..., X n ) T, 由定义可知 X N(0, I n ). 充分性 : 若 µ = 0, Σ = I n, 由性质 1 可知各 X i 为正态分布, 且为 N(0,1) 的正态分布, 再由性质 4 可知 X 1, X 2,..., X n 相互独立

123 5.1 多元正态分布 117 性质 6 设 X N(µ, Σ), 有可逆矩阵 A 使得 Σ = AA T, 则 Y = A 1 (X µ) N(0, I). 证由性质 2 知 Y 服从正态分布, 数学期望和方差阵为 EY =A 1 E(X µ) = 0, E(Y Y T ) =A 1 E[(X µ)(x µ) T ]A T =A 1 AA T A T = I. 例 1.1 设 X 1, X 2,, X n 相互独立, X j N(µ j, σ 2 j ), 则对非零向量 a = (a 1, a 2,, a n ) T, Y = n j=1 a jx j N ( n j=1 a jµ j, n j=1 a2 jσ 2 j ). 证定义 ε j = (X j µ j )/σ j, 则 ε 1, ε 2,, ε n 相互独立都服从标准正态分布, 并且 X j = µ j + σ j ε j. 从定义 1.1 知道 X = X 1 X 2. = µ 1 µ 2. + σ σ ε 1 ε 2. X n µ n 0 0 σ n ε n 服从多元正态分布. 从性质 2 知道 Y = a T X 服从正态分布. 容易计算 EY = n j=1 a jµ j, Var(Y ) = n j=1 a2 jσ 2 j, 故结论成立. 例 1.2 如果 X = (X 1, X 2,..., X n ) T N(µ, Σ), 其中 µ = (µ 1, µ 2,..., µ n ) T, Σ = (σ ij ) n n. 则 X j N(µ j, σ jj ). 证设向量 a = (0,..., 0, 1, 0,..., 0) T 的第 j 个元素是 1, 其余是零. 则 a T µ = µ j, a T Σa = σ jj. 从性质 2 得到 X j = a T X N(µ j, σ jj ).

124 118 第五章多元正态分布和极限定理概率频率定义与大数律 5.2 大数律在 n 次独立重复试验中, 引入 1, 当第 j 试验成功, X j = 0, 当第 j 试验不成功. 则 S n = X 1 + X X n 是 n 次试验中的成功次数, 由概率的频率定义知道, 对于成功的频率 X n = S n /n, 有下面的强大数定律将 (2.1) 进行了推广. lim X n = P (X 1 = 1) = EX 1. (2.1) n 依概率收敛称随机变量的序列 {ξ n } = {ξ 1, ξ 2, } 为随机序列 (random sequence). 定义 2.1 设 {ξ n } 是随机序列, ξ 是随机变量. 如果对任何 ϵ > 0, 有就称 ξ n 依概率收敛到 ξ, 记做 ξ n p ξ. lim P ( ξ n ξ ϵ) = 0, (2.2) n 其含义是 n 很大时, ξ n 与 ξ 有非零差距的可能性很小弱大数律定理 2.1 设随机序列 {X n } 独立同分布, 如果 µ = EX 1 有限, 则有 1 n p X n = lim X j µ. (2.5) n n j=1 证只对 σ 2 = Var(X) < 的情况证明. 因为 X n 分别有数学期望和方差 E X n = µ, Var( X n ) = σ2 n, 利用马尔柯夫不等式 ( 见 4.3 定理 3.2) 得到, 对任何 ϵ > 0, ( 1 P n n ) (X j µ) ϵ j=1 Var( X n ) ϵ 2 = σ2 0, n. nϵ2 通常把类似于 2.5 的结论称为弱大数律 (weak law of large numbers).

125 5.2 大数律 119 例 2.1 ( 接 4.1 的例 1.4 ) 在赌对子时, 甲每次下注 100 元. 如果他连续下注 n 次, 证明他的盈利 S n 满足 P (S n 18n) 1. 证用 X i 表示甲第 i 次下注的盈利, 则 X 1, X 2,, X n 独立同分布. 由 4.1 的例 1.4 知道 µ = EX i = S n = X 1 + X X n. 利用和定理 2.1 得到, n 时, 于是 {S n > 18n} ={ X n µ > } ={ X n µ > 0.6} { X n µ > 0.6}, P (S n > 18n) P ( X n µ > 0.6) Var(X 1) n P (S n 18n) = 1 P (S n > 18n) 1. 说明下注的次数 n 越多, 至少输 18n 元的概率越大. 强大数律定义 2.2 设 {ξ n } 是随机序列, ξ 是随机变量. 如果 ( ) P lim ξ n = ξ = 1, n 就称 ξ n 以概率 1 收敛到 ξ, 记做 ξ n ξ, wp1, 或 a.s. 定理 2.2 如果 {X j } 是独立同分布的随机序列, µ = EX 1, 则 1 n X j µ, wp1. (2.6) n j=1 (2.6) 的另一个表达方式是 P ( lim n X n = µ ) = 1. 类似于 (2.6) 的结果称为强大数律 (strong law of large numbers). 从强大数律结论 (2.6) 知道概率的频率定义是合理的. 强大数律结论比弱大数律结论要强 : 定理 2.3 如果 ξ n ξ, wp1. 则 ξ n p ξ.

126 120 第五章多元正态分布和极限定理例 2.2 在多次独立重复试验过程中, 小概率事件必然发生. 证 : 设 p 是任意小的正数, 事件 A 1, A 2,... 相互独立, P (A i ) = p. 用 I[A i ] 表示 A i 的示性函数, 则 I[A i ] 独立同分布. 由强大数律得到 1 n n I[A i ] p, wp1. i=1 所以 I[A i ] =, wp1. i=1 说明有无穷个 A i 发生的概率是中心极限定理中心极限定理问题强大数律和弱大数律分别讨论了随机序列部分和的依概率收敛和以概率 1 收敛. 中心极限定理讨论对充分大的 n, 随机变量的部分和的概率分布问题. X 1 + X X n 例 3.1: 二项分布独立地重复某一试验, 设 1 试验成功 X i = 0 试验失败 i = 1, 2,..., n 则 X i iid B(1, p)( 两点分布 ) 令 S n = X 1 + X X n 则 S n 为 n 次独立试验中成功的次数,S n B(n, p) 从演示看出 n 时 S n 的分布形状很象正态分布

127 5.3 中心极限定理 121 例 3.2: Poisson( 泊松 ) 分布若 {X j } iid P(λ), 则由 3.4 的例 4.1 知道部分和 n S n = P(nλ). j=1 从演示看出 n 时 S n 的分布形状很象正态分布 X j 例 3.4: 几何分布的部分和设 {X j } 独立同分布都服从几何分布 P (X = k) = pq k 1, k = 1, 2,, p + q = 1. 可以将 S n = n j=1 X j 设想成第 n 次击中目标时的射击次数 ( 参考几何分布的背景 ), 于是得到 P (S n = k) = C n 1 k 1 pn q k n, k = n, n + 1,.... 上述分布称为帕斯卡分布. 从演示看出 S n 的概率分布当 n 时越来越接近于正态分布注 : 得到第 n 次成功前失败的次数 Y 的分布称为负二项分布, 易见且 S n = Y + n P (Y = k) = C k n+k 1p n (1 p) k, k = 0, 1, 2,... 例 3.4: 指数分布的独立和设 {X j } 独立同分布都服从指数分布 E(λ), 可以证明部分和 S n = n j=1 X j 服从 Γ(n, λ) 分布. 从演示看出 S n 的密度趋向于正态分布中心极限定理定理 3.1 ( 中心极限定理 ) 设随机序列 {X j } 独立同分布, 有共同的数学期望 µ 和方差 σ 2. 部分和由 S n = n j=1 X j 定义, 则 S n 的标准化 ξ n = S n nµ nσ 2 依分布收敛到标准正态分布. 即对任何 x, 这里 Φ(x) 是标准正态分布的分布函数. lim P (ξ n x) = Φ(x). (3.2) n

128 122 第五章多元正态分布和极限定理我们把结论 (3.2) 记成 ξ n d N(0, 1), 其中的 d 表示依分布收敛. 中心极限定理的应用 : 可以用 N(0,1) 近似计算关于 ξ n 的概率, 用 N(nµ, nσ 2 ) 近似计算关于 S n 的概率例 3.6: 近似计算当辐射的强度超过每小时 0.5 毫伦琴 (mr) 时, 辐射会对人的健康造成伤害. 设一台彩电工作时的平均辐射强度是 0.036(mr/h), 方差是则家庭中一台彩电的辐射一般不会对人造成健康伤害. 但是彩电销售店同时有多台彩电同时工作时, 辐射可能对人造成健康伤害. 现在有 16 台彩电同时工作, 问这 16 台彩电的辐射量可以对人造成健康伤害的概率. 解用 X i 表示第 i 台彩电的辐射量 (mr/h), 则 X i 的数学期望是 µ = 0.036, 方差是 σ 2 = S n = X 1 + X X 16 是 n = 16 台彩电的辐射量. 题目要求 P (S n > 0.5). 认为 {X i } 独立同分布时, 按照定理 3.1, ξ n = S n nµ nσ 2 近似服从 N(0, 1) 分布, 于是 ( Sn nµ P (S n > 0.5) =P > nσ nµ ) nσ 2 ( ) =P ξ n > =P (ξ n > 0.211) Φ(0.211) = 这 16 台彩电以大约 58% 的概率会对人造成健康伤害. 二项分布的正态近似推论 3.3 设 S n B(n, p), p = 1 q (0, 1), 则 S n np npq d N(0, 1). (3.3) 证明设 {X n } 是独立同分布的随机序列, X i 服从两点分布 B(1, p). 则 ξ n = X 1 + X X n 和 S n 同分布, Eξ n = np, Var(ξ n ) = npq.

129 5.3 中心极限定理 123 于是 S n np npq 和 ξ n np npq 同分布. 由定理 3.1 知道当 n, 对 x (, ), ( Sn np ) ( ξn np ) P x = P x Φ(x). npq npq 例 3.7: 用正态分布计算二项分布设 S n B(n, p) 则 S n 近似 N(np, npq) 分布设 X N(np, npq), 设 a, b 为非负整数由中心极限定理 n 较大时 p = Pr(a S n b) P (a < X < b) (*) 但是注意 S n 是取整数值的, 所以 p = Pr(a S n b) =Pr(a 1 < S n < b + 1) 上式右端用正态近似和 (*) 不同为此取折衷, 令 p =Pr(a S n b) Pr(a 0.5 < X < b + 0.5) ( b np ) ( a 0.5 np =Φ Φ ). (3.4) npq npq 称为连续性校正此近似公式应在 n 充分大时使用, 实际规则可以用 min(np, nq) > 5 特别地, Pr(S n = a) Pr(a 0.5 < X < a + 0.5). 例 3.8 某药厂试制了一种新药, 声称对贫血的治疗有效率达到 80%. 医药监管部门准备对 100 个贫血患者进行此药的疗效试验, 若这 100 人中至少有 75 人用药有效, 就批准此药的生产. 如果该药的有效率确实达到 80%, 此药被批准生产的概率是多少?

130 124 第五章多元正态分布和极限定理解用 S n 表示这 n(= 100) 个患者中用药后有效的人数. 如果该药的有效率确实是 p = 80%, 则 S n B(n, p). 由 100p = 80 > 5, 100(1 p) = 20 > 5, 知道可用近似公式 (3.4). 于是 P ( 药被批准 ) =P (S n 75) =P (S n > 74.5) =P ( Sn np np(1 p) > ( Sn np =P > np(1 p) 74.5 np ) np(1 p) ) Φ( 5.5/4) = Φ(1.375) = 于是药获得批准的概率是 92%. 如果有效率 p > 80%, 则获得批准的概率 > 92%( 参考习题 7.29).

131 第六章描述性统计 6.1 总体和参数什么是统计学统计学研究如何收集数据分析数据从数据做出有依据的推断结果一言以蔽之, 统计学是研究数据的科学统计学主要的数学工具是概率论, 也广泛使用现代信息技术作为支撑, 通过计算机和信息网络获取数据进行建模数据分析计算统计学是一门科学, 不再是数学的一个分支描述性统计统计学的做法分为两种 : 描述性统计 : 从数据样本中计算一些平均值标准差最小值最大值等概括统计量, 画直方图散点图等描述图形推断性统计 : 假定要研究的对象服从某种概率模型, 收集数据后把数据用模型解释, 并做出有概率意义的结论总体个体和均值所要调查的对象全体叫做总体 (population), 总体中每个成员叫做个体举例 : 一批橘子甜不甜? 这批橘子作为总体 ; 或者, 其甜度作为总体总体一般用随机变量作为数学模型如 : 一批橘子的甜度分布情况用随机变量作为数学模型 125

132 126 第六章描述性统计总体参数是描述总体特性的指标, 简称参数如果总体中的个体是有限个, 称个体总数 N 为总体容量总体平均或总体均值是参数常用 µ 表示如果知道总体的全部个体 ( 比如, 某小学所有一年级新生的身高 ) y 1, y 2,..., y N 则 N µ = 1 N i=1 y i 总体方差是参数常记为 σ 2 如果知道总体的全部个体 y 1, y 2,..., y N 则 σ 2 = 1 N σ 称为总体标准差 N (y i µ) 2 i=1 样本与估计如果总体只有有限个样本虽然可以测量所有样本计算总体参数, 但可能会消耗过大有些总体有无限个个体, 比如, 对某放射性物质测量固定长度时间内放射出的粒子数, 每试验一次就有一个不同结果为了得到总体的信息, 可以从总体中抽取一个有代表性的个体的集合, 称为总体的一个样本也叫观测数据样本中个体的个数叫做样本量 (sample size) 试图用样本的情况去判断总体的情况注意, 有代表性是一个不容忽视的要求从总体中抽取样本的工作叫做抽样 (sampling) 设一个样本为 x 1, x 2,..., x n, 可计算样本均值 n x = 1 n i=1 x i 样本方差 s 2 = n (x i x) 2. i=1 s = s 2 称为样本标准差

133 6.2 抽样调查方法 127 估计如果样本确实是有代表性的, 则当样本量 n 较大时, 从样本计算的样本均值和样本方差可以与相应的总体均值和总体方差很接近利用样本计算出的对总体参数的估计值称为估计 (estimator 或 estimate) 不同的方法可能给出不同的估计, 而评判估计优劣的标准也不是唯一的这方面有一些数学理论例 1.1 实际问题中, 总体的样本量往往是非常大的, 这时从数据本身无法看清总体的情况. 样本均值和样本方差可以提供必要的信息. 比赛中甲, 乙两位射击运动员分别进行了 10 次射击, 成绩分别如下 : 甲乙问哪个运动员平均水平高, 哪个运动员水平更稳定. 解用 x, s x 和 ȳ, s y 分别表示甲和乙成绩的样本均值和样本标准差. x = 9.67, s x = , ȳ = 9.4, s y = 甲的平均水平和稳定性都比乙好. 知道样本方差后, 可以作出更好的比较结果. 6.2 抽样调查方法抽样调查的可行性抽样的可行性 : 汤的例子样本的随机性 ( 代表性 ) 如 : 把汤搅拌均匀适当的样本量不用太多也不能太少样本量不必随总体增大而增大在大数据背景下, 统计数据又有了盲人摸象的窘境 : 数据多而繁杂, 特征过多造成数据分布不集中

134 128 第六章描述性统计抽样调查的必要性为了从样本推断总体的情况, 样本的代表性是最关键的问题调查全部总体不现实或不必要, 如 : 寿命试验抽样调查因为工作量较小, 控制可以更严格, 所以有时比普查可以更准确但是, 如何确保抽取的样本有代表性? 随机抽样如果总体中的每个个体都有相同的机会被抽中, 就称这样的抽样方法为随机抽样方法简单地分, 抽样分为有放回抽取和无放回抽取无放回随机抽样指在总体中随机抽出一个个体后, 下次在余下的个体中再进行随机抽样. 有放回随机抽样指抽出一个个体, 记录下抽到的结果后放回, 摇匀后再进行下一次随机抽样. 无放回抽取从实现上和从精度上更好, 总体容量 N 很大时两者差异很小提高样本量可以提高估计精度, 但不是总体越大, 考虑的特征越多, 样本量也需要随之增大例 2.1 设 N 件产品中有 M 件次品, N, M 都是未知的. 用随机抽样方法估计解这批产品的次品率 p = M/N. 无放回地从中依次取 n 件, 用 Y 表示取得的次品数, 则 Y H(n, M, N) EY = np, Var(Y ) = np(1 p) N n N 1. 用样本次品率 ˆp = Y /n 估计 p 时, 有 Eˆp = p, Var(ˆp) = 1 n p(1 p)n n N 1. (2.1)

135 6.2 抽样调查方法 129 如果采用有放回的随机抽样, 用 X 表示取得的次品数, 则 X B(n, p) EX = np, Var(X) = np(1 p). 用这时的样本次品率 p = X/n 估计 p 时, 有 E p = p, Var( p) = 1 p(1 p). (2.2) n Eˆp = E p = p, 说明这两种方法都是较好的估计方法, 没有偏差. 由于样本方差 E(Y /n p) 2 描述的是 Y /n 向真实参数 p 的集中程度, 因而是描述估计精度的量. 样本方差越小, 说明估计的精度越高. Var(ˆp) < Var( p) 说明无放回随机抽样的估计精度更好但是当 N 比 n 大很多时, (N n)/(n 1) 接近于 1, 说明两种抽样方法差别不大. 另外 Var( p) 与 N 无关, 说明要达到一定的估计精度, 只需要适当地增加 n. 并不是说总体数目 N 越大, 就需要多抽样. 无放回随机抽样下的情况也是类似的. 试验和理论都证明 : 在随机抽样下, 样本均值 x 是总体均值 µ 很好的估计, 样本标准差 s 是总体标准差 σ 很好的估计. 在样本量不大时, 增加样本量可以比较好地提高估计的精确度. 例 : 考虑某大学一年级 2000 个同学的平均身高 µ 时, 需要调查 50 同学的身高. 实现无放回的随机抽样的方法是先将 2000 个同学的学号分别写在 2000 张小纸片上, 然后放入一个大纸箱进行充分的摇匀. 最后从纸箱中无放回地抽取 50 个纸片. 纸片上的学号就是被选中的同学的学号. 现在一般采用计算机随机抽签方法以上问题的一种计算机抽签方法为 : 对 2000 个学号 i,i = 1, 2,..., 2000, 独立地从 U(0,1) 抽取 U i, i = 1,..., 2000 对应到每个学生从 U 1, U 2,..., U 2000 中选出最小的 50 个, 其对应的学生作为样本

136 130 第六章描述性统计随机抽样的无偏性从总体 X 中等可能地随机抽取, 不论是有放回还是无放回, 得到的 X 1, X 2,..., X n 看成随机变量, 都可以证明 E X = µ 样本在需要讨论其分布性质时看成随机变量, 记做大写的 X 1, X 2,..., X n ; 在讨论样本的具体取值时看成普通数值, 记做小写的 x 1, x 2,..., x n 代表性偏差失误举例例年是美国总统选举年. 这年罗斯福 (Roosevelt) 任美国总统期满, 参加第二届的连任竞选, 对手是堪萨斯州州长兰登 (Landon). 当时美国刚从经济大萧条中恢复过来, 失业人数仍高达 900 多万, 人们的经济收入下降了三分之一后开始逐步回升. 当时, 观察家们普遍认为罗斯福会当选. 而美国的文学摘要杂志的调查却预测兰登会以 57% 对 43% 的压倒优势获胜. 文学摘要的预测是基于对二百四十万选民的民意调查得出的. 自 1916 年以来, 在历届美国总统的选举中文学摘要都做了正确的预测. 文学摘要的威信有力地支持着它的这次预测. 但是选举的结果是罗斯福以 62% 对 38% 的压倒优势获胜. 此后不久文学摘要杂志就破产了. 要了解文学摘要预测失败的原因就必须检查他们的抽样调查方案. 文学摘要是将问卷寄给了一千万个选民, 基于收回的 240 万份问卷得出的判断. 这些选民的地址是在诸如电话簿, 俱乐部会员名单等上查到的. 分析 : 1936 年只有大约四分之一的家庭安装了电话. 由于有钱人才更有可能安装家庭电话和参加俱乐部, 所以文学摘要的调查方案漏掉了那些不属于俱乐部的穷人和没有安装电话的穷人, 这就导致了调查结果有排除穷人的偏向.

137 6.2 抽样调查方法 131 在 1936 年, 由于经济开始好转, 穷人普遍有赞同罗斯福当选的倾向, 富人有赞同兰登当选的倾向. 文学摘要的调查结果更多地代表了富人的意愿, 导致了预测的失败. 抽样的方案应当公平的对待每一位选民和每一个群体, 以便得到选民的真实情况. 将哪一个群体排除在外的抽样方案都会导致有偏的样本, 从而导致错误的结论. 分层抽样方法总体当中分为不同人群时 ( 如城镇和乡村 ), 虽然仍然进行等可能随机抽样, 这样不同人群差异过大引起估计误差变大, 而且操作也不方便好的作法是按人口比例在不同人群中分别进行随机抽样计算平均值等统计量时要用加权求和 ( 平均 ) 计算例年, 某市进行家庭年收入调查时, 分别对城镇家庭和农村家庭进行调查. 在全部城镇的 85,679 户中无放回随机抽取了 350 户, 在全部农村的 275,692 户中无放回随机抽取了 360 户. 调查结果如下 : 城镇家庭年平均收入是元 ; 农村家庭年平均收入是 5623 元. 这里遇到了两个分总体 A 1 和 A 2, 第一个分总体 A 1 是所有城镇家庭的年收入, 第二个分总体 A 2 是所有农村家庭的年收入. 用 A 表示该市所有家庭的年收入时, 总体 A 是两个分总体 A 1 和 A 2 的并. 用 x 1 表示来自总体 A 1 的样本均值, 用 x 2 表示来自总体 A 2 的样本均值, 则 x 1 = 35612, x 2 = 5623.

138 132 第六章描述性统计 A 1 和 A 2 在 A 中所占的比例分别是 w 1 = w 2 = = = A 的总体均值 µ 的估计是 X = w 1 x 1 + w 2 x 2 = = 12733( 元 ). 于是该市平均年家庭收入的估计是元. 上面的抽样调查问题中, 还可以把全部家庭再细分成城镇中的工人, 公务员, 教师等 ; 将农村家庭分成农民家庭, 农村干部家庭等. 一般分层抽样方法把总体 A 分成 L 个互不相交子总体 : A = A 1 + A A L. 称这些子总体为层 (strata), 称 A i 为第 i 层. 然后在每层中独立地进行随机抽样. 用 N 表示总体 A 的个体总数, 用 N i 表示第 i 层的个体总数时, 有 N = N 1 + N N L. 我们称 w i = N i, (i = 1, 2,, L) N 为第 i 层的层权 (weight). 用 µ 表示 A 的总体均值. 对 i = 1, 2,, L, 用 n i 表示从第 i 层抽出样本的个数, x i 表示从第 i 层抽出样本的样本均值. 称是总体均值 µ 的简单估计. x st = w 1 x 1 + w 2 x w L x L 称 V ( x st ) w 2 1Var( x 1 ) + w 2 2Var( x 2 ) + + w 2 LVar( x L ) 是简单估计 x st 的抽样方差.

139 6.2 抽样调查方法 133 抽样方差 V ( x st ) 是评价简单估计 x st 的估计精度的指标. V ( x st ) 越小, 说明 x st 越好. 当各层内总体方差相近时, 各层样本量 n i 应该正比于各层总体容量 N i 为什么要用加权平均在例 2.3( 城镇与农村收入 ) 中, 如果从城镇与农村都抽取相同的样本个数, 采用直接两个平均值再简单地平均, 而忽略实际农村人口数为城镇人口三倍以上的事实, 就过于乐观地估计了所有人口的收入设所有城镇个体收入为 X i, i = 1,..., N 1, 所有农村个体收入为 Y j, j = 1,..., N 2. 则城镇总体收入平均值为 µ 1 = 1 N 1 X i ; N 1 i=1 农村总体收入平均值为 µ 2 = 1 N 2 Y j. N 2 j=1 总体平均值为 1 µ = N 1 + N 2 ( N1 ) N 2 X i + Y j i=1 j=1 1 = (N 1 µ 1 + N 2 µ 2 ) N 1 + N 2 = N 1 N 1 + N 2 µ 1 + N 2 N 1 + N 2 µ 2. 设城镇样本平均值为 x, 则 x 为 µ 1 的良好估计 ; 设农村样本平均值为 ȳ, 则 ȳ 为 µ 2 的良好估计为了估计总体平均值 µ, 需要用加权公式 ˆµ = N 1 N 2 x + ȳ. N 1 + N 2 N 1 + N 2

140 134 第六章描述性统计分层抽样方法的优点同时得到分层的统计量容易保证样本代表性从而提高精度实施容易系统抽样随机抽样有时难于实施, 当个体排列本身比较随机时, 根据某种固定规律抽取, 也能达到类似随机抽样效果, 称为系统抽样例 2.4 在调查某居民住宅区的 999 个住户对住宅区的环境满意程度时, 要按照 1 : 14 的比例进行抽样调查. 为方便抽样, 将这 999 户按门牌号码的顺序依次编号. 下面的每个数对应一户的门牌号码先在 1-14 中随机抽取一个数字, 如果抽到 7, 就调查排在第 7 列的所有家庭, 请这些家庭对小区环境的满意程度打分, 分数分为 1, 2, 3, 4, 5 级. 第 7 列有 71 户, 所以样本量 n = 71. 这 71 户的平均分是样本均值. 用样本均值作为全体住户对小区环境的平均分的估计. 用 x i 表示这 71 户中第 i 户的打分, 样本均值是称上面的抽样方法为系统抽样法. x = x 1 + x x

141 6.3 用样本估计总体分布 135 系统抽样法的特点如果总体中的个体按一定的方式排列, 在规定的范围内随机抽取一个个体, 然后按照制定好的规则确定其他个体的抽样方法称为系统抽样法. 最简单的系统抽样法是取得一个个体后, 按相同的间隔抽取其他个体. 系统抽样方法的主要优点是实施简单, 只需要先随机抽取第一个个体, 以后按规定抽取就可以了. 系统抽样法比随机抽样法简单, 随机抽样方法每次都要随机抽取个体. 如果了解总体中个体排列的规律, 设计合适的系统抽样规则可以增加估计的精度. 6.3 用样本估计总体分布表格与图形概括实际数据量可能很大, 比如几千几万几十万几百万观测值都是可能的直接浏览数据可以获得一些直观印象, 但是不能形成总体分布概念总体分布包括 : 变量是离散取值还是连续取值的, 如果离散取值, 所有可取值集合是什么, 每种取值出现多少次, 占百分之几如果变量是连续取值的, 需要了解变量的取值范围, 然后在取值范围内分段, 对每段的取值个数进行计数并计算百分比, 可以画出每段的比例的图形 ( 称为直方图 ), 可以计算简单的样本平均值标准差等, 可以画密度估计图茎叶图等频率分布表对离散型总体 ( 如性别职业等 ), 只要列出样本样本每个值的次数和比例例如, 某班学生名单中, 男生 30 个, 女生 12 个, 可以列出如下概括统计表格 : 人数百分比男生 30 71% 女生 12 29%

142 136 第六章描述性统计对于连续型总体, 可以适当分组后列出每组的观测个数和百分比做出的表格称为频率分布表当样本量是 n, 可以参照下面的经验公式将数据分成大约 K = 1 + 4lg n 段. 但是这里的经验公式只对分段起参考作用. 例 3.1 下面是某城市公共图书馆在一年中通过随机抽样调查得到的 60 天的读者借书数, 数据已经从小到大排列, 制作频率分布表. 数据 : 解数据中的最小值是 213, 最大值是 584. 这 60 个数据就散布在闭区间 [213, 584] 中. 取一个略大的区间 (200, 600], 它的端点都是整数. 用经验公式计算出 K = 1 + 4lg n = lg 60 = 我们将 (200, 600] 八等分, 排在下表的第一列. 计算出数据落入各段的个数 n i, 填入第二列. 计算出数据落入各段的频率 ( 百分比 ) f 1 = 3 60 = 5%, f 2 = %,, f 8 = 3 60 = 5%, 依次填入第三列.

143 6.3 用样本估计总体分布 137 最后将各列之和填入最后一行, 得到如下频率分布表. 借出书数 i 发生次数 n i f i = 发生频率 (200, 250] 3 5.0% (250, 300] 2 3.3% (300, 350] % (350, 400] % (400, 450] % (450, 500] % (500, 550] 3 5.0% (550, 600] 3 5.0% 总计 % 由于计算频率时四舍五入引起计算误差, 频率之和可能是 1 的近似. 从上述频率分布表可以方便地分析出以下结果 : 有 8.3% 的工作日借出的图书少于等于 300 册 ; 有 63.3% 的工作日借出图书的数量在 301 至 450 册之间 ; 有 48.3% 的工作日借出的图书在 400 册以上 ; 只有 10% 的工作日借出的图书多于 500 册. 当总体 X 是全年每个工作日的借书数量时, 上述结果可以作为对总体的推测. 制作频率分布表的一般步骤第一步 : 将数据从小到大排列, 将排列后的数据进行分段, 相等的数据必须分在同一段内. 每段中的数据被称为一组数据, 所以我们又把分段称为分组. 分段的多少应当适中. 分段过多, 数据过于分散, 不利于看出数据的特征和规律 ; 分段过少也不利于看到数据的特征和规律. 第二步 : 决定各段的长短. 在许多情况下, 为了方便, 除去第一和最后这两段, 可以把其他各段的长度取作相同.

144 138 第六章描述性统计还应当把各段的端点确定在便于记忆的数值上. 为了达到以上目的, 第一段的左端点可以比数据的最小值小一些, 最后一段的右端点可以比数据的最大值大一些. 第三步 : 绘制频率分布表的第一列 ( 参考例 3.1). 第四步 : 计算每段内数据的个数 n i, 填入表格的第二列. 第五步 : 计算数据落在每一段内的频率 f i, 填入表格的第三列. 第六步 : 将第 2,3 列之和填入最后一行形成总计. 注 : 由于频率分布表的制作没有统一的数据分段方法, 所以对相同的数据, 可以作出不同的频率分布表. 但是好的频率分布表应当是简单明了的. 频率直方图离散型总体的各不同类型个数可以用条形图表示连续型数据分组后可以绘制频数直方图这与频率分布表类似, 只不过分组和频数都体现在图形中以横坐标表示分组, 以纵坐标表示频数, 一个组用一个小矩形表示纵坐标也可以用频率, 这样图形不变, 只有纵坐标刻度变化称为频率直方图纵坐标还可以适当伸缩使得小长方形的的总面积等于 1, 用来作为分布密度估计, 称为密度直方图下面的图用的是频数每日借出图书分布频数直方图

145 6.3 用样本估计总体分布 139 Histogram of borrowed books Frequency x 折线直方图对密度直方图, 在直方图最小值端和最大值端分别延伸出一个高度为零的小矩形, 然后把两个相邻小矩形的顶部中点用折线连接起来, 得到密度估计的折线图见下面图的蓝色线每日借出图书分布密度估计折线图 Histogram of borrowed books Density x

146 140 第六章描述性统计茎叶图茎叶图可以看成水平放置的直方图茎叶图可以把所有数据点画到图上双茎叶图可以比较两个变量例 3.4 上海市 2004 年 7 月 10 日至 2004 年 7 月 31 日空气中可吸入颗粒物的监测数据 : 解先将数据从小到大排列得到 : 数据的十位上的数是 5,6,7,8,9, 把他们叫做茎, 排列下表的第一列 ; 茎 5 后面的个位数分别是 1,2,2,5,7,9,9, 把他们叫做茎 5 的叶, 排在茎 5 的后面, 按相同的方法把茎 6 的叶 2,2,2,6,7 排在茎 6 的右边,, 把茎 9 的叶 3,4,6,6,7 排在茎 9 的右边. 就得到了如下的茎叶图. 茎叶茎起到坐标轴的作用叶可以用来核查数据, 叶的多少构成了横向的直方图

147 6.3 用样本估计总体分布 141 从茎叶图中看出, 尽管这 22 天中可吸入颗粒物都是处于良的水平, 但是有较多的时间接近于优, 也有较多的时间接近于轻度污染. 注 : 可吸入颗粒物在 0 至 50 之间称为优 ; 可吸入颗粒物在 51 至 100 之间称为良 ; 可吸入颗粒物在 101 至 150 之间称为轻度污染. 每日借出图书样本的茎叶图 The decimal point is 2 digit(s) to the right of the 数据值近似到了两位有效数字双茎叶图例子上海市 2004 年 7 月 10 日至 2004 年 7 月 31 日空气中二氧化硫和二氧化氮的监测数据. 二氧化硫数据 : 二氧化氮数据 : 先将两组数据分别从小到大排列, 得到 : 二氧化硫数据 :

148 142 第六章描述性统计二氧化氮数据 : 两个茎叶图共享同一个茎作为坐标轴二氧化硫的叶子放在茎左侧, 二氧化氮的叶子放在茎右侧图 : 二氧化硫树二氧化氮树叶茎树叶纯以数值比较, 二氧化硫的空气质量指标比二氧化氮的空气质量指标要差很多. 数据茎叶图的优点是利用了数据的每个信息, 从茎叶图中可以直观地看到数据的分布情况. 但是数据量很大时, 茎叶图的效果就不好了, 因为这时的茎叶图会很长或很宽. 6.4 众数和中位数众数和中位数数据的频率分布表, 频率分布直方图和茎叶图都可以展示出数据的分布形状, 从中可以对数据有一个大致的了解. 需要更简单概括的描述方式平均值标准差众数中位数等称为数据的数字特征

149 6.4 众数和中位数 143 众数众数是观测值中出现次数最多的数, 记为 M 0 如果次数最多的不止一个, 众数允许有多个众数有一定代表性它受数据中极大或极小值变化的影响较小. 从分布的角度看, 众数出现的频率最高. 但是, 众数的位置偶然性也比较大, 现代采用较少例 4.1 某超市用随机抽样的方式调查了 30 个顾客购买商品的件数, 结果从小到大排列如下 : 求众数和样本均值. 解样本中 10 出现的次数最多, 是 4 次, 所以 10 是众数. 样本均值是 x = 1 ( ) = 在例 4.1 中, 如果购买件数最多的那个顾客购买件数增加从 29 增加的到 40, 众数不变, 样本均值增加为数据中最大值的变化对众数没有影响, 对样本均值的影响较大. 极差数据中最大值与最小值的差称为极差, 直观反映了数据分布范围宽窄例 4.1 中极差为 29 0 = 29

150 144 第六章描述性统计中位数样本数据从小到大排列后, 最中间的一个 ( 有奇数个时 ) 的值或最中间的两个 ( 有偶数个时 ) 的平均值为样本中位数记作 M d 用作样本左右位置的一个度量指标, 以及总体左右位置的估计设观测数据已经被从小到大排列为 : x 1 x 2 x n. 对 n 为奇数情况, 中位数是从小到大排在中间一个,M d = x n+1 如 : 2 1, 5, 9, 12, 13 的中位数是 9. 对 n 为偶数情况, 中位数用从小到大排在中间的两个平均计算, M d = 1 2 (x n 2 + x n 2 +1 ) 如 : 1, 5, 9, 12, 13, 21 的中位数是 M d = = 10.5 小于等于中位数的数据不少于样本量的二分之一, 大于等于中位数的数据不少于样本量的二分之一中位数作为总体位置的度量比较不受极端值影响, 而均值则会收到极端值影响例年, 在对 A 城市进行年人均收入调查时, 采用随机抽样的方法得到了以下 10 个数据 ( 单位 : 万元 ): 0.79, 0.98, 1.17, 1.46, 1.67, 1.79, 1.82, 1.98, 2.26, 9.78 计算中位数和样本均值. 解数据已经从小到大排列. 中位数是 M d = = 样本均值 x = = 2.37.

151 6.4 众数和中位数 145 数据的茎叶图 ( 精确到小数点后 1 位 ): 茎叶观测点 9.78 和其它值距离很远称这样的值为离群值如果对 A 城市不了解其他经济情况, 很难作出年人均收入的合理估计. x = 2.37 很可能过高估计了总体均值, 因为 9.78 万元的年收入比其他人的年收入大的太多了拉高了样本均值. 中位数 1.73 看来好一些, 但是也可能低估或高估了总体均值, 我们还不了解有 9.78 万元年收入的人的比例. 要作出合理的估计, 必须增加抽样调查的样本量. 例 4.3 数学考试后, 甲班成绩的中位数是 72 分, 乙班成绩的中位数是 78 分. 仅从这两个数看, 哪班数学好的同学更多一些. 解甲班有不少于 50% 的同学的成绩在 72 分之下, 乙班有不少于 50% 的同学的学习成绩在 78 分之上, 乙班数学好的同学更多一些. 四分之一和四分之三分位数设样本的中位数为 M d, 从样本中取出小于等于 M d 的子集, 计算这个子集的中位数, 定义为四分之一分位数

152 146 第六章描述性统计大于等于四分之一分位数的样本点占所有样本点比例约为四分之一, 小于等于四分之一分位数的样本点占所有样本点比例约为四分之三四分之三分位数类似计算总体分位数设总体 X 有严格单调增的连续分布函数 F (x),f 1 (p), p (0, 1) 为 F ( ) 的反函数对 p (0, 1), 称 F 1 (p) 为 X 的 p 分位数一般地, 若 x p 使得 P (X x p ) p, P (X x p ) 1 p, 称 x p 为 X 的 p 分位数这样的 p 分位数可能不唯一为了使得 p 分位数定义唯一, 令 F 1 (p) = inf{x : F (x) p}, p (0, 1) 称 F 1 (p) 为 X 的 p 分位数样本分位数样本分位数是总体分位数的估计对样本 x 1, x 2,..., x n, 设其从小到大排列为 x (1) x (2)... x (n), 总体分位数 x p 的估计常采用 b = x ([np]), 这里 [ ] 表示向下取整运算分位数估计有多种方法,b = x ([np]) 是一个最简单的估计约有比例 p 的样本小于等于样本 p 分位数, 约有比例 1 p 的样本大于等于样本 p 分位数 6.5 随机对照试验随机对照试验观察研究是不严谨的研究方式为了解某药物治疗等的效果, 需要进行双盲随机对照试验

153 6.5 随机对照试验 147 例 : 坏血病研究例 : 经脉吻合分流试验随机对照组是必要的, 否则可能得出错误结论例 : 脊髓灰质炎疫苗双盲随机对照试验例 : 坏血病的研究 17 世纪初期, 长期在海上航行的水手经常患坏血病. 坏血病的症状是牙龈肿大出血, 皮肤上出现青灰的斑点. 英国海军部试图考察坏血病的起因. 他们怀疑这是因为水手缺乏柑橘类的水果造成的. 当此想法提出时, 刚好有 4 艘军舰要远航. 为了调查是否由于水手缺乏柑橘类的水果而导致坏血病, 海军部随机地安排了一艘军舰上的水兵每天喝柑橘汁, 另外 3 艘军舰不供应柑橘汁. 这是一次安排好的试验. 试验的结果是 : 航行还没有结束, 没有提供柑橘汁的水手多数得了坏血病, 而提供柑橘汁的军舰没有发现坏血病. 最后, 提供柑橘汁的军舰不得不把携带的柑橘汁分给其他的军舰, 以帮助他们顺利返航. 尽管本次试验的计划还可以从各个方面进行改进, 但是试验的结果成功地证实了最初的怀疑. 在例 5.1 中, 我们称喝柑橘汁的水兵是试验组 (experimental group), 称不喝柑橘汁的水兵为对照组 (control group). 试验组由随机选择出的对象构成, 试验组的成员要接受某种特殊的待遇或治疗等. 而对照组由那些没有接受这种特殊待遇的对象构成. 一个好的试验设计应当有一个试验组和一个对照组. 为什么要有对照组? 在例 5.1 中, 如果没有对照组, 为 4 艘军舰都提供柑橘汁, 就没有水兵患上坏血病, 海军部就不能确认他们的最初怀疑. 因为不能确定是否有其他的食品或治疗避免了坏血病. 为什么试验组要随机抽取?

154 148 第六章描述性统计在例 5.1 中, 如果安排喜欢喝柑橘汁的水兵在试验组, 喜欢喝啤酒的水兵在对照组, 就不能确定研究开始前这两组水兵的身体状况是否有差异. 水手身体状况的差异也可能影响是否容易得坏血病. 随机选择试验组能够有效地抵消个体差异造成的对试验结果的影响. 随机选择试验对象是英国统计学家费歇 (Fisher) 的贡献, 在 20 世纪初, 他用此方法致力于农业试验的研究. 从此随机选择试验组成为安排试验的基本原则. 例 : 静脉吻合分流术在一些肝硬化病例中, 许多病人会从肝出血直至死亡. 历史上有一种称为静脉吻合分流术的外科手术用于治疗肝硬化, 其原理是运用外科手术的方法使血流改变方向. 这种手术花费很大并且有很高的危险性. 值得做这样的手术吗? 为了解决上述问题, 一共有三批共 51 次手术试验. 第一批进行了 32 次无对照组的试验. 结果如下 : 设计方法显著有效中等有效无效试验次数无对照组所占比例 75% 21.9% 3.1% 100% 试验说明有 75% 的手术显著有效, 21.9% 的手术中等有效, 看来手术是值得做的. 第二批共进行了 15 次手术试验, 这批试验有对照组, 但是对照组的病人不是随机选取的. 医生根据病人的临床诊断情况决定是将病人编入实验组做手术, 还是编入对照组不做手术. 结果如下 : 设计方法显著有效中等有效无效试验次数非随机对照所占比例 66.7% 20% 13.3% 100% 这次试验的结果是 66.7% 的手术显著有效, 20% 的手术中等有效, 13.3% 的手术无效. 这个试验结果也是对静脉吻合分流术的肯定. 这次的结果与无对照组的试验结果差别不是很大. 再看有随机选取的对照组的第三批试验, 这批试验只有 4 次手术. 随机选取的方式类似于掷硬币, 如果硬币正面朝上就将病人选入试验组

155 6.5 随机对照试验 149 作手术. 这次试验处理组的结果如下 : 设计方法显著有效中等有效无效试验次数随机对照所占比例 0% 25% 75% 100% 随机对照试验的结果显著地否定了外科手术静脉吻合分流术. 结果显示 : 设计差的试验研究过分夸大了外科手术静脉吻合分流术的价值. 经过认真设计的试验研究显示静脉吻合分流术几乎没有什么价值. 为什么会出现如此大的差别呢? 在无对照组和非随机选取对照组的试验中, 实验者根据病人的临床诊断决定是否将他编入试验组进行手术. 这样做就出现一种自然的倾向 : 试验人员更倾向于将那些身体状态较好的病人选入试验组, 以减少手术风险. 其结果有利于对手术的肯定评价, 这种结果是不真实的. 对上述试验的跟踪观测发现, 做手术的 51 个病人中 3 年后大约有 60% 仍然活着, 随机对照组中 ( 没做手术的病人 )3 年后大约也有 60% 的病人仍然活者. 这就说明手术基本是无效的. 而在非随机对照组中, 只有 45% 的病人存活期超过三年, 这就说明了非随机对照组中的病人健康情况较差, 验证了健康情况较好的病人更容易被选入试验组作手术. 随机安排对照组是十分必要的, 否则可能得出错误的结论. 我们称随机选取试验组的对照试验为随机对照试验. 其它随机对照试验案例在人类历史上还有许多成功使用随机对照试验的例子, 也有许多惨重的教训. 例如, 随机对照实验否定了治疗冠状动脉病的冠状旁道外科手术 ( 该手术费用昂贵 ), 否定了用抗凝剂治疗心脏病突发, 否定了用 5-FU 对结肠癌进行化疗, 否定了用乙烯雌粉预防流产.

156 150 第六章描述性统计具体情况如下. 医疗方法随机对照实验非随机对照实验结论有效无效有效无效冠状旁道手术抗凝剂治疗 FU 结肠癌化疗乙烯雌粉预防流产特别需要指出的是有关乙烯雌粉的实验, 随机对照试验完全否定了这种预防流产的药. 但是起初的非随机对照试验却赞同药的疗效, 这是一个医学的悲剧. 在美国的 60 年代末, 医生每年大约为 5 万名孕妇发放这种药. 后来揭示, 怀孕期间的母亲服用乙烯雌粉, 20 年后给她们的女儿带来灾害性的副作用, 可能引发他们的女儿得一种罕见的癌症. 该药于 1971 年被禁止使用. 人们从太多的悲剧中总结了教训 : 对一种新药不作随机对照实验是非常危险的. 小儿麻痹症疫苗随机对照双盲试验 1916 年小儿麻痹症 ( 脊髓灰质炎 ) 袭击了美国, 以后的 40 年间, 受害者成千上万. 20 世纪 50 年代, 人们开始开发预防疫苗. 当时萨凯 (Salk) 培育的疫苗最有希望. 他的疫苗在实验室中表现良好 : 安全, 产生对脊髓灰质炎病毒的抗体. 但是在大规模使用前必须进行现场人体试验, 通过试验最后确定疫苗是否有效. 只有这样才能达到保护儿童的目的. 当时采用了随机对照的研究方案, 对每个儿童用类似投掷一个硬币的方法决定是否将其编入试验组 : 正面朝上分在试验组, 否则分在对照组. 除了试验的设计人员, 连医生也不知道哪个儿童分在试验组, 哪个儿童分在对照组. 然后, 给分在试验组的儿童注射疫苗, 给分在对照组的儿童注射生理盐水, 让他们认为也被注射了疫苗. 得到的结果如下 : 试验人数试验后的发病率试验组 20 万 28/10 万对照组 20 万 71/10 万

157 6.5 随机对照试验 151 试验结果显示, 疫苗将小儿麻痹症的发病率从 10 万分之 71 降低到 10 万分之 28. 由于和的差别超出了随机性本身所能解释的范围, 所以宣布疫苗是成功的. 进一步的分析指出, 可以以近 100% 的概率保证疫苗是有效的 ( 参考 8.6, 例 6.4). 我们把对照组中的处理方法称为使用安慰剂 (placebo), 例 5.3 中的安慰剂是注射生理盐水. 给对照组的儿童使用安慰剂是为了避免儿童的心理作用影响试验的结果. 尽管可以认为光靠精神作用不能抵抗小儿麻痹症, 但是为了确认试验结果的可靠性, 使用安慰剂是必要的. 不让医生知道儿童是来自试验组还是对照组是为了使医生能够作出更公正的诊断, 避免在诊断儿童是否患有小儿麻痹症时受到心理因素的影响. 此例中的随机对照试验又称为随机对照双盲试验. 双盲的之一是指儿童自己不知道自己是在试验组还是在试验组, 也就是说不知道自己被注射的是疫苗还是安慰剂, 甚至不知道有安慰剂, 这就有效地避免了潜在的心理影响. 另外一盲是指医生不了解他诊断的病人在对照组还是在试验组, 这就避免了医生对疫苗的主观看法带来的可能影响. 在可能的场合, 随机对照双盲试验可以最大程度地避免心理因素的影响. 在许多场合, 精神因素是不能忽视的. 有资料显示在医院中给那些手术后产生剧痛的病人服用由淀粉制成的止痛片后, 大约有 1/3 的病人感觉剧痛减轻.

158 152 第六章描述性统计

159 第七章参数估计 7.1 点估计和矩估计总体和样本如果 X 是从总体中随机抽样得到的个体, 则 X 是随机变量, X 的分布就是总体的分布. 如果对总体进行有放回的随机抽样, 就得到独立同分布的, 和 X 同分布的随机变量 X 1, X 2,, X n. 我们称 X 1, X 2,, X n 是来自总体 X 的简单随机样本. 在 2.2 的例 2.1, 观测放射性钋放射 α 粒子的试验中, 用 X 表示 7.5 秒内观测到的粒子数. 在独立重复观测时, 用 X i 表示第 i 次观测结果, 则 X 1, X 2,, X n 独立同分布, 和 X 同分布, X 1, X 2,, X n 是来自总体 X 的简单随机样本. 定义 1.1 如果 X 1, X 2,, X n 独立同分布, 和 X 同分布, 就称 X 是总体, 称 X 1, X 2,, X n 是总体 X 的简单随机样本, 称观测数据的个数 n 为样本量. 为了简单, 也把总体 X 的简单随机样本简称为总体 X 的样本. 在实际问题中得到的总是简单随机样本 X 1, X 2,, X n 的观测值 x 1, x 2,, x n. 我们也称 x 1, x 2,, x n 是总体 X 的简单随机样本. 在统计学中, 常常不把 X 1, X 2,, X n 与它们的观测值 x 1, x 2,, x 2 严格区分, 这是为了符号使用的方便. 当对数据进行统计分析时, 用大写的 X 1, X 2,, X n, 实际计算时更多地用小写的 x 1, x 2,, x n. 在统计问题中, 总体 X 的分布形式往往是已知的. 例如重复测量一个物体的重量时, 认为总体 X 服从正态分布 N(µ, σ 2 ), 未知参数是 153

160 154 第七章参数估计 (µ, σ 2 ), 问题是根据来自总体 X 的样本 X 1, X 2,, X n 估计总体参数 (µ, σ 2 ). 观测放射性钋放射 α 粒子时, 总体 X 服从泊松分布 P(λ), 未知参数是 λ, 问题是根据来自总体 X 的样本 X 1, X 2,, X n 估计 λ. 估计量 ( 统计量 ) 设 X 1, X 2,, X n 是总体 X 的简单随机样本, θ 是总体 X 的未知参数. 如果 g(x 1, x 2,, x n ) 是已知函数, 就称 ˆθ = g(x 1, X 2,, X n ) 是 θ 的估计量, 简称为估计 (estimator). 换句话说, 估计或估计量是从观测数据 X 1, X 2,, X n 能够直接计算的量. 计算后得到的值称为估计值. 估计量也称为统计量 (statistic). 设 ˆθ 是总体参数 θ 的估计, 作为随机变量 X 1, X 2,, X n 的函数, 估计量 ˆθ 也是随机变量. 估计量是样本的函数. 估计的优良性用估计量 ˆθ 去估计总体参数 θ, 我们希望 ˆθ 能够尽可能与 θ 接近, 但由于随机性影响误差是不可避免的引入下面的关于估计优良性的定义定义 1.2 设 ˆθ 是 θ 的估计. (1) 如果 Eˆθ = θ, 称 ˆθ 是 θ 的无偏估计 ; (2) 如果当样本量 n, ˆθ 依概率收敛到 θ, 就称 ˆθ 是 θ 的相合估计 (consistent estimator); (3) 如果当样本量 n, ˆθ 以概率 1 收敛到 θ, 就称 ˆθ 是 θ 的强相合估计 (strongly consistent estimator). 由于以概率 1 收敛可以推出依概率收敛, 所以强相合估计一定是相合估计. 一个估计起码应当是相合的, 否则我们不知道这个估计有什么优点, 也不知道它估计的是谁.

161 7.1 点估计和矩估计 155 均值的估计设总体均值 µ = EX 存在, X 1, X 2,, X n 是总体 X 的简单随机样本. 均值 µ 的估计定义为 X n = 1 n n X i (1.1) i=1 由于 Xn 是从样本计算出来的, 所以是样本均值. 样本均值 Xn 有如下的性质. (1) X n 是 µ 的无偏估计. 这是因为 E X n = µ. (2) X n 是 µ 的强相合估计, 从而是相合估计. 这是因为从强大数律得到 lim n X n = µ, wp1. (1.2) 方差的估计总体方差 σ 2 = Var(X) 的点估计由 S 2 = 1 n 1 n (X j ˆµ) 2 (1.4) j=1 定义. 由于 S 2 是从样本计算出来的, 所以是样本方差. 定义 Y j = X j µ, 有 Ȳ n = 1 n n Y j = ˆµ µ, j=1 Y j Ȳn = X j ˆµ, EȲ 2 n = σ2 n.

162 156 第七章参数估计于是得到 S 2 = 1 n 1 = 1 n 1 = 1 n 1 = 1 n 1 n (X j X n ) 2 = 1 n (Y j n 1 Ȳn) 2 j=1 n (Yj 2 2Y j Ȳ n + Ȳ n 2 ) j=1 [ n j=1 [ n j=1 Y 2 j Y 2 j 2nȲnȲn + nȳ 2 n nȳ 2 n j=1 ] ]. (1.5) 从而有 ES 2 = 1 n 1 [ n j=1 EY 2 j 说明 S 2 是 σ 2 的无偏估计. 利用强大数律得到所以由 1.5 得到 1 n 1 n j=1 neȳ 2 n ] = 1 n 1 (nσ2 σ 2 ) = σ 2. Y 2 j EY 2 1 = σ 2, wp1. 1 n 1 nȳ 2 n (EY 1 ) 2 = 0, wp1. 说明 S 2 是强相合估计, 从而也是相合估计. S 2 σ 2, wp1. (1.6) 标准差 σ 的估计由于 S 2 是 σ 2 的估计, 所以定义标准差 σ 的估计为 S = S 2 = 1 n (X j ˆµ) n 1 2. S 是样本标准差. 由于 S σ, wp1. 成立, 所以 S 是 σ 的强相合估计. 但是 S 一般不是 σ 的无偏估计. 实际上用内积不等式得到 j=1 ES = E(1 S) 1 ES 2 = σ. 等号成立时有不全为零的常数 a, b 使得 P (as + b = 0) = 1, 于是 S = b/a, wp1. 所以只要 S 等于常数的概率小于 1, 则 ES < σ.

163 7.1 点估计和矩估计 157 样本均值方差标准差的理论结果定理 1.1 设 X 1, X 2,, X n 是总体 X 的简单随机样本, µ = EX, σ 2 = Var(X). (1) 样本均值 Xn 是总体均值 µ 的强相合无偏估计, (2) 样本方差 S 2 是总体方差 σ 2 的强相合无偏估计, (3) 样本标准差 S 是总体标准差 σ 的强相合估计. 例 1.1 设 X 1, X 2,, X n 是总体 X 的简单随机样本, 则 X j 1, X j 2,, X j n 是总体 X j 的简单随机样本, 所以当原点矩 ν j = EX j 存在时, 是 ν j 的点估计. ˆν j 具有无偏性和强相合性. ˆν j = 1 n n X j i (1.7) 最后指出, 在实际数据的计算中, 也常用 x n, s 2 和 s 分别表示样本均矩估计值, 样本方差和样本标准差 : x n = 1 n x j, s 2 = 1 n (x j x n ) 2, s = s n n 1 2. (1.8) j=1 设 X 1, X 2,, X n 是总体 X 的简单随机样本, 已知 X 有分布函数其中的 θ 1, θ 2,, θ m 是未知参数. i=1 j=1 F (x; θ 1, θ 2,, θ m ). (1.9) 如果能得到表达式其中 θ 1 = g 1 (ν 1, ν 2,, ν m ), θ 2 = g 2 (ν 1, ν 2,, ν m ),, θ m = g m (ν 1, ν 2,, ν m ), ν j = EX j, j = 1, 2,, m, (1.10)

164 158 第七章参数估计就称由 ˆθ 1 = g 1 (ˆν 1, ˆν 2,, ˆν m ), ˆθ 2 = g 2 (ˆν 1, ˆν 2,, ˆν m ),, ˆθ m = g m (ˆν 1, ˆν 2,, ˆν m ) (1.11) 定义的 ˆθ1, ˆθ 2,, ˆθ m 分别是 θ 1, θ 2,, θ m 的矩估计 (moment estimator). 这里的 ˆν j 是 ν j 的点估计, 由 (1.7) 定义. 由于总体分布 (1.9) 中含有未知参数, 所以 ν j 是参数 θ 1, θ 2,, θ m 的函数, 而方程 (1.10) 通常是由下面的估计方程 ν 1 = h 1 (θ 1, θ 2,, θ m ), ν 2 = h 2 (θ 1, θ 2,, θ m ), (1.12), ν m = h m (θ 1, θ 2,, θ m ) 得到的. 注意这里的 ν j = EX j. 正态分布参数的矩估计设 X 服从正态分布 N(µ, σ 2 ). 由于 µ = EX, σ 2 = EX 2 (EX) 2 = ν 2 ν 2 1, 所以 µ, σ 2 的矩估计分别是 ˆµ = X n, ˆσ 2 =ˆν 2 (ˆν 1 ) 2 = 1 n = 1 n 指数分布参数的矩估计设 X 服从指数分布 E(λ). n Xj 2 ( X n ) 2 j=1 n (X j ˆµ) 2. j=1

165 7.1 点估计和矩估计 159 由 µ = EX = 1/λ 得到 λ = 1/µ, 从而得到矩估计 ˆλ = 1/ X n. 泊松分布参数的矩估计设 X 服从泊松分布 P(λ). 由 µ = EX = λ, 得到矩估计 ˆλ = Xn. 均匀分布参数的矩估计 X 服从均匀分布 U(0, b). 由 µ = b/2, 得到 b = 2µ, 从而得到矩估计 ˆb = 2 Xn. 二项分布参数的矩估计 X 服从二项分布 B(m, p), 其中 m 已知. 由 µ = EX = mp 得到 p = µ/m, 从而得到 p 的矩估计 ˆp = X n /m. 几个矩估计的性质以上的几个矩估计中, 除了正态分布的 ˆσ 2 和指数分布中的 ˆλ 不是无偏估计外, 其余的都是无偏估计. 以上五个矩估计都是强相合估计.

166 160 第七章参数估计例 1.2 设一大批产品的合格率是 p, 每次从中随机抽出 10 件进行检验. 用 X i 表示第 i 次抽出的 10 件中次品的个数, 则可以认为 X 1, X 2,, X n 独立同分布, 总体分布是二项分布 B(10, p). 用 µ = EX 表示 B(10, p) 的数学期望, 由 EX = 10p, 得到 p = EX 10. 于是 p 的矩估计是 ˆp = 1 10 X n 给定 n 次抽样的观测数据 x 1, x 2,, x n 后, p 的矩估计 ˆp = x 1 + x x n. 10n 7.2 最大似然估计离散型随机变量的情况例 2.1 某试验成功的概率是 p = 0.9 或 p = 0.1. 现在试验成功了, 应当判断 p = 0.9 还是判断 p = 0.1? 答案是明显的, 应当判断 p = 0.9. 这时判断失误的概率是 p = 0.1 成立时, 试验成功的概率. 这个概率是 0.1. 于是判断正确的概率是 0.9. 同理, 判断 p = 0.1 时, 判断正确的概率只有 0.1. 例 2.1 提示我们, 试验能成功是因为成功的概率较大. 更一般地说, 我们能够观测到一个事件是因为这个事件发生的概率较大. 这样思考问题的思想被称为最大似然思想. 例 2.2 设 X 1, X 2,, X n 独立同分布, 都服从 Poisson 分布 Poisson(λ). (1) 给定观测 X 1 = x 1, 试估计 λ, (2) 给定观测数据 x 1, x 2,, x n, 试估计 λ.

167 7.2 最大似然估计 161 解 (1) X 1 有概率分布 P (X 1 = x) = λx x! e λ, x = 0, 1,. 按照最大似然估计思想, 观测到 X 1 = x 1 的原因是观测到 x 1 的概率较大. 于是参数 λ 应当使得达到最大值. L(λ) = λx1 x 1! e λ, λ > 0, 于是问题简化为求 L(λ) 的最大值的问题. 为了计算方便, 引入 l(λ) = ln L(λ) = x 1 ln λ λ ln(x 1!), 由 l (λ) = x 1 /λ 1 = 0, 知道应当取 λ = x 1. (2) 根据最大似然估计的思想, 参数 λ 应当使得观测到 (x 1, x 2,, x n ) 的概率最大. 这等价于 λ 使得 (X 1, X 2,, X n ) 的联合分布取得最大值. 于是应当用 L(λ) 的最大值点作为 λ 的估计. L(λ) =P (X 1 = x 1, X 2 = x 2,, X n = x n ) = λx1 λx2 e λ x 1! x 2! e λ λxn x n! e λ λ(x1+x2+ +xn) = x 1!x 2! x n! e nλ. ˆλ = x 1 + x x n n 注意在上述问题中, (x 1, x 2,, x n ) 是已经观测到的数据, 所以 L(λ) 是 λ 的函数, 称为基于数据 (x 1, x 2,, x n ) 的似然函数, 简称为似然函数 (likelihood function).

168 162 第七章参数估计最大似然估计定义 ( 离散情况 ) 定义 2.1 设离散随机变量 X 1, X 2,, X n 有联合分布 p(x 1, x 2,, x n ; θ) = P (X 1 = x 1, X 2 = x 2,, X n = x n ), 其中 θ 是未知参数, 给定观测数据 x 1, x 2,, x n 后, 我们称 θ 的函数 L(θ) = p(x 1, x 2,, x n ; θ) 为基于 x 1, x 2,, x n 的似然函数, 称 L(θ) 的最大值点 ˆθ 为 θ 的最大似然估计 (maximum likelihood estimator). 定义 2.1 中的 θ 也可以是向量 θ = (θ 1, θ 2,, θ m ) 连续型随机变量的情况例 2.3 设 X N(µ, 1), 给定观测数据 X = x, 如何估计 µ 呢? 根据正态密度函数的图形和最大似然思想, 知道 µ 应当在 x 的附近. 如果取 µ 大于 x, 就会问为什么不取 µ 小于 x. 因而最好取 µ = x. 注意 X 有密度函数 f(x; µ) = 1 2π e (x µ)2 /2, 给定观测 X = x, µ = x 恰好使得 f(x; µ) 达到最大. 一元正态分布 N(µ,1) 的密度函数

169 7.2 最大似然估计 163 Normal N(µ,1) density µ 例 2.4 设 X 1, X 2 独立同分布, 都服从正态分布 N(µ, σ 2 ). 给定观测数据 x 1, x 2 如何估计 µ, σ 2 呢? 我们知道 (X 1, X 2 ) 的联合密度 f(x 1, x 2 ; µ, σ 2 ) = 1 ( 2πσ exp 1 ) 2 2σ [(x 2 1 µ) 2 + (x 2 µ) 2 ] 是一个扣在 x, y 平面上的单峰曲面. 根据最大似然思想, µ, σ 2 的选择应当使得曲面在 (x 1, x 2 ) 处达到最大. 于是使得函数 L(µ, σ 2 ) = f(x 1, x 2 ; µ, σ 2 ) 达到最大值的 (ˆµ, ˆσ 2 ) 就是参数 (µ, σ 2 ) 的估计. 于是问题转化为求 L(µ, σ 2 ) 的最大值点的问题. 注意上面的 x 1, x 2 已经是常数了, 自变元是 (µ, σ 2 ). 二元正态分布的密度函数曲面

170 164 第七章参数估计 2 D Joint Normal Density Curve 最大似然估计 ( 连续型 ) 定义 2.2 设随机向量 X = (X 1, X 2,, X n ) 有联合密度 f(x; θ), 其中 θ 是未知参数. 得到 X 的观测值 x 后, 称 θ 的函数 L(θ ) = f(x; θ ) 为基于 x 的似然函数. 称似然函数 L(θ) 的最大值点 ˆθ 为参数 θ 的最大似然估计. 最大似然估计通常被缩写成 MLE(Maximum Likelihood Estimator). 设总体 X 有密度函数 f(x; θ), X 1, X 2,, X n 是总体 X 的简单随机样本, 则 (X 1, X 2,, X n ) 的联合密度是 n f(x 1, x 2,, x n ; θ) = f(x j ; θ ), j=1 基于观测值 x = (x 1, x 2,, x n ) 的似然函数是 L(θ) = 由于 n f(x j ; θ). (2.1) j=1 l(θ) = ln L(θ) (2.2)

171 7.2 最大似然估计 165 和似然函数 (2.1) 有相同的最大值点, 所以称 (2.2) 为对数似然函数. 实际问题中, 求对数似然函数 l(θ) 的最大值点往往要方便得多. 例 : 正态总体参数的 MLE 设总体 X 服从正态分布 N(µ, σ 2 ). 由于总体 X 的密度函数是 f(x; µ, σ 2 ) = 1 2πa exp [ (x µ)2 ], 其中 a = σ 2. 2a 所以基于观测值 x = (x 1, x 2,, x n ) 的似然函数是对数似然函数是 L(µ, a) = 1 ( 2πa) n exp [ n (x j µ) 2 ]. 2a j=1 l(µ, a) = n n 2 ln a (x j µ) 2 2a j=1 n 2 ln(2π). 求 l(µ, a) 的最大值点可以通过解方程组 l = 1 n µ a j=1 (x j µ) = 0, l a = n 2a + 1 2a 2 n j=1 (x j µ) 2 = 0 (2.3) 得到. 从 (2.3) 解得 µ, σ 2 = a 的 MLE 为 ˆµ = X n ; ˆσ 2 = â = 1 n n j=1 (x j X n ) 2. 可以看出, 对于正态总体来讲, 最大似然估计和矩估计是一致的. 指数分布总体参数的 MLE 设总体 X 服从指数分布 E(λ). 由于指数分布 E(λ) 的密度函数是 f(x; λ) = λe λx, x 0.

172 166 第七章参数估计基于观测值 x = (x 1, x 2,, x n ) 的似然函数是 L(λ) = λ n exp ( n ) λ x j j=1 对数似然函数是由 n l(λ) = n ln λ λ x j. j=1 l λ = n n λ x j = 0, j=1 得到参数 λ 的 MLE 为 ˆλ = 1/ Xn. 均匀分布总体参数的 MLE 设总体 X 服从均匀分布 U[0, b]. 密度函数是 f(x; b) = 1 b I {0 x b}. 给定观测数据 x 1, x 2,, x n, 定义 x (1) = min{x 1, x 2,, x n }, x (n) = max{x 1, x 2,, x n }. (2.4) 可以把似然函数写成 L(b) = 1 b n n j=1 I {0 xi b} = 1 b n I {0 x (1) x (n) b}. 要 L(b) 达到最大, 首先要示性函数 I {0 x(1) x (n) b} = 1, 即要 b x (n). 然后再要求 1/b n 尽量的大. 不难看出, 这时必须取 b = x (n), 所以 b 的 MLE 是 ˆb = x(n). 均匀分布最大似然估计和矩估计的比较对于均匀分布来将, 矩估计是 b = 2 xn, 最大似然估计是 ˆb = x(n). 这两者明显是不一样的.

173 7.2 最大似然估计 167 为了解那个估计更准确一些, 我们用计算机产生一万个在区间 [0, 2.8] 上均匀分布的随机数 ( 独立同分布随机变量的观测值 ), 使用前 n 个随机数计算出矩估计 b 和 MLE ˆb 的估计误差列在下面的表中. b = 2.8 n = b b = ˆb b = 我们称上述的方法为计算机模拟试验方法. 从上述模拟试验看出, MLE ˆb 的表现似乎要比矩估计 b 好. 但是数据的产生带有随机性, 所以一次模拟试验显然不够. 为了克服数据的随机性, 我们将上述模拟试验独立重复 1000 次. 用 bj 表示第 j 次模拟计算得到的矩估计 b, 用 ˆbj 表示第 j 次模拟计算得到的最大似然估计 ˆb. 再定义 m = 1000 次模拟的平均 M( b) = 1 m m bj, j=1 M(ˆb) = 1 m m ˆbj. j=1 和 m = 1000 次模拟的样本标准差 std( b) = 1 m ( b j m 1 b) 2, j=1 std(ˆb) = 1 m (ˆb j m 1 b) 2. 结论列入下表. n = M( b) b = std( b) = M(ˆb) b = std(ˆb) = 从上述计算中看出, M( b) b 普遍小于 M(ˆb) b, 所以从偏差的角度讲, 矩估计好一些. j=1

174 168 第七章参数估计这个结果是和 E X n = b, Eˆb < b 一致的. 但是另一方面, std(ˆb) 普遍小于 std( b), 说明最大似然估计的稳定性更好一些. 由于一千次重复试验已经能够较好的克服随机因素的影响, 所以可以认为上述模拟试验的结果是可信的. 7.3 抽样分布及其上 α 分位数抽样分布及其上 α 分位数引言如果 X 1, X 2,, X n 是来自总体 X 的简单随机样本, 当 X N(µ, σ 2 ) 时, 也称 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的简单随机样本. 仍用 X n = 1 n n X j, j=1 S 2 = 1 (n 1) 分别表示样本均值和样本方差. n (X j X n ) 2 (3.1) 为了进一步研究未知参数的统计推断问题, 本节介绍几个重要的抽样 j=1 分布. 我们将在以后的章节中使用这里介绍的分布. 所谓抽样分布, 意指基于样本构造的统计量的概率分布. 以后把来自总体 X 的简单随机样本简称为来自总体 X 的样本抽样分布卡方分布定义 3.1 (χ 2 分布 ( 卡方分布 )) 如果随机变量 ξ 有概率密度 p(u) = 1 2 n/2 Γ(n/2) u n 2 1 e u/2, u 0. (3.2) 就称 ξ 服从 n 个自由度的 χ 2 分布, 记做 ξ χ 2 (n). 卡方 χ 2 (n) 分布密度的图形, 按纵坐标的最大值从高到低自由度依次是 n = 1, 3, 5, 7:

175 7.3 抽样分布及其上 α 分位数 169 χ 2 分布与正态分布的关系定理 3.1 如果 X 1, X 2,, X n 是来自总体 N(0, 1) 的样本, 则平方和 ξ n = X X X 2 n χ 2 (n). (3.3) 用归纳法可以证明本定理. 定理 3.2 如果 X 1, X 2,, X n 是来自总体 N(0, 1) 的样本, 则有如下的结果. (1) X n 和 S 2 独立 ; (2) (n 1)S 2 χ 2 (n 1). 推论 3.3 如果 ξ χ 2 (n), η χ 2 (m), 则 (1) 则 Eξ = n, (2) 当 ξ 和 η 独立, 有 ξ + η χ 2 (n + m). 证 (1) ξ 和 (3.3) 中的 ξ n 同分布, 所以有相同的数学期望 n. (2) 设 X 1, X 2,, X n+m 是来自总体 N(0, 1) 的样本, 则 ξ + η 和 ξ n + η m = (X X X 2 n) + (X 2 n+1 + X 2 n X 2 n+m) 同分布, 所以结论成立. 定理 3.4 如果 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, 则 (1) X n 和 S 2 独立 ; (2) n 1 σ 2 S 2 = 1 σ 2 n j=1 (X j X n ) 2 χ 2 (n 1).

176 170 第七章参数估计证 : 本, 且设 Y j = (X j µ)/σ, 则 Y 1, Y 2,, Y n 是来自总体 N(0, 1) 的样 (n 1)S 2 Y = Ȳ n = 1 σ ( X n µ), n (Y j Y n ) 2 = 1 n (X σ 2 j X n ) 2 j=1 (n 1) = S 2. σ 2 j=1 根据定理 3.2, Ȳn 和 S 2 Y 独立. 独立, 从而知道 X n = σȳn + µ 和 S 2 = σ 2 S 2 Y 又由定理 3.2 知道 t 分布 (n 1) σ 2 S 2 = (n 1)S 2 Y χ 2 (n 1). 定义 3.2 (t 分布 ) 如果随机变量 T 有概率密度 p n (u) = Γ( n+1 2 ) Γ( n 2 ) nπ (1 + u2 n ) n+1 2, u (, ). 就称 T 服从 n 个自由度的 t 分布, 记做 T t(n). t 分布分布密度 t 分布的密度函数比正态分布的密度函数低一点. 下图是 t(n) 分布密度函数的图形, 按纵坐标的最大值从低到高, 自由度依次是 n = 1, 3, 7, 10. 最高的一条曲线是标准正态密度曲线. 从中看出 n 增大时, t(n) 分布向 N(0, 1) 分布的收敛是很快的. 当 n 33, t(n) 分布的密度和 N(0, 1) 的密度几乎就没有差别了.

177 7.3 抽样分布及其上 α 分位数 171 实际上可以验证当 n 33, 对标准正态密度函数 φ(x) 有 t 分布与正态分布及卡方分布的关系 sup p n (x) φ(x) x 定理 3.5 如果 Z N(0, 1), η χ 2 (n), Z, η 独立, 则 Z η/n t(n). 定理 3.6 如果 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, 则 X n µ S/ n = n( Xn µ) S t(n 1). 证 F 分布由定理 3.4 知道 Z = X n µ σ/ n Z 和 ξ 独立, 于是用定理 3.5 得到定义 3.3 (F (n, m) 分布 ) p(u) = N(0, 1), ξ = n 1 σ 2 S 2 χ 2 (n 1), X n µ S/ n = Z ξ/(n 1) t(n 1). 如果随机变量 F 有概率密度 n+m Γ( ) ( 2 n ) n ( 2 Γ( n)γ( m) 1 + n ) n+m m m u 2 u n 2 1, u 0, 2 2 就称 F 服从自由度为 (n, m) 的 F 分布, 记做 F F (n, m). 我们又称 n 是第一自由度, m 是第二自由度. 下图是 F (6, m) 的分布密度函数图形, 按纵坐标的最大值从小到大, 第二自由度依次是 m = 1, 3, 7, 10.

178 172 第七章参数估计 F 分布与卡方分布的关系定理 3.7 如果 ξ χ 2 (n), η χ 2 (m), ξ 和 η 独立, 则 F = ξ/n η/m = mξ nη F 1 = η/m ξ/n = nη mξ F (n, m), F (m, n). F 分布与正态分布的关系定理 3.8 设 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, Y 1, Y 2,, Y m 是来自总体 N(µ, σ 2 ) 的样本, 又设这两个总体是相互独立的. 则当 n, m 2, 其中 S 2 X = 1 n 1 n j=1 S 2 X/S 2 Y F (n 1, m 1). (X j X n ) 2, S 2 Y = 1 m 1 m (Y j Ȳm) 2. j=1 证明 : 设 X 1, X 2,, X n 是来自总体 X 的样本, Y 1, Y 2,, Y m 是来自总体 Y 的样本. 如果总体 X 和总体 Y 独立, 则来自这两个总体的样本也是相互独立的, 于是是相互独立的随机变量. 所以 S 2 X 与 S 2 Y 独立由定理 3.4 知道 X 1, X 2,, X n, Y 1, Y 2,, Y m ξ = n 1 σ 2 S 2 X χ 2 (n 1), η = m 1 σ 2 S 2 Y χ 2 (m 1), 而 ξ, η 又是独立的, 所以用定理 3.7 得到 S 2 X S 2 Y = ξ/(n 1) F (n 1, m 1). η/(m 1)

179 7.3 抽样分布及其上 α 分位数 173 依分布收敛的一个定理下面的定理也是后面常用的结论. 回忆 Φ(x) 总表示标准正态分布的分布函数, ξ n d ξ 表示 ξ n 依分布收敛到 ξ. 定理 3.9 设 ξ n 依分布收敛到 N(0, 1): P (ξ n x) Φ(x). 如果 η n 1, wp1., 则 ξ n η n 也依分布收敛到 N(0, 1). 例 3.1 设 µ = EX, σ 2 = Var(X) 是正数, X 1, X 2,, X n 是来自总体 X 的样本, 则 X n µ S/ n d N(0, 1). 证由中心极限定理知道 ξ n = X n µ σ/ n d N(0, 1). 样本标准差 S 是 σ 的强相合估计 : S σ, wp1., 于是 η n = σ/s 1, wp1. 最后利用定理 3.9 得到 X n µ S/ n = X n µ σ/ σ n S = ξ nη n d N(0, 1). 在例 3.1 中, 如果总体 X N(µ, σ 2 ), 则 X n µ S/ n t(n 1). 对较大的 n, 又有近似成立. X n µ S/ n N(0, 1) 所以当 n 较大, t(n) 分布和标准正态分布相近.

180 174 第七章参数估计抽样分布的上 α 分位数抽样分布的上 α 分位数设正数 α (0, 1). 对 Z N(0, 1), 有唯一的 z α 使得 P (Z z α ) = α, 对 ξ n χ 2 (n), 有唯一的 χ 2 α(n) 使得 P ( ξ n χ 2 α(n) ) = α, 对 T n t(n), 有唯一的 t α (n) 使得 P (T n t α (n)) = α, 对 F n,m F (n, m), 有唯一的 F α (n, m) 使得 P ( F n,m F α (n, m) ) = α. 定义 3.4 我们称 z α, χ 2 α(n), t α (n) 和 F α (n, m) 分别为 N(0, 1), χ 2 (n), t(n) 和 F (n, m) 分布的上 α 分位数, 并统一称为上 α 分位数. 容易理解, 上 α 分位数是 α 的减函数. 对于上 α 分位数, 容易验证 ( 参考后面的图 ) P (Z z α ) = 1 α, P (χ 2 n χ 2 α(n)) = 1 α, P (T n t α (n)) = 1 α, P (F n,m F α (n, m)) = 1 α. 标准正态分布上分位数的图形 α = 0.05, z α = 1.645

181 7.3 抽样分布及其上 α 分位数 175 卡方分布上分位数的图形 α = 0.05, χ 2 α(3) = 分位数的计算对某些固定的 α, 可以查书后面的表得到 z α, χ α (n), t α (n) 和 F α (n, m), 也可以用 Matlab R SAS 等直接计算. 记住下面的 (3.4) 和 (3.5) 式是有帮助的. 例 3.2 对 Z N(0, 1), T n t(n), 有 ( 参考后面的图 ) P ( Z z α/2 ) = α, P ( Z z α/2 ) = 1 α. (3.4) P ( T n z α/2 ) = α, P ( T n z α/2 ) = 1 α. (3.5) 证利用 Z N(0, 1), 得到 P ( Z z α/2 ) =P ( Z z α/2 ) + P ( Z z α/2 ) =α/2 + α/2 = α. P ( Z z α/2 ) = 1 P ( Z z α/2 ) = 1 α. (3.4) 的证明只用到标准正态密度关于原点的对称性. 由于 t(n) 分布的密度函数也是关于原点对称的, 所以可以相同地证明 (3.5).

182 176 第七章参数估计双侧分位数图形 α = 0.05, z 0.05/2 = 1.96 例 3.3( 两个常用的正态分位数 ) z = 1.96, z 0.05 = 解查正态分布表可以得到以上结果. z = 1.96 和 z 0.05 = 是两个最常用的分位数, 值得牢记. 例 3.4(F 分布的分位数 ) 对 F (n, m) 的上 α 分位数 F α (n, m), 有 F α (m, n) = 1 F 1 α (n, m). 证对 F n,m F (n, m), 从定理 3.7 得到 1/F n,m F (m, n). 于是对 F m,n F (m, n), 得到 P (F m,n 1/F 1 α (n, m)) =P (1/F n,m 1/F 1 α (n, m)) =P (F n,m F 1 α (n, m)) =1 (1 α) = α. 二项分布的分位数定义 3.5 设 X B(n, p), 对于 α (0, 1), 如果正整数 B α (n, p) 使得 P ( X B α (n, p) ) α, P ( X B α (n, p) 1 ) > α, (3.6) 就称 B α (n, p) 为二项分布 B(n, p) 的上 α 分位数. 可以查表得到上 α 分位数 B α (n, p), 或用软件计算

183 7.4 正态总体的区间估计正态总体的区间估计区间估计在独立同分布场合, 样本均值 Xn 和样本方差 S 2 分别是总体均值 µ 和总体方差 σ 2 的无偏估计和相合估计, 说明样本均值和样本方差都是不错的估计量. 它告诉我们, 在 n 比较大的时候, 真值 µ 就在 Xn 的附近, 真值 σ 2 就在 S 2 的附近. 但是到底有多近呢? n 多大就够了呢? 区间估计可以回答这一问题已知 σ 时, µ 的置信区间已知 σ 时, µ 的置信区间例 1 例 4.1 为了得到鲜牛奶的冰点, 对鲜牛奶的冰点进行了 21 次独立重复测量, 得到数据如下 ( 单位 : 摄氏度 ) 已知测量 ( 仪器 ) 的标准差是 σ = , 测量没有系统偏差 ( 也就是说测量值 X 的数学期望等于牛奶的冰点 ), 估计牛奶的冰点是多少. 解牛奶的冰点是常数, 测量值的随机性由测量误差造成. 通常认为测量值 X 服从正态分布 N(µ, σ 2 ), µ = EX 是牛奶的冰点, σ = 是测量的标准差. 对 n = 21, 容易从数据计算出 Xn = 0.546, 这是对 µ 的估计. 真正的 µ 到底距离 Xn = 有多远呢? 用 X i 表示第 i 次测量值, 则 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的 21 个样本值, Xn N(µ, σ 2 /n). 取 α = 0.05, 则 (1 α) = 0.95, z α/2 = 1.96.

184 178 第七章参数估计于是得到 P ( X n µ 1.96σ/ n) ( Xn µ ) =P σ/ n 1.96 = (4.1) 也就是以 0.95 的概率保证 X n µ 1.96σ/ n, 现在 Xn = 0.546, σ = , n = 21, 所以我们以 0.95 的概率保证 µ [ X n 1.96σ/ n, Xn σ/ n] =[ , ]. (4.2) 我们称 [ , ] 是 µ 的置信度为 0.95 的置信区间. 置信区间的长度是 = 容易得到以下的结论 : 如果 x 1, x 2,, x n 是来自总体 N(µ, σ 2 ) 的样本, σ 已知, 则 µ 的置信度为 0.95 的置信区间是 [ X n 1.96σ/ n, Xn σ/ n]. (4.3) 同样可以计算 µ 的置信度为 0.99 的置信区间是 [ X n 2.576σ/ n, Xn σ/ n], (4.5) = z 0.01/2. 置信区间定义定义 4.1 设 X 1, X 2,, X n 是来自总体 X 的样本,X = (X 1, X 2,, X n ), θ 是未知参数, ˆθ 1 = ˆθ 1 (X), ˆθ 2 = ˆθ 2 (X) 是两个统计量. 对于给定的 α (0, 1), 如果有 P ( ˆθ 1 θ ˆθ 2 ) 1 α, (4.6) 就称 [ˆθ 1, ˆθ 2 ] 为参数 θ 的置信度为 (1 α) 的置信区间 (confidence interval, CI). 在定义 4.1 中, 置信度又称为置信水平 (confidence level), 置信区间的右端点 ˆθ2 又称为置信上界, 置信区间的左端点 ˆθ1 又称为置信下界. 由于 ˆθ1 = ˆθ 1 (X) 和 ˆθ2 = ˆθ 2 (X) 都是随机变量的函数, 因而是随机变量.

185 7.4 正态总体的区间估计 179 但是给定样本观测值 x = (x 1, x 2,, x n ), 就得到了一个具体的闭区间 [ˆθ 1 (x), ˆθ 2 (x)], 这个闭区间或者包含 µ 或者不包含 µ, 我们对 1 α 置信度的理解是 : 如果允许我们反复独立抽取样本得到多次置信区间,µ 落入这些置信区间中的比例接近于 1 α 很明显, 在相同的置信度下, 置信区间的长度越小越好. 正态总体 σ 已知时 µ 的置信区间例 4.2 设 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, 当标准差 σ 已知, 均值 µ 的置信度为 (1 α) 的置信区间是 [ Xn z α/2σ, Xn + z α/2σ ]. (4.7) n n 解这时 Z = X n µ σ/ n N(0, 1). 对于给定的置信度 (1 α), 有 P ( Xn z α/2 σ/ n µ X n + z α/2 σ/ n ) =P ( X n µ z α/2 σ/ n) =P ( Z z α/2 ) = 1 α. 所以, 已知标准差 σ 时, 均值 µ 的置信度为 (1 α) 的置信区间是 (4.7). 正态总体 σ 已知时 µ 的置信区间讨论置信区间 (4.7) 的长度是 L = 2z α/2 σ/ n. L 越小, 置信区间提供的信息越准确. 由于 z α/2 是置信度 (1 α) 的增函数, 所以对于相同的标准差 σ, 从 (4.7) 看出以下结论 : (1) 置信区间的中心总是样本均值 ; (2) 置信度 1 α 越高, 置信区间就越长 ; (3) 样本量 n 越大, 置信区间越短.

186 180 第七章参数估计标准差 σ 越大, 说明总体越分散, 从中估计 µ 越难估计准确, 置信区间越长为了克服置信区间过长带来的不足, 同时考虑置信度不能太低, 人们一般使用置信度为 1 α = 0.95 的置信区间. z α/2 = 1.96 是值得牢记的未知 σ 时 µ 的置信区间未知 σ 时 µ 的置信区间在例 4.2 中, 如果 σ 是未知数, 自然想到用样本标准差 S 代替 σ. 根据定理 3.6, 统计量 T n 1 = X n µ S/ n t(n 1). 对于给定的置信度 (1 α), 查 t 分布表 ( 附录 C2) 可以得到上分位数 t α/2 (n 1), 这时 ( Xn µ ) P S/ n t α/2(n 1) = P ( T n 1 t α (n 1)) = 1 α. 由于 { Xn µ } S/ n t α/2(n 1) { = Xn t α/2(n 1)S µ X n + t α/2(n 1)S }, n n 所以在置信度 (1 α) 下, µ 的置信区间是 [ Xn t α/2(n 1)S n, Xn + t α/2(n 1)S n ]. (4.8) 例 4.3 在例 4.1 中, 假设标准差 σ 未知, 计算均值 µ 的置信度为 0.95 的置信区间. 解从例 4.1 中的数据可以计算出样本标准差 S = 0.005, 查表得到 t α/2 (20) =

187 7.4 正态总体的区间估计 181 代入 (4.8), 得到 µ 的置信区间 [ / 21, / 21] =[ , ]. 置信区间的长度是这个置信区间和已知 σ = 的置信区间基本相同. 这是因为样本量 n = 21 时, S σ, t(20) 的密度和 N(0, 1) 的密度也基本相同的原因. 例 4.4 在例 4.1 中, 只使用前 7 个数据计算 µ 的置信度为 0.95 的置信区间和置信区间的长度. (1) 已知标准差 σ = ; (2) 未知标准差 σ. 解 (1 α) = 0.95, α = 前 7 个数据的样本均值 X7 = , 样本标准差 S = (1) 已知 σ = 时, 利用 z α/2 = 1.96 和公式 (4.7) 得到 µ 的置信区间 [ / 7, / 7 ] =[ , ]. 置信区间的长度是 (2) 未知 σ 时, 查 t 分布表, 得到 t α/2 (6) = 2.447, 代入公式 (4.8) 得到 µ 的置信度为 0.95 的置信区间 [ / 7, / 7] =[ , ]. 置信区间的长度是例 4.1 中置信区间长度为只使用 7 个数据时的置信区间比使用 21 个数据的置信区间要长一些, 说明样本量越大, 置信区间越精确.

188 182 第七章参数估计方差 σ 2 的置信区间方差 σ 2 的置信区间例 4.5 地球生物的演变经历了漫长的岁月, 只有化石为这一演变进行了记录. 现在科学家们利用物质的放射性衰变来研究生物的演变规律. 几乎所有的矿物质含有 K( 钾 ) 元素及其同位素 40 K( 钾 40). 40 K 并不稳定, 它可以缓慢地衰变成 40 Ar( 氩 40) 和 40 Ca( 钙 40). 于是知道了 40 K 的衰变速率, 就可以通过测量化石中的 40 K 和 40 Ar 的比例 ( 钾氩比 ) 估计化石的形成年代. 下面是根据钾氩比计算出的德国黑森林中发掘的 19 个化石样品的形成年龄 ( 单位 : 百万年 ). ( 见 [4]) 假设每个样品的估算年代都服从正态分布. 为了评价钾氩比方法的估计精度, 需要完成以下工作. (1) 计算 σ 2 的置信度为 (1 α) 的置信区间 ; (2) 计算 σ 2 的置信度为 0.95 的置信区间 ; (3) 计算标准差 σ 的置信度为 0.95 的置信区间. 解 (1) 用 X i 表示第 i 个样品的估算年代, 则根据题意, X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, 样本量 n = 19. 样本方差 S 2 = 1 (n 1) n (X j X n ) 2 j=1 是总体方差 σ 2 的无偏估计和强相合估计. 于是应当在 (n 1) 附近. (n 1)S 2 σ 2

189 7.4 正态总体的区间估计 183 又从定理 3.4 知道, χ 2 n 1 (n 1)S2 = χ 2 (n 1), σ 2 记 λ 1 = χ 2 1 α/2 (n 1), λ 2 = χ 2 α/2 (n 1), 则 (n ) 1)S2 P (λ 1 λ σ α. 对不等式进行变换得 (n } 1)S2 {λ 1 λ σ 2 2 = { (n 1)S 2 λ 2 σ 2 (n 1)S2 λ 1 } 所以在置信度 (1 α) 下, σ 2 的置信区间是 [ (n 1)S 2 λ 2, (2) 本例中 n 1 = 18, α/2 = (n 1)S 2 λ 1 ]. (4.9) 可以计算出 X n = 276.9, S 2 = 查 χ 2 (18) 表得到 λ 2 = χ (18) = 31.53, λ 1 = χ (18) = 将上述数据代入 (4.9), 得到 σ 2 的置信度为 0.95 的置信区间 [ , ] 8.23 =[418.7, ] ( 百万年 ) 2. (3) 由于 { (n 1)S 2 σ χ 2 α/2 (n 1) { (n 1)S 2 = χ 2 α/2 (n 1) σ2 (n 1)S 2 } χ 2 1 α/2 (n 1) (n } 1)S2 χ 2 1 α/2 (n 1). (4.10) 所以 σ 的置信度为 0.95 的置信区间是 [ (n 1)S 2 χ 2 α/2 (n 1), (n 1)S 2 χ 2 1 α/2 (n 1) ]. (4.11)

190 184 第七章参数估计代入数值后得到 σ 的置信度为 0.95 的置信区间是 [ 418.7, 1604] = [20.5, 40.05] ( 百万年 ). 注 : 从图 4.1 看出, 在置信水平 0.95 下, 置信区间 (4.9) 的长度不是最短的一个, 但是它有计算和使用方便的优点均值差 µ 1 µ 2 的置信区间均值差 µ 1 µ 2 的置信区间设 X N(µ 1, σ1) 2, Y N(µ 2, σ2). 2 X 1, X 2,, X n 是来自 X 的样本, Y 1, Y 2,, Y m 是来自 Y 的样本, 设总体 X 和总体 Y 独立, 于是 X 1, X 2,, X n, Y 1, Y 2,, Y m 相互独立. 下面构造 µ 1 µ 2 置信区间. 用 Xn, Ȳm 分别表示样本均值, 用 S1, 2 S2 2 分别表示样本方差, 则 X n Ȳm N(µ 1 µ 2, σ 2 1/n + σ 2 2/m). 于是得到 Z = ( X n Ȳm) (µ 1 µ 2 ) σ 2 1 /n + σ 2 2/m N(0, 1). (4.12) (1) 置信区间 (2) 已知 σ 2 1, σ 2 2 时, 对置信度 (1 α), 利用 (4.12) 构造出 µ 1 µ 2 的 [ ( X n Ȳm) z α/2 σ 2 1 n + σ2 2 m, ( X n Ȳm) + z α/2 σ 2 1 n + σ2 2 m 未知 σ1, 2 σ2, 2 但是已知 σ1 2 = σ2 2 = σ 2 时, 由 ξ 1 = (n 1)S2 1 = 1 n (X σ 2 σ 2 j X n ) 2 χ 2 (n 1); ξ 2 = (m 1)S2 2 σ 2 = 1 σ 2 及 ξ 1, ξ 2 独立 j=1 ]. (4.13) m (Y j Ȳm) 2 χ 2 (m 1), (4.14) j=1

191 7.4 正态总体的区间估计 185 得到 ξ 1 + ξ 2 χ 2 (n + m 2). 引入 SW 2 = (ξ 1 + ξ 2 )σ 2 n + m 2 = (n 1)S2 1 + (m 1)S2 2, (4.15) n + m 2 根据定理 3.4 知道 Z, ξ 1, ξ 2 独立, 再注意 σ1 2 = σ2 2 = σ 2 和利用定理 3.5 得到 ( X n Ȳm) (µ 1 µ 2 ) S W 1/n + 1/m Z = (ξ1 + ξ 2 )/(n + m 2) t(n + m 2). (4.16) 利用 (4.16) 构造出 µ 1 µ 2 的置信度为 (1 α) 的置信区间其中 t α/2 = t α/2 (n + m 2). [ ( X 1 n Ȳm) t α/2 S W n + 1 m, ( X n Ȳm) + t α/2 S W 1 n + 1 m ]. (4.17) 方差比 σ 2 1/σ 2 2 的置信区间方差比 σ 2 1/σ 2 2 的置信区间在 D 的假设下, 我们计算 σ 2 1/σ 2 2 的置信区间. 根据定理 3.4 和定理 3.7, 知道 F = S2 1/S 2 2 σ 2 1/σ 2 2 = S2 1/σ 2 1 S 2 2/σ 2 2 利用 F α 表示 F α (n 1, m 1), 得到 ( P F 1 α/2 S2 1/S2 2 σ1/σ F (n 1, m 1). F α/2 ) = 1 α. 于是在置信度 (1 α) 下, 可以得到 σ 2 1/σ 2 2 的置信区间 [ S 2 1 S 2 2F α/2, S 2 1 S 2 2F 1 α/2 ].

192 186 第七章参数估计单侧置信区间单侧置信区间定义 4.2 设 X 1, X 2,, X n 是来自总体 X 的样本, X = (X 1, X 2,, X n ), θ 是未知参数, θ = θ(x), θ = θ(x) 是两个统计量. 对于给定的 α (0, 1), 1. 如果有 P ( θ θ ) 1 α, (4.18) 就称 θ 为参数 θ 的置信度为 (1 α) 的单侧置信上限 ; 2. 如果有 P ( θ θ ) 1 α, (4.19) 就称 θ 为参数 θ 的置信度为 (1 α) 的单侧置信下限. 正态总体 µ 和 σ 2 的单侧置信限表条件 µ 的单侧置信上限 µ 的单侧置信下限已知 σ µ = X n + z α σ/ n µ = X n z α σ/ n 未知 σ µ = X n + t α (n 1)S/ n µ = X n t α (n 1)S/ n 条件 σ 2 的单侧置信上限 σ 2 的单侧置信下限未知 µ σ 2 = (n 1)S 2 /χ 2 1 α(n 1) σ 2 = (n 1)S 2 /χ 2 α(n 1) (4.20) 其他的单侧置信限可以类似得到, 见正态总体和正态逼近置信区间表. 7.5 非正态总体和比例 p 的置信区间正态逼近法正态逼近法 σ 已知总体分布不是正态分布的情况也需要对均值和方差计算置信区间. 设 X 1, X 2,, X n 是来自总体 X 的样本, µ = EX, σ 2 = Var(X) 分别是总体均值和总体方差.

193 7.5 非正态总体和比例 P 的置信区间 187 根据中心极限定理, 对较大的样本量 n, 近似服从标准正态分布. 对较大的 n, 有 X n µ σ/ n P ( X n µ z α/2 σ/ n ) (1 α). 于是, 已知标准差 σ 时, 对置信度 (1 α), 总体均值 µ 的近似置信区间仍然是 [ Xn z α/2σ n, Xn + z α/2σ n ]. 正态逼近法 σ 未知当 σ 未知时, 对较大的 n, S 是 σ 的强相合估计, 所以可以用 S 代替 σ. 根据例 3.1 近似成立. X n µ S/ n N(0, 1) 所以未知标准差 σ 时, 均值 µ 的置信度为 (1 α) 的近似置信区间是 [ Xn z α/2s n, Xn + z α/2s n ]. (5.1) n 越大, 近似的程度越好. 我们称以上方法为正态逼近法. 使用正态逼近法时, 一般的要求是 n 30. 例 5.1 研究年龄和血液中的各种成份之间的关系. 通过随机抽样调查了 30 个 30 岁健康公民的血小板数. 数据如下 ( 单位 : 万 /mm 3 ):

194 188 第七章参数估计用 µ 表示 30 岁健康公民的血小板数的总体均值. 对于置信度 (1 α) = 0.95, 计算 µ 的置信区间. 解可以认为被选到的个体的血小板数是独立同分布的. 经过计算得到 X n = 22.7, S = 代入 (5.1) 得到置信度 0.95 下, µ 的近似置信区间 [ / 30, / ] 30 =[25.75, 29.65] 比例 p 的置信区间比例 p 的置信区间例 5.2 设 X 1, X 2,, X n 是来自两点分布总体 B(1, p) 的样本, 对置信度 (1 α), 当 n 较大 ( 至少使得 5 < nˆp < n 5), p 的近似置信区间是其中证明略 [ b b2 4ac, 2a b + b 2 4ac 2a a = 1 + z2 α/2 n, b = 2 X n + z2 α/2 n, c = X 2 n. 当 n 更大, 更简单一些的近似置信区间是 [ Xn (1 Xn z X n ) Xn (1 α/2, Xn + z X n ) α/2 n n (5.3) 式是由于 X n p Xn (1 X n )/n d N(0, 1) ], (5.2) ]. (5.3) 估计 p 所需的样本量例 5.3 给定置信度 (1 α), 要使得置信区间 (5.2) 或 (5.3) 的长度不超过 d, 只要取样本量 n ( zα/2 取 (1 α) = 0.95 时, 可以列出和 d 对应的 n 如下. d ) 2. (5.7) d = n = (5.8) 证明略

195 7.5 非正态总体和比例 P 的置信区间 189 例 5.4 饮用水资源的匮乏限制了我国许多城市的经济发展. 为了节约用水, 城市甲准备对自来水提价. 现在需要对每吨水提价 0.5 元还是 0.8 元进行随机抽样调查, 为的是即达到节水的目的, 又不影响百姓的日常生活. (1) 用 p 表示赞同提价 0.5 元的人口比例, 为了得到 p 的置信度为 (1 α) = 0.95 的置信区间, 且置信区间长度不超过 0.04, 应当随机抽样调查多少人? (2) 如果随机抽样调查的 n = 2500 个人中有 1668 个人同意提价 0.5 元, 计算 p 的置信度为 0.95 的置信区间, (3) 计算 (2) 中置信区间的长度. 解 (1) d = 0.04, α = 从 (5.8) 知道至少应当调查 2401 个人. (2) 2500 个人中有 1668 个人同意提价 0.5 元时, 可以计算出 X n = = , n = 2500, z α/2 = 由于样本量已经较大, Xn 偏离 0.5 又不远, 我们使用简单一些的置信区间 (5.3). 将上面的数代入 (5.3), 得到 p 的置信度为 0.95 的置信区间 [ Xn z α/2 Xn (1 X n )/n, Xn + z α/2 Xn (1 X n )/n ] =[0.6487, ]. 于是, 我们以 95/% 的把握保证, 赞同提价 0.5 元的人口比例在 64/% 至 69/% 之间. (3) 置信区间的长度是

196 190 第七章参数估计

197 第八章假设检验 8.1 假设检验的概念假设检验引入假设检验是统计推断的一个主要部分. 其想法和前面的最大似然类似 : 如果实际观测到得到数据在某假设下不太可能出现则认为该假设错误例 1.1 一条新建的南北交通干线全长 10 公里. 公路穿过一个隧道 ( 长度忽略不计 ), 隧道南面 3.5 公里, 北面 6.5 公里. 在刚刚通车的一个月中, 隧道南发生了 3 起交通事故, 而隧道北没有发生交通事故, 能否认为隧道南的路面更容易发生交通事故? 解隧道将公路分为两段, 隧道南 3.5 公里, 隧道北 6.5 公里. 用 p 表示一起交通事故发生在隧道南的概率, 则 p = 0.35 表示隧道南北的路面发生交通事故的可能性相同. p > 0.35 表示后隧道南的路面发生交通事故的概率比隧道北的路面发生交通事故的概率大. 为了作出正确的判断, 先作一个假设 H 0 : p = 我们称 H 0 是原假设或零假设. 再作一个备择假设 H 1 : p > 在本问题中, 如果判定 H 0 不对, 就应当承认 H 1. 三起交通事故的发生是相互独立的, 他们之间没有联系. 191

198 192 第八章假设检验如果 H 0 为真, 则每一起事故发生在隧道南的概率都是 0.35, 于是这三起交通事故都发生在隧道南的概率是 P = 这是一个很小的概率, 一般不容易发生. 所以我们否定 H 0, 认为隧道南的路面发生交通事故的概率比隧道北大. 做出以上结论也有可能犯错误, 犯错误的概率正是这是因为当隧道南北的路面发生交通事故的概率相同, 而 3 起交通事故又都出现在隧道南时, 我们才犯错误. 这一概率正是 P = 于是, 我们判断正确的概率是 = 95.7%( 在多次解决类似问题意义下 ). 通过对例 1.1 的分析, 我们得到以下的概念. 进行假设检验时, 根据问题的背景, 先作出原假设 H 0 : p = 0.35, 及其备择假设 H 1 : p > 然后在 H 0 的下, 计算出观测数据出现的概率 P. 如果 P 很小 ( 一般用 0.05 衡量 ), 就应当否定 H 0, 承认 H 1 ; 如果 P 不是很小, 也不必急于承认 H 0, 这是因为证据往往还不够充分. 如果继续得到的观测数据还不能使得 P 降低下来, 再承认 H 0 不迟. 为了简便, 我们把以上的原假设和备择假设记作 H 0 : p = 0.35 vs H 1 : p > 其中的 vs 是 versus 的缩写.

199 8.1 假设检验的概念 193 假设检验的一般提法一般来讲, 设 X 1, X 2,, X n 是来自总体 X 的样本, θ 是总体 X 的未知参数, 但是已知 θ Θ 0 + Θ 1. 这里 Θ 是 θ 的大写, Θ 0, Θ 1 是互不相交的参数集合. 对于假设 H 0 : θ Θ 0 vs H 1 : θ Θ 1 的检验法 W ( 我们用 W 表示这个检验法 ), 如果否定 H 0 时犯错误的概率不超过 α, 就称 W 是检验水平为 α 的检验, 称 α 是检验法 W 的检验水平. 检验法 W 可以被事件 W 完全确定, 事件 W 发生时拒绝 H 0, 称 W 为拒绝域定义 1.1 设 α 是 (0, 1) 中的常数. 如果对一切的 θ Θ 0, 有 P θ (W ) α, 就称拒绝域 W 的检验水平或显著性水平是 α. 假设检验的两类错误在解决假设检验的问题时, 无论作出否定还是接受原假设 H 0 的决定, 都有可能犯错误. 我们称否定 H 0 时犯的错误为第一类错误, 接受 H 0 时犯的错误为第二类错误. 检验结果 H 0 H 1 真实 H 0 正确第 I 类错误情况 H 1 第 II 类错误正确假设检验一般控制第一类错误在检验水平 α 以下, 所以否定 H 0 时结论比较可靠如果承认 H 0, 可能犯第二类错误, 错误概率可能会比较大在正确的统计推断前提下, 犯错误的原因总是随机因素造成的. 要有效减少犯错误的概率, 只好增加观测数据, 或在可能的情况下提高数据的质量, 这相当于降低数据的样本方差.

200 194 第八章假设检验在例 1.1 中, 如果第一起交通事故发生后, 就断定隧道南更容易发生交通事故, 犯第一类错误的概率是当第二起交通事故发生后, 断定隧道南更容易发生交通事故, 犯第一类错误的概率是 = 当第三起交通事故发生后, 断定隧道南更容易发生交通事故, 犯第一类错误的概率是 = 如果第四起交通事故又发生在隧道南, 否定 p = 0.35 时犯第一类错误的概率是 = 例 1.2: 第一类错误与第二类错误的比较一个有 20 多年教龄的教师声称他上课从来不点名. 如何判定他讲的话是真实的? 为了解决这个问题, 我们也做一个原假设 H 0 : 他没有点过名, 然后再调查 H 0 是否为真. 当调查了他教过的 3 个班, 都说他没有点过名, 这时如果承认 H 0, 犯错误的概率还是较大的. 当调查了他教过的 10 个班, 都说他没有点过名, 这时承认 H 0 犯错误的概率会明显减少. 如果调查了他教过的 30 个班, 都说他没有点过名, 这时承认 H 0 犯错误的概率就会很小了. 可惜调查 30 个班是很难做到的. 反过来, 在调查中只要有人证实这位老师点过名, 就可以否定 H 0 了 ( 不论调查了几个班 ), 并且这样做犯错误的概率很小. 例 1.2 告诉我们, 要否定原假设 H 0 是比较简单的, 只要观测到了 H 0 下小概率事件就可以要承认 H 0 就比较费力了 : 必须有足够多的证据 ( 样本量 ), 才能够以较大的概率保证 H 0 的真实. 在这个例子中还有一个现象值得注意 : 当调查 10 个班发现都没有点过名就承认 H 0 时, 即使判断失误, 造成的后果也不严重. 因为数据已经说明这位老师不爱点名.

201 8.2 正态均值的假设检验正态均值的假设检验已知 σ 时, µ 的正态检验法已知 σ 时, µ 的正态检验法例 2.1 例 2.1 一台方差是 0.8 克的自动包装机在流水线上包装净重 500 克的袋装白糖. 现在随机抽取了该包装机包装的 9 袋白糖, 测得净重如下 ( 单位 : 克 ) 能否认为包装机在正常工作? 分析 : 抽查的 9 袋白糖中有 7 袋净重少于 500 克, 似乎已经说明 µ 0 = 500 不对. 但是, 由于包装机的方差是 0.8 克, 所以也有可能是由于包装机的随机误差导致了以上的数据. 下面的分析说明, 由于随机误差导致上述观测数据的概率不超过解我们将包装机包装的袋装白糖的净重视为总体 X, 则 X N(µ, σ 2 ), 其中 σ 2 = 0.8 已知,µ 未知. 用 X j 表示第 j 袋白糖的净重, 则 X 1, X 2,, X 9 是来自总体 X 的 n = 9 个样本. 设 µ 0 = 500, 作假设 H 0 : µ = µ 0 vs H 1 : µ µ 0. 在 H 0 下, Z = X n µ 0 σ/ 9 N(0, 1). Z 取值应当与 0 差距不大. 当 Z 取值较大时, 要否定 H 0. 对于标准正态分布的上 α/2 分位数 z α/2, 在 H 0 下, P ( Z z α/2 ) = α, 如果取 α = 0.05, 则 z α/2 = 1.96, P ( Z 1.96) = 0.05.

202 196 第八章假设检验当 Z 1.96 时, 不该发生的小概率事件发生了, 于是否定原假设 H 0. 本例中 Xn = , Z = = 1.97 > 1.96, 0.8/9 所以应当否定 H 0, 认为包装机没有正常工作. 在例 2.1 中, 称 α 为检验的显著性水平, 简称为显著性水平, 检验水平, 或水平 (level); 称 Z 为检验统计量 ; 称 { Z z α/2 } 为检验的拒绝域或否定域 ; 如果 { Z z α/2 } 发生, 就称检验是显著的. 这时否定 H 0, 犯第一类错误的概率不超过 α; 检验水平就是犯第一类错误的概率. 值得注意, 拒绝域 { Z z α/2 } 是一个事件, 它的发生与否由 Z, 从而由观测样本 X 1, X 2,, X n 决定. 已知 σ 时, µ 的正态检验法如果 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, σ 已知时, 的显著性水平为 α 的拒绝域是 H 0 : µ = µ 0 vs H 1 : µ µ 0 W = { Z z α/2 }, 其中 Z = X n µ 0 σ/ n. (2.1) 如果 Z z α/2 发生, 就称检验是显著的, 表示结论和假设有显著性差异. 这时, 否定 H 0 犯错误的概率不超过 α. 特别当 α = 0.05, z α/2 = 由于这种检验方法是基于正态分布的方法, 所以又称为正态检验法或 Z 检验法.

203 8.2 正态均值的假设检验 197 在例 2.1 中, 如果取检验水平 α = 0.04, 则临界值 z α/2 = z 0.02 = ( 查附录 C1( 续 )). 这时 Z = 1.97 < 2.054, 不能否定 H 0. 说明在不同的检验水平下可以得到不同的检验结果. 降低犯第一类错误的概率, 就会使得拒绝域减小 : } { Z > z 0.04/2 { Z > z 0.05/2 }. 从而拒绝 H 0 的机会变小, 接受 H 0 的机会变大 p 值检验法 p 值检验法在例 2.1 中, 已知样本标准差 σ = 0.8, 从实际数据计算得到 z = 如果把拒绝域取成 W = { Z 1.97} 则刚刚能够拒绝 H 0. 这时犯第一类错误的概率是 P = P ( Z 1.97) = 2[1 Φ(1.97)] = 我们称 P = 是检验的 P 值 (P value). P 值越小, 数据提供的否定 H 0 的证据越充分. p 值是在 H 0 成立的假设下观测到的样本倾向于 H 1 的概率如果检验的显著性水平 α 是事先给定的, 当 P 值小于等于 α, 就要否定 H 0. 检验法 (2.1) 的 P 值是 P = P ( Z z ) = 2Φ( z ), 其中 z = x n µ 0 σ/ n.

204 198 第八章假设检验未知 σ 时, 均值 µ 的 t 检验法未知 σ 时, 均值 µ 的 t 检验法例 2.2 例 2.2 在例 2.1 中如果 9 个袋装白糖的样品是从超级市场仓库中随机抽样得到的, 能否认为这批 500 克袋装白糖的平均重量是 500 克? 解 σ 未知, 需要寻找其他的方法. 对 µ 0 = 500 克, 仍作假设 H 0 : µ = µ 0 vs H 1 : µ µ 0. 在标准差 σ 未知时, 可用样本标准差 S = 1 n (X j n 1 X n ) 2 代替 σ. j=1 在 H 0 下, 从 7.3 的定理 3.6 知道检验统计量 T = X n µ 0 S/ n t(n 1). 说明 T 在 0 附近取值是正常的, 如果 T 取值较大就应当拒绝 H 0. 根据分位数 t α/2 (n 1) 的性质, 有 P ( T t α/2 (n 1)) = α. 于是 H 0 的显著性水平为 α 的拒绝域是 { T tα/2 (n 1) }, T = X n µ 0 S/ n. (2.2) 现在 µ 0 = 500. 取 α = 0.05, 查表得到 t 0.05/2 (8) = t (8) = 经过计算得到 Xn = , S = 0.676, T = X n µ 0 S/ = > n T 大于临界值 2.306, 所以应当否定 H 0, 认为 µ 在本例中, Xn = < 500, 所以认为供应的白糖是缺斤少两的. 作出以上判断也有可能犯错误, 但是犯错误的概率不超过 α = 0.05.

205 8.2 正态均值的假设检验 199 我们将例 2.2 中的方法总结如下 : 如果 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, σ 未知时, 的显著性水平为 α 的拒绝域是 H 0 : µ = µ 0 vs H 1 : µ µ 0 { T tα/2 (n 1) }, 其中 T = X n µ 0 S/ n. (2.3) 如果 T t α/2 (n 1) 发生, 就称检验是显著的, 这时否定 H 0 犯错误的概率不超过 α. 由于这种检验方法是基于 t 分布的方法, 所以又称为 t 检验法. 设 T 统计量的计算结果为 a, 则检验法 (2.3) 的 P 值为 ( ) P =P T n 1 a ( ) =2P T n 1 a, 其中 T n 1 t(n 1). 其中的 x n, s 分别是实际计算出的样本均值, 样本标准差未知 σ 时, µ 的单边检验法未知 σ 时, µ 的单边检验法例 2.3 例 2.1 和例 2.2 中都是检验 H 0 : µ = µ 0 vs H 1 : µ µ 0, 当 Xn 比 µ 0 大许多或小许多时, 都应当否定原假设 H 0, 所以这种检验问题又被称为双边检验. 下面是单边检验问题例 2.3 在例 2.2 中, 抽查的 9 袋白糖的平均重量 X = 就可以引起我们的怀疑. 这批袋装白糖的平均重量是否不足呢? 解为了解决这个问题, 我们作原假设 H 0 : µ 500 vs H 1 : µ < 500. 如果否定了 H 0, 就认定这批袋装白糖的份量不足. 由于在 H 0 下, 只知道总体均值 µ 500, 不知道 µ 的具体值, 所以 T = X n 500 S/ n

206 200 第八章假设检验的分布是未知的. 但是这时有 T = X n 500 S/ n T 0 = X n µ S/ t(n 1). n 所以 T 取值较小时应当否定 H 0. 因为 P ( T t α (n 1) ) P ( T 0 t α (n 1) ) = α, 所以, 当 T t α (n 1), 应当否定 H 0, 这时犯第一类错误的概率不超过 α. 在本例中, 查表得到 t 0.05 (8) = 1.86, T = < 1.86, 所以应当否定 H 0. 认定这批袋装白糖的分量不足时, 犯错误的概率不超过例 2.3 中, 以 {T 2.609} 为检验的拒绝域时, 刚刚可以拒绝 H 0. 所以检验的 P 值是 P = P (T ) = 分析例 2.1 和 2.3 的问题背景就会看出, 在例 2.1 中应当作双边检验 H 0 : µ = 500 vs H 1 : µ 500. 因为多装和少装白糖都是不符合生产标准的. 在例 2.3 中只需要作单边检验 H 0 : µ 500 vs H 1 : µ < 500, 因为超市只需要知道袋装白糖不缺斤少两就够了. 未知 σ 时, µ 的单边检验法我们将例 2.3 中的方法总结如下 : 如果 X 1, X 2,, X n 是来自总体 N(µ, σ 2 ) 的样本, σ 未知时, 的水平为 α 的拒绝域是 H 0 : µ µ 0 vs H 1 : µ < µ 0 { T tα (n 1) }, 其中 T = X n µ 0 S/ n. (2.4) 如果 T t α (n 1) 发生, 就称检验是显著的, 这时否定 H 0 犯错误的概率不超过 α.

207 8.2 正态均值的假设检验 201 检验的 P 值是 ( P = P T n 1 x n µ 0 s/ n ), 其中 T n 1 t(n 1). (2.5) 同理, 对于来自总体 N(µ, σ 2 ) 的样本 X 1, X 2,, X n, σ 未知时, 在检验水平 α 下, 假设 H 0 : µ µ 0 vs H 1 : µ > µ 0 的拒绝域是 { T tα (n 1) }, 其中 T = X n µ 0 S/ n. (2.6) 如果 T t α (n 1) 发生, 就称检验是显著的, 这时否定 H 0 犯错误的概率不超过 α. 检验的 P 值是 ( P = P T n 1 x n µ 0 s/ n ), 其中 T n 1 t(n 1). 以上两种检验方法也称为 t 检验法. 例 2.4 糕点厂经理为判断牛奶供应商所供应的鲜牛奶是否被兑水, 对它供应的牛奶进行了随机抽样检查. 测得 12 个鲜牛奶样品的冰点如下, 已知天然牛奶的冰点是摄氏度. 问牛奶是否被兑水. 解设 n = 12. 用 X i 表示第 i 个样品的冰点, 则 X 1, X 2,, X n 是来自正态总体 N(µ, σ 2 ) 的样本, 参数 µ, σ 未知. 如果牛奶没有被兑水, 则 µ = 根据测量的数据可以计算出样本均值 Xn = , 样本方差 S = 由于水的冰点是 0 摄氏度, 所以兑水牛奶的冰点将会提高. 现在 Xn > 0.545, 于是有理由怀疑牛奶被兑水.

208 202 第八章假设检验为了判定牛奶被兑水, 就要看牛奶没被对兑水时, Xn = , S = 发生的概率有多大. 设 µ 0 = 0.545, 作假设 H 0 : µ µ 0 ( 没兑水 ) vs H 1 : µ > µ 0 ( 兑水 ). 如果否定了 H 0, 就判定牛奶被兑水. 现在查 t(11) 表得到 t 0.05 (11) = T = X n µ 0 S/ n = 由于 T > 1.796, 检验是显著的, 所以否定 H 0, 认为牛奶被兑水. 判断牛奶被兑水, 犯错误的概率不超过检验水平 α = 本例中检验的 P 值是 P = P (T ) 正态近似法正态近似法设总体 X 分布未知,X 的期望和方差 µ 和 σ 2 未知希望检验 H 0 : µ = µ 0 vs H 1 : µ µ 0 对 X 的样本 X 1, X 2,..., X n, 如果 n 充分大, 则根据 H 0 下可构造水平 α 的否定域类似地, 对 Z = X n µ 0 S/ n d N(0, 1) W = { Z > z α/2 } H 0 : µ µ 0 vs H 1 : µ > µ 0 检验的否定域为 W = {Z > z α } 对 H 0 : µ µ 0 vs H 1 : µ < µ 0 检验的否定域为 W = {Z < z α }

209 8.3 样本量的选择 203 比例的近似假设检验双边设总体 X b(1, p), 样本 X 1, X 2,..., X n, 则 Xn 是比例 p 的估计, 记为 ˆp 对检验 H 0 : p = p 0 vs H 1 : p p 0 在 H 0 成立时 Z = ˆp p 0 p0 (1 p 0 )/n d N(0, 1) n 充分大时可用否定域 W = { Z > z α/2 } 比例的近似假设检验单边对单边检验 H 0 : p p 0 vs H 1 : p > p 0 由上面的正态近似法, 当 p = p 0 时 Z = ˆp p 0 ˆp(1 ˆp)/n d N(0, 1) n 充分大时可用否定域 W = {Z > z α } 对左侧单边检验否定域则为 W = {Z < z α } 8.3 样本量的选择功效函数对检验 H 0 : θ Θ 0 vs H 1 : θ Θ 1 设 W 为 α 水平的检验法, 定义 P θ (W ) = 真实参数为 θ 时否定 H 0 的概率为检验法 W 的功效函数

210 204 第八章假设检验当 H 0 成立时,P θ (W ) 是第一类错误概率当 H 1 成立是,P θ (W ) 是 1 减去第二类错误概率, 称为检验的功效检验法控制 P θ (W ) α, θ Θ 0 给定水平后功效越高检验法越好, 但是在 Θ 0 和 Θ 1 交界的地方功效可以只有 α, 即第二类错误概率可以很高在 Θ 0 和 Θ 1 交界的地方第二类错误概率大是可以容忍的功效函数的例子考虑正态总体 σ 2 已知时检验 H 0 : µ µ 0 vs H 1 : µ > µ 0 否定域为功效函数 W = { } Xn µ 0 σ/ n > z α P µ (W ) = P (Z + µ µ 0 σ/ n > z α) Power function Power n=5 n=15 α µ 8.4 均值比较的检验独立两总体比较抽样分布设 X N(µ 1, σ1) 2, Y N(µ 2, σ2). 2 X 1, X 2,, X n 是来自 X 的样本, Y 1, Y 2,, Y m 是来自 Y 的样本, 考虑有关 µ 1 和 µ 2 的比较的假设检验问题.

211 8.4 均值比较的检验 205 以下设总体 X 和总体 Y 独立, 于是 X 1, X 2,, X n, Y 1, Y 2,, Y m 相互独立. 用 Xn, Ȳm 分别表示 X, Y 的样本均值, 用 S1, 2 S2 2 分别表示 X, Y 的样本方差, 由 7.4 (4.12) 知 Z = ( X n Ȳm) (µ 1 µ 2 ) σ 2 1 /n + σ 2 2/m N(0, 1). (4.1) 当未知 σ 2 1, σ 2 2, 但已知 σ 2 1 = σ 2 2 时, 设 σ 2 = σ 2 1, 由 7.4 的 (4.16) 得其中 T 0 = ( X n Ȳm) (µ 1 µ 2 ) S W 1/n + 1/m t(n + m 2). (4.4) 已知 σ 2 1, σ 2 2 时, µ 1, µ 2 的检验已知 σ 2 1, σ 2 2 时, µ 1, µ 2 的检验例 4.1 SW 2 = (n 1)S2 1 + (m 1)S2 2, (4.3) n + m 2 甲乙两公司都生产 700MB( 兆字节 ) 的光盘, 从甲的产品中抽查了 7 张光盘, 从乙生产的产品中抽查了 9 张光盘. 分别测得他们的储量如下 X( 甲 ) Y ( 乙 ) 现在已知甲的光盘储量 X N(µ 1, 2), 乙的光盘储量 Y N(µ 2, 3). 在显著性水平 α = 0.05 下, 甲乙两家光盘的平均储量有无显著性差异? 计算检验的 P 值. 解 n = 7, m = 9, σ 2 1 = 2, σ 2 2 = 3. 作假设设 Z 由 (4.1) 定义, 在 H 0 下, H 0 : µ 1 = µ 2 vs H 1 : µ 1 µ 2. (4.5) ξ = ( X n Ȳm) N(0, 1). (4.6) σ 2 1 /n + σ2/m 2

212 206 第八章假设检验 P ( ξ 1.96) = H 0 的水平 0.05 拒绝域是 W = { ξ 1.96 }. (4.7) 经过计算得到 Xn = , Ȳ m = , ξ = /7 + 3/9 = > 可以在水平 0.05 下认为这两家光盘的平均储量有显著差异. 检验的 P 值是 P = P ( Z ) = 2P (Z > ) = 例 4.2 在例 4.1 中, 能否在检验水平 0.02 下认为甲光盘的平均储量大于乙光盘的平均储量? 计算检验的 P 值. 解由于 Xn = > Ȳm = , 所以初看起来 µ 1 > µ 2. 作假设 H 0 : µ 1 µ 2 vs H 1 : µ 1 > µ 2. (4.8) 在 H 0 下, Xn Ȳm 应当比较小, ξ 取值较大时应当否定 H 0. 查表 C1( 续 ) 知道 z 0.02 = 所以 H 0 的水平 0.02 拒绝域是 W = {ξ > 2.054}. 现在 ξ = > 2.054, 所以可以在水平 0.02 下认为甲光盘的平均储量大于乙光盘的平均储量. 检验的 P 值是 P = P (Z > ) = 在例 4.2 中, 由于 P 值小于 0.02, 所以在水平 0.05 下, 更能否定 H 0 : µ 1 µ 2. 分析例 4.1 和例 4.2 看出 : 由于 z α/2 > z α, 所以对双边假设能够否定 H 0 : µ 1 = µ 2 时, 在相同的检验水平下, 只要 Xn > Ȳm, 对单边假设更能够否定 H 0 : µ 1 < µ 2.

213 8.4 均值比较的检验未知 σ1, 2 σ2, 2 但已知 σ1 2 = σ2 2 时, µ 1 µ 2 的检验未知 σ1, 2 σ2, 2 但已知 σ1 2 = σ2 2 时, µ 1 µ 2 的检验例 4.3 甲乙两公司用同型号的组装线分别生产自己的 128MB( 兆字节 ) 闪盘, 从甲的产品中抽查了 7 只, 从乙生产的产品中抽查了 8 只闪盘. 分别测得他们的储量如下 X( 甲 ) Y ( 乙 ) 设甲的闪盘储量和乙的闪盘储量都服从正态分布, 且有相同的标准差. (1) 在显著性水平 α = 0.05 下, 这两家光盘的平均储量有无显著差异, (2) 在显著性水平 α = 0.1 下, 这两家光盘的平均储量有无显著差异, (3) 在显著性水平 α = 0.05 下, 能否认为 EX > EY. 解设 µ 1 = EX, µ 2 = EY, n = 7, m = 8. (1) 作假设 H 0 : µ 1 = µ 2 vs H 1 : µ 1 µ 2. (4.9) 在 H 0 下, 由 (4.4) 知道 T = X n Ȳm S W 1/n + 1/m t(n + m 2), (4.10) 于是 P ( T t 0.05/2 (13)) = 查 t 分布表得到 t 0.05/2 (13) = 2.16, 于是 H 0 的水平 0.05 拒绝域是 W = { T 2.16}. (4.11) 经过计算得到 X n = 125.9, Ȳ m = 125.0, S1 2 = , S2 2 = SW 2 = ,

214 208 第八章假设检验最后得到 T = S W 1/7 + 1/8 = < 所以不能在水平 0.05 下认为这两家闪盘的平均储量有显著性差异. (2) 由于 n, m 都较小, T 的值又比较大, 我们还不情愿接受 H 0. 查 t 分布表, 得到 t 0.1/2 (13) = t 0.05 (13) = 根据 (4.10), 在 H 0 下 P ( T > 1.771) = 0.1. 现在 T = > 1.771, 所以我们可以在水平 0.1 下否定 H 0, 认为这两家闪盘的平均储量有显著性差异. (3) 因为 Xn = > Ȳm = 125.0, 所以可能有 µ 1 > µ 2. 作假设 H 0 : µ 1 µ 2 vs H 1 : µ 1 > µ 2. 设 T 0, T 分别在 (4.4) 和 (4.10) 中定义. 在 H 0 下, (µ 1 µ 2 ) 0, 故 T T 0 = ( X n Ȳm) (µ 1 µ 2 ) S W 1/n + 1/m t(n + m 2), P (T t 0.05 (13)) P (T 0 t 0.05 (13)) = 由于已得到 t 0.05 (13) = 于是得到 H 0 的水平 0.05 拒绝域是 W = {T 1.771}. 现在 T = > 1.771, 所以我们可以在水平 0.05 下否定 H 0. 认为甲光盘的平均储量比乙光盘的平均储量大. 从例 4.3 看出, 在相同的显箸性水平下, 和双边检验比较, 单边检验更易于得出否定 H 0 的结果成对数据的假设检验成对数据的假设检验例 4.4 在考古学中, 人们可以用碳 14 方法确定发掘物的年代.

215 8.4 均值比较的检验 209 这是由于不论何种动植物生长在何处, 由于新陈代谢的原因, 存活时其细胞组织中每一克碳内所含的碳 14 数目是相同的. 但是当动植物的生命停止后, 得不到补充的碳 14 衰变时能放出 β 粒子, 其半衰期约为 5730 年. 即大约经过 5730 年下降一半, 经年减少到 1/4 等. 依此类推, 就能根据动植物残骸中碳 14 的含量来确定其停止呼吸的时间. 现在考古学家们在某建筑工地陆续发掘出了已经碳化了的谷物种子的 12 个样品, X,Y 两个考古单位分别对这 12 个样品用碳 14 方法进行了年代测定 ( 单位 : 万年 ), 结果如下. X Y X Y (1) 在检验水平 0.05 下, 这两家的测量年代有无明显的差异? (2) 认为有明显差异时犯错误的概率是多少? 解用 X 1, X 2,, X 2 分别表示甲单位对第 1, 2,, 12 号样品的测定, 用 Y 1, Y 2,, Y 2 分别表示乙单位对第 1, 2,, 12 号样品的测定. 引入 Z 1 = X 1 Y 1, Z 2 = X 2 Y 2,, Z n = X n Y n. 设 Z = X Y N(µ, σ 2 ), Z 1, Z 2,..., Z n 是 Z 的样本我们要检验的是假设 H 0 : µ = 0 vs H 1 : µ 0. 问题已经转化成一个样本的 t 检验问题. H 0 的水平 0.05 拒绝域是由于 t 0.05/2 (11) = 2.201, W = { T t 0.05/2 (11)}, T = T = Z n S Z / n. Z n S z / = < n 所以不能否定 H 0, 即不能认为两单位的测定有明显的差异.

216 210 第八章假设检验 (2) 由于检验的 P 值为 P = P ( T 11 > ) = 2P (T 11 > ) = 0.512, 说明否定 H 0 的证据不足本例中, 如果采用方差相等的检验法 ( 当然, 理论上不合适 ), 也不能否定 H 未知 σ 2 1, σ 2 2 时, µ 1, µ 2 的检验未知 σ 2 1, σ 2 2 时, µ 1, µ 2 的检验未知 σ 2 1, σ 2 2 时, 对 η n = σ 2 1 /n + σ 2 2/m S 2 1 /n + S 2 2/m = σ σ 2 2(n/m) S S 2 2(n/m), 利用 S 2 1 σ 2 1, S 2 2 σ 2 2, wp1., 得到当 n/m 1, lim η n 1, wp1. n,m 于是利用 7.3 的定理 3.9, 在 H 0 下得到, 当 n/m 1, n 时, T = X n Ȳm S 2 1 /n + S 2 2/m = Xn Ȳm σ 2 1 /n + σ 2 2/m η n = Zη n d N(0, 1). 即当样本量 n, m 都较大时, T 近似服从 N(0, 1) 分布, 从而可以得到 H 0 : µ 1 = µ 2 vs H 1 : µ 1 µ 2 的检验法 W = { T > z α/2 }, 其中 T = X n Ȳm S 2 1 /n + S 2 2/m. 例 4.5 X, Y 两个渔场在初春放养相同的鳜鱼苗, 但是采用不同的方法喂养. 入冬时, 从第一渔场打捞出 59 条鳜鱼, 从第二渔场打捞出 41 条鳜鱼. 分别秤出他们的平均重量和样本标准差如下 ( 单位 :kg), X n = 0.59, S 1 = 0.2, Ȳ m = 0.62, S 2 = (1) 在显著性水平 0.05 下, 就鳜鱼的平均重量来讲, 两个渔场的养殖结果有无显著差异 ; (2) 计算检验的 P 值.

217 8.5 方差的假设检验 211 解对 n = 59, m = 41, 容易计算出 Z = X n Ȳm S 2 1 /n + S 2 2/m = 由于 Z < 1.96, 所以在水平 0.05 下不能否定 H 0 : EX = EY. 不能认为两个渔场的养殖结果有显著性差异. 检验的 P 值是 P = P ( Z > ) = 2[1 Φ(0.7164)] 否定 H 0 的证据不足 8.5 方差的假设检验方差的假设检验例 5.1 在例 4.5 中, 从第一渔场打捞出 59 条鳜鱼, 从第二渔场打捞出 41 条鳜鱼. 分别秤出他们的样本标准差如下 ( 单位 :kg) S 1 = 0.2, S 2 = 对 σ0 2 = , 在显著性水平 α = 0.05 下, 解决以下检验问题. (1) H 0 : σ1 2 = σ0 2 vs H 1 : σ1 2 σ0, 2 (2) H 0 : σ1 2 σ0 2 vs H 1 : σ1 2 > σ0, 2 (3) H 0 : σ1 2 σ2 2 vs H 1 : σ1 2 < σ2. 2 解设 X 1, X 2,, X n 是来自总体 N(µ 1, σ 2 1) 的样本, 则 ξ 1 = (n 1)S2 1 σ 2 1 χ 2 (n 1), n = 59. (1) 在 H 0 下 ξ = (n 1)S2 1 σ 2 0 χ 2 (n 1), n = 59. S1 2 是 σ0 2 的强相合估计, 所以 ξ 取值过大和过小都是拒绝 H 0 的依据. 用 χ 2 α(n 1) 表示 χ 2 (n 1) 的上 α 分位数, 则可以构造出假设 (1) 的水平 α 拒绝域 W 1 = {ξ χ 2 1 α/2(n 1)} {ξ χ 2 α/2(n 1)}. (5.1)

218 212 第八章假设检验这是因为在 H 0 下, 有 P (W 1 ) = P (ξ χ 2 1 α/2(n 1)) + P (ξ χ 2 α/2) = α 2 + α 2 = α. 本例中, 查表得到 χ 2 1 α/2 (58) = χ (58) = 38.84, χ 2 α/2 (58) = 80.94, 否定域是 W 1 = {ξ 38.84} {ξ 80.94}. 现在 ξ = 58S = / W 1. 所以在检验水平 0.05 下不能否定 H 0. 本检验是用 χ 2 分布完成的, 所以又称为 χ 2 检验. (2) 在 H 0 : σ 2 1 σ 2 0 下, σ 2 1 是真参数, ξ = (n 1)S2 1 σ 2 0 (n 1)S2 1 σ 2 1 = ξ 1 χ 2 (n 1). 对 σ 1 σ 0, 取 λ = χ 2 α(n 1), 则 P σ1 (ξ > λ) P σ1 (ξ 1 > λ) P σ1 (ξ > λ) α ξ 取值过大是拒绝 H 0 的依据, 于是得到 H 0 的水平 0.05 拒绝域现在 ξ = 71.6, 仍然不能否定 H 0. W 2 = {ξ χ (58)} = {ξ 76.78} 这个检验也是用 χ 2 分布完成的, 也称为 χ 2 检验. (3) 在 H 0 下, σ 2 1/σ 2 2 大于 1, 所以 F S 2 1/S 2 2 取值也应当较大, F 较小时应当拒绝 H 0. 由于总体 X 和 Y 独立, 所以利用 7.3 的定理 3.7 知道 F = S2 1 S 2 2 S2 1 S 2 2 σ2 2 σ 2 1 于是得到 H 0 的水平 α 否定域 = S2 1/σ 2 1 S 2 2/σ 2 2 W 3 = {F F 1 α (58, 40)}. F (n 1, m 1). 经过查表和计算得到 F (58, 40) = 1/F 0.05 (40, 58) = F = / = 所以不能在显著性水平 0.05 下否定 H 0.

219 8.6 比例的假设检验 213 我们还不能根据数据判定 X 的方差小于 Y 的方差. 这里的检验是用 F 分布进行的, 所以又称为 F 检验. 8.6 比例的假设检验小样本情况下的假设检验小样本单个比例的右侧检验设总体 X B(1, p), X 1, X 2,..., X n 是 X 的样本,p 0 (0, 1) 为已知常数单样本单边比例检验问题 H 0 : p p 0 H 1 : p > p 0 (6.1) 用统计量 ξ n = X 1 + X X n B(n, p), 取否定域为 W 1 = {ξ n B α (n, p 0 )} (6.2) 其中 B α (n, p 0 ) 是 B(n, p 0 ) 的上侧 α 分位数当 H 0 成立即 p p 0 时, 设 η 为 B(n, p 0 ) 随机变量, 则 P (W 1 ) = P (ξ n B α (n, p 0 )) P (η B α (n, p 0 )) α 于是, 对检验问题 (6.1), 给定检验水平 α, 设 n 个独立样本点中成功个数为 ξ n, 查二项分布上侧分位数表得 B α (n, p 0 ), 当 ξ n B α (n, p 0 ) 拒绝 H 0, 认为在检验水平 α 下成功概率 p 显著地高于 p 0 ; 否则, 认为在检验水平 α 下成功概率 p 不显著高于 p 0 小样本单个比例的左侧检验类似地, 对检验问题 H 0 : p p 0 H 1 : p < p 0 (6.3) 取拒绝域为 W 2 = {ξ n n B α (n, 1 p 0 )} (6.4)

220 214 第八章假设检验记 q = 1 p, q 0 = 1 p 0, 这时 ζ n = n ξ n B(n, q), 令 η B(n, q 0 ), 则 H 0 成立即 p p 0 时 q q 0, 有 P (W 2 ) =P (ξ n n B α (n, q 0 )) = P (ζ n B α (n, q 0 )) P ( η B α (n, q 0 )) α. 给定检验水平 α 后, 查二项分布上侧分位数表得 B α (n, 1 p 0 ), 当且仅当 ξ n n B α (n, 1 p 0 ) 时拒绝 H 0 小样本单个比例的双侧检验对检验问题 H 0 : p = p 0 H 1 : p p 0 (6.5) 取否定域为 W 3 = {ξ n n B α 2 (n, 1 p 0) 或 ξ n B α 2 (n, p 0)} (6.6) 二项分布上侧分位数定义设随机变量 X B(n, p) 若非负整数 λ {0, 1,..., n} 使得 P (X λ) α, P (X λ 1) > α (*) 则称 λ 为 B(n, p) 分布的上侧 α 分位数记作 B α (n, p) 实际上, 因为 n P (X m) = Cnp k k (1 p) n k, m = 0, 1,..., n k=m 是一个严格单调递减序列, 所以对任意 α (0, 1) 一定能找到唯一的 λ 满足 (*) 式简单而言可以用穷举法找到 B α (n, p) 的值

221 8.6 比例的假设检验 215 例 6.1 小区物业称业主满意率 p 80% 随机抽样调查 50 户, 有 33 户回答满意,ˆp = 30/50 = 66% 能否认为满意率真的 p 80%? 解答 : 如何选择单侧检验的方向? 数据中实际满意率是低于 p 0 = 0.8 的, 所以对立假设设为 p < 0.8, 这样零假设用 p 0.8 设 ξ n 是回答满意的户数, 否定域为 ξ n n B α (n, p 0 ). 取 α = 0.05,n = 50, ξ n = 33, 查表得 B 0.05 (50, 0.8) = 45 现在 ξ n = 成立, 拒绝 H 0, 在 0.05 水平下业主满意率显著地低于 80% 大样本情况下单个比例的假设检验大样本情况下单个比例的假设检验对单个比例 p, 设 ξ n 是 n 个独立抽样中成功的个数, 则 ξ n B(n, p), 当 n 很大时 ( 一般要求成功和失败个数都超过 5 个 ), 根据中心极限定理,ξ n 近似服从正态分布 N(np, np(1 p)) 令 ˆp = ξ n /n 为样本中成功比例则 η = ˆp p p(1 p)/n 近似服从标准正态分布当 n 很大时另一近似为 Z = ˆp p ˆp(1 ˆp)/n 近似服从标准正态分布

222 216 第八章假设检验双侧检验对双侧问题在 H 0 下 H 0 : p = p 0 H 1 : p p 0 ˆp p 0 p0 (1 p 0 )/n 近似服从标准正态分布给定检验水平 α, 取否定域为 { } ˆp p 0 W = p0 (1 p 0 )/n z α 2 (6.7) 右侧检验对右侧检验问题 H 0 : p p 0 H 1 : p > p 0 取否定域为 { } ˆp p 0 W = z α ˆp(1 ˆp)/n (6.8) 左侧检验对左侧检验问题 H 0 : p p 0 H 1 : p < p 0 取否定域为 { } ˆp p 0 W = z α ˆp(1 ˆp)/n (6.9) 这样的比例检验方法称为正态逼近法

223 8.6 比例的假设检验 217 例 6.2 收藏家一年中购入了 98 幅名画, 经鉴定其中 26 幅是赝品能否认为该收藏家的鉴定准确率大于等于 75%? 解答 : 准确率 p 的估计为 ˆp = (98 26)/98 = , 低于 75%, 所以取单侧检验的方向为 H 0 : p 0.75 H 1 : p < 0.75 用正态近似法, 取检验水平 α = 0.05, n = 98, 否定域为 { } ˆp 0.75 ˆp(1 ˆp)/n < 计算得 ˆp 0.75 ˆp(1 ˆp)/n = 未落入否定域, 在 0.05 水平下不能拒绝鉴定准确率大于等于 75% 的假设注意, 如果我们去假设的方向为右侧问题 H 0 : p 0.75 H 1 : p > 水平否定域为 { } ˆp 0.75 ˆp(1 ˆp)/n > 现在统计量 ˆp 0.75 ˆp(1 ˆp)/n = 也没有落入否定域, 在 0.05 水平下不能拒绝鉴定准确率小于等于 75% 的假设这是通常的假设检验方法的局限性 : 当不能拒绝 H 0 时, 最后的结论往往是不确定的

224 218 第八章假设检验大样本情况下两个总体比例的比较大样本情况下两个总体比例的比较设总体 X B(1, p 1 ), 总体 Y B(1, p 2 ) 与 X 独立设 X 1,..., X n 为来自 X 的样本,S 1 = X X n 为 n 个独立抽样的成功次数,ˆp 1 = S 1 /n 为成功比例 ; 设 Y 1,..., Y m 为来自 Y 的样本,S 2 = Y Y m 为 m 个独立抽样的成功次数,ˆp 2 = S 2 /m 为成功比例由中心极限定理, 当 n, m 都很大时近似有从而近似有 ˆp 1 ˆp 2 N ˆp 1 N(p 1, p 1 (1 p 1 )/n), ˆp 2 N(p 2, p 2 (1 p 2 )/m), ( p 1 p 2, 1 n p 1(1 p 1 ) + 1 ) m p 2(1 p 2 ) 实际使用时, 设两个样本中的成功和失败个数都在 5 个以上右侧检验对右侧检验问题取统计量 H 0 : p 1 p 2 H 1 : p 1 > p 2 ˆp 1 ˆp 2 ξ = 1 ˆp n 1(1 ˆp 1 ) + 1 ˆp m 2(1 ˆp 2 ) 当 p 1 = p 2 时且 n, m 都很大时 ξ 近似标准正态分布取水平 α 的否定域为 {ξ z α } 左侧检验对左侧检验问题 H 0 : p 1 p 2 H 1 : p 1 < p 2 取水平 α 的否定域为 {ξ z α }

225 8.6 比例的假设检验 219 双侧检验对双侧检验问题 H 0 : p 1 = p 2 H 1 : p 1 p 2 在 H 0 下设 p 1 = p 2 = p 0, 则近似地有 ( ˆp 1 ˆp 2 N 0, [ 1 n + 1 m ] ) p 0 (1 p 0 ) 其中 p 0 可以用 ˆp 0 = (S 1 + S 2 )/(n + m) 来估计取统计量 η = ˆp 1 ˆp 2 ( n m) ˆp0 (1 ˆp 0 ) 当 p 1 = p 2 时且 n, m 都很大时 η 近似标准正态分布取水平 α 的否定域为 { eta z α 2 } 以上的三个两总体比例比较方法也称为正态逼近法例 6.3 n = 1230 位男应届毕业生和 m = 1542 名女应届毕业生参加由政府组织的就业洽谈会结果有 251 名男生和 232 名女生求职成功假设除性别不同外学生表现没有其它方面的系统差异, 问此次招聘有无性别歧视解答 : 成立设男生成功率为 p 1, 女生成功率为 p 2, 问题是 p 1 = p 2 是否检验问题是 H 0 : p 1 = p 2 H 1 : p 1 p 2 样本量足够大, 可以用正态逼近法水平 0.05 否定域为 { η > 1.96}

226 220 第八章假设检验现在 n = 1230, m = 1542, ˆp 1 = 251/1230 = , ˆp 2 = 232/1542 = , ˆp 0 = ( )/( ) = 计算统计量值 ˆp 1 ˆp 2 η = ( n m) ˆp0 (1 ˆp 0 ) = ( 1 + ) = > ( ) 在 0.05 水平下否定 H 0, 认为招聘男女比例有显著差异, 可以认为有性别歧视, 而且是不利于女生例 6.4 在第六章例 5.3 中, 被实验组的 20 万儿童注射疫苗, 发病率为 ˆp 1 = , 对照组的 20 万儿童发病率为 ˆp 2 = 问 : 疫苗是否有效? 因为做出疫苗有效的结论是需要很慎重的, 所以我们取双侧检验 ( 这是医学中通常的做法 ) 样本足够大 H 0 : p 1 = p 2 H 1 : p 1 p 2 取检验水平 0.01, 否定域为 { η > 2.58} ˆp 0 = ( )/ = 统计量为 ˆp 1 ˆp 2 η = ( n m) ˆp0 (1 ˆp 0 ) = ( 1 + ) = ( ) η > 2.58, 在 0.01 水平下拒绝零假设, 认为处理组发病率与对照组发病率有显著差异, 疫苗有效可进一步计算检验 p 值为 P ( Z > ) = 2[1 Φ(6.311)] = 所以显著性差异的证据是很强的

227 8.7 总体分布的假设检验总体分布的假设检验总体分布的假设检验设 X 1, X 2,..., X n 是总体 X 的样本, 设 X 的分布函数 F (x) 未知, F 0 (x) 是一个已知的分布函数考虑假设检验问题 H 0 : F (x) F 0 (x) H 1 : F (x) F 0 (x) 这样的检验问题称为拟合优度检验离散分布情形设 F 0 代表了一个离散分布, 设 X 仅在 {a 1, a 2,..., a m } 中取值, 在 F 0 下 P (X = a j ) = p j, j = 1, 2,..., m 设 n 个样本点中 a j 出现的次数为 f j, 称为频数, 当 H 0 成立时,f j 应该与 np j 近似相等取统计量 m (f j np j ) 2 ξ = np j j=1 当 n 充分大时 ξ 在 H 0 下近似服从 χ 2 (m 1) 分布称 ξ 为拟合优度卡方统计量取水平 α 的拒绝域为 {ξ χ 2 α(m 1)} 推广 1 如果 F 0 是一类分布, 其中还包含 k 个未知参数, 可以用最大似然估计方法求得参数估计, 用估计的参数计算 F 0 下 p j = P (X = a j ) 的值仍计算统计量 ξ, 但取否定域为 {ξ χ 2 α(m k 1)} ( 卡方临界值的自由度等于组数减一再减未知参数个数 )

228 222 第八章假设检验推广 2 当 F 0 代表的离散分布有无穷多个取值, 或者取值个数有限但是有些组频数太小时 ( 一般要求频数超过 5), 可以把频数很小的类合并仍记 m 为合并后的组数, 这时 p j 为合并过后的第 j 组在 H 0 下的理论概率,f j 是合并过后第 j 组的频数仍有 m (f j np j ) 2 ξ = np j j=1 水平 α 的拒绝域为其中 k 是 F 0 中未知参数的个数 {ξ χ 2 α(m k 1)} 推广 3 连续分布情形如果 F 0 是一个连续型分布, 适当选择分点 b 0, b 1,..., b m, 构成区间 (b 0, b 1 ], (b 1, b 2 ],..., (b m 1, b m ] 把 X 的取值空间分成 m 个组, 设 f j 为第 j 组的频数, 令 p j = P (X (b j 1, b j ] H 0 ) = F 0 (b j ) F 0 (b j 1 ) 如果 F 0 中有未知参数, 计算 p j 时先获得参数的最大似然估计,F 0 ( ) 使用参数最大似然估计计算仍计算统计量 m (f j np j ) 2 ξ = np j j=1 否定域为其中 k 是 F 0 中未知参数的个数 {ξ χ 2 α(m k 1)}

229 8.7 总体分布的假设检验 223 例 7.1 在第二章例 2.2 中,1500 年至 1931 年的 n = 432 年中, 全世界发生了 299 次比较重要的战争用 X j 表示第 j 年发生的战争次数, 认为 X 1,..., X n 是来自泊松分布的样本估计泊松参数为 ˆλ = Xj /n = 0.69, 合并比较小的概率, 把总体 X 的取值分为 0, 1, 2, [3, ) 在 Poisson(0.69) 下计算 m = 4 个组分别的概率 p 1 =P (X = 0) = 0.502, p 2 = P (X = 1) = 0.346, p 3 =P (X = 2) = 0.119, p 4 = P (X 3) = 1 p 1 p 2 p 3 = 各组的频数为 (223, 142, 48, 19) 检验统计量为 ( )2 ( )2 ξ = ( )2 ( ) =2.346 水平 0.05 的否定域为 {ξ χ (4 1 1)} = {ξ 5.991}, ξ = 未落入否定域, 所以在 0.05 水平下可以认为样本来自泊松分布注意拟合优度检验承认 H 0 时可以承认总体服从 F 0 分布, 但是和其它检验承认 H 0 的问题类似, 如果 H 0 换成某个其它的已知分布 G 0, 也可能会获得承认例 7.2 在第六章例 3.1 中, 列出了某公共图书馆在一年中通过随机抽样调查得到了 60 天中每天的读者借书数, 能否认为这批数据是来自正态总体的样本?

230 224 第八章假设检验设总体分布是 N(µ, σ 2 ), 可以计算出 µ, σ 2 的最大似然估计分别是 ˆµ = X n = 403.5, ˆσ 2 = 1 n (X j ˆµ) 2 = n 数据的最小值是 213 > 200, 最大值是 584 < 600. 按照制作直方图的方法将将 (200, 600] 八等分. 计算出数据落入各段的频数为 (3, 2, 12, 14, 12, 11, 3, 3) 用最大似然估计作为正态分布参数计算各个组的取值概率 p i, i = 1, 2,..., m = 8 各组频数和理论概率列表如下 : 区间频数 f j 理论概率 p j (200, 250] (250, 300] (300, 350] (350, 400] (400, 450] (450, 500] (500, 550] (550, 600] 这里第 1 2 组和第 7 8 组都频数太小, 分别合并 j=1 合并后的 6 个组的频数和理论概率列表如下 : 区间频数 f j 理论概率 p j (200, 300] (300, 350] (350, 400] (400, 450] (450, 500] (500, 600] 计算检验统计量 6 (f j np j ) 2 ξ = = np j j=1

231 8.7 总体分布的假设检验 225 否定域为 {ξ χ (6 1 2)} = {ξ 7.815} 检验统计量未落入否定域, 在 0.05 水平下, 不拒绝样本来自正态分布的假设

232 226 第八章假设检验

233 第九章线性回归分析 9.1 数据的相关性二战初期, 德国对法国发动攻势后, 英国首相丘吉尔应法国的请求, 动用了十几个防空中队对德作战. 由于防空中队的飞机需要在欧洲大陆的机场进行维护, 使得空战中英国飞机损失严重. 这时, 法国总理请求英国继续增派十个中队的飞机, 丘吉尔决定同意这一要求. 英国内阁知道此事后, 请来统计学家利用线性回归模型对出动飞机与战损飞机的数据进行了统计分析, 发现如果飞机的补充率和损失率不变, 飞机数量的下降是非常快的 : 以现在的损失率损失两周, 英国在法国的飓风式战斗机就一架也不存在了. 内阁希望丘吉尔收回他的决定. 最后, 丘吉尔同意了内阁的要求, 并在几天内撤回了在法国的飓风式战机, 只留下了三个中队, 为以后英国本土的保卫战保留了实力 ( 读者 ). 线性回归方法是统计学中的常用方法, 是处理变量之间线性关系的重要方法. 数据的相关性例在实际问题中, 我们经常遇到有相关关系的变量. 比如讲身高与体重的关系时, 虽然身高不能确定体重, 但总的来讲, 身越高, 体越重. 227

234 228 第九章线性回归分析在考虑某一个特定地区居民的身高和体重的关系时, 用 x 表示身高, 用 y 表示体重, 总体来讲, y 随着 x 增大一般也会增大. 这时我们称 y 和 x 有相关关系. 例 1.1 一位社会学家对他所在城市进行了随机抽样调查, 得到了 36 对新婚夫妇的身高数据 ( 单位 :cm). 数据对 (x j, y j ) 中, x j 是第 j 对夫妇中丈夫的身高, y j 是妻子的身高. 我们称数据对 (x j, y j ), j = 1, 2,, 36 为样本或观测数据. 这时, 样本是直角坐标系中的 36 个点, 将这 36 个点画在坐标系上得到观测数据的散点图 (scatter diagram). 横坐标是 x, 纵坐标是 y. 丈夫与妻子身高的散点图 Wife height Husband height 样本相关系数样本相关系数无论是从抽样调查中得到的成对数据, 还是从科学试验, 工农业生产中得到的成对数据, 在统计学中也都称为观测数据或样本, 数据对的个数称为样本量. 样本量是 n 的成对观测数据是用 (x 1, y 1 ), (x 2, y 2 ),, (x n, y n ) (1.1)

235 9.1 数据的相关性 229 表示的. 这里, 对固定的 j, x j 和 y j 或来自相同的个体, 或是同一次试验的观测数据. 对 i j, (x i, y i ) 和 (x j, y j ) 或来自不同的个体, 或是不同次试验的观测数据. 对于观测数据 (1.1), 我们用 {x j } 表示数据 x 1, x 2,, x n, 用 {y j } 表示数据 y 1, y 2,, y n. 用 x 和 ȳ 分别表示 {x j } 和 {y j } 的样本均值. 用 s 2 x 表示 {x j } 的样本方差, 用 s 2 y 表示 {y j } 的样本方差. 对 n > 2, 有 x = 1 n n j=1 x j, s 2 x = 1 n 1 n j=1 (x j x) 2, ȳ = 1 n n j=1 y j s 2 y = 1 n 1 n j=1 (y j ȳ) 2. s x = s 2 x, s y = s 2 y 分别是样本标准差. 再引入样本协方差定义 1.1 (1) 当 s x s y 0, 我们称 s xy = 1 n 1 n (x j x)(y j ȳ). (1.2) j=1 ˆρ xy = s xy s x s y 为 {x j } 和 {y j } 的样本相关系数, (2) 当 ˆρ xy > 0, 我们称 {x j } 和 {y j } 正相关, (3) 当 ˆρ xy < 0, 我们称 {x j } 和 {y j } 负相关, (4) 当 ˆρ xy = 0, 我们称 {x j } 和 {y j } 不相关. 大量的成对数据都显示了相关系数 ˆρ xy 的以下性质 ( 参考习题 9.1): 1 ˆρ xy 总是在区间 [ 1, 1] 中取值, 2 当 ˆρ xy = 1, 样本 (x j, y j ), j = 1, 2,, n, 在同一条直线上, 3 当 ˆρ xy 接近于 1 时, x 增加, y 也倾向于增加, 这时数据 (1.1) 分散在一条上升的直线附近,

236 230 第九章线性回归分析 4 当 ˆρ xy 接近于 1 时, x 增加, y 倾向于减少, 这时数据 (1.1) 分散在一条减少的直线附近. 在实际问题中, 当 ˆρ xy 0.8, 可以认为 {x j } 和 {y j } 高度相关 ; 当 0.5 ˆρ xy < 0.8, 可以认为 {x j } 和 {y j } 中度相关 ; 当 0.3 ˆρ xy < 0.5, 可以认为 {x j } 和 {y j } 低度相关 ; 当 ˆρ xy < 0.3, 可以认为 {x j } 和 {y j } 相关性极弱. 见演示容易计算出例 1.1 中丈夫和妻子身高的样本均值分别是 x = , ȳ = , 样本标准差 s x = , s y = , 样本协方差 s xy = , 样本相关系数 ˆρ xy = s xy s x s y = 说明丈夫和妻子的身高是中度相关的粗略地讲, 丈夫的身高越高, 妻子的身高也会较高一点. 或说妻子身高越高, 丈夫的身高也会较高一点相关性检验相关性检验如果随机向量 (X j, Y j ) 独立同分布, 并且和 (X, Y ) 同分布, 就称 (X j, Y j ) 及其观测值 (x j, y j ), j = 1, 2,, n, 是来自总体 (X, Y ) 的样本. 如果 (x j, y j ), j = 1, 2,, n, 是来自总体 (X, Y ) 的样本, ρ xy = E[(X EX)(Y EY )] Var(X)Var(Y ) 是 X, Y 的相关系数, 用强大数律可以证明样本相关系数是 ρ xy 的强相合估计. ˆρ xy = s xy s x s y

237 y 9.1 数据的相关性 231 在实际问题中, 有时需要检验 H 0 : ρ xy = 0 vs H 1 : ρ xy 0. (1.3) 如果否定了 H 0, 就认为 X, Y 是相关的. 当总体 (X, Y ) 服从联合正态分布, H 0 成立时, 可以证明 n 2 T = ˆρ xy t(n 2). 1 ˆρ 2 xy (1.4) 因为 H 0 成立时, ˆρ xy, 从而 T 应当取值较小, 于是假设 (1.3) 的显著性水平为 α 的拒绝域是 W = { T > t α/2 (n 2)}. (1.5) 例 1.2 在例 1.1 中, ˆρ xy = 假设夫妻的身高总体 (X, Y ) 服从联合正态分布. 经过计算得到 n 2 T = ˆρ xy 1 ˆρ 2 xy = 查表得到 t 0.05/2 (36 2) = t (34) = < T. 检验的结果是显著的, 所以认为 X, Y 是相关的. 尽管拒绝域 (1.5) 是针对 X, Y 服从正态分布得到的, 但是对于非正态分布的情况, 当 n 较大, 人们也利用 (1.5) 作为假设 (1.3) 的拒绝域. 还应当指出, ˆρ xy = 0 只是表示 X, Y 之间没有线性关系, 并不表示 X 和 Y 没有关系. 因为这时 X,Y 之间可能存在着非线性关系, 看下面的例子. 例 x

238 232 第九章线性回归分析给定来自总体 X 的 30 个样本. 取 y j = x 2 j, 则 (x j, y j ) 是来自总体 (X, Y ) = (X, X 2 ) 的 30 个样本. 这些样本都在抛物线 y = x 2 上, 因而 x, y 存在非线性函数关系. 见图形可以计算出 ˆρ xy = 这时, n 2 T = ˆρ xy 1 ˆρ 2 xy = 查表得到 t 0.05/2 (30 2) = t (28) = > T. 所以不能否定 H 0 : ρ xy = 0. 检验的 P 值是 P ( T 28 > ) = 2[1 P (T 28 < )] 0.97, 所以应当承认 H 0 : ρ xy = 0. 即 {x j }, {y j } 不存在线性关系. 回归直线 9.2 回归直线当 {x j } 和 {y j } 高度相关时, 我们已经知道数据 (x 1, y 1 ), (x 2, y 2 ),, (x n, y n ) 会分散在一条直线的附近. 我们将这条直线叫做回归直线, 下面就寻找这条直线. 在直角坐标系中, 两个点 (x 1, y 1 ), (x 2, y 2 ) 可以决定一条直线. l : y = y 2 y 1 x 2 x 1 (x x 1 ) + y 1, 当 x 2 x 1. 这时, 两个点都在直线上, 所以这两个点平均距离直线 l 最近.

239 9.2 回归直线 B C 5 A 给定三对数据, (x 1, y 1 ), (x 2, y 2 ), (x 3, y 3 ), 当 x 1, x 2, x 3 不全相同, 我们也求一条直线 l, 使得以上三个点距离直线 l 平均最近. 用 l : y = a + bx 表示要求的直线, 在平行于 y 轴的方向, 做以上三点到直线 l 的连线, 交点 A, B, C 的坐标分别是 A : (x 1, a + bx 1 ), B : (x 2, a + bx 2 ), C : (x 3, a + bx 3 ). 三对观测数据和交点 A, B, C 的距离分别是 y 1 (a + bx 1 ), y 2 (a + bx 2 ), y 3 (a + bx 3 ). 我们用这三个距离的平方和 (y 1 a bx 1 ) 2 + (y 2 a bx 2 ) 2 + (y 3 a bx 3 ) 2. 衡量这三对观测数据远离直线 l 的程度. 如果 a, b 使得 Q(a, b) = (y 1 a bx 1 ) 2 + (y 2 a bx 2 ) 2 + (y 3 a bx 3 ) 2 达到最小就称直线 l : y = a + bx 是数据的回归直线.

240 234 第九章线性回归分析一般地要为样本量是 n 的观测数据, (x 1, y 1 ), (x 2, y 2 ),, (x n, y n ), 其中的 x j 不全相同, 建立回归直线 l : y = a + bx, 使之与观测数据平均最近时, 也采用相同的方法. 沿平行于 y 轴的方向, 点 (x j, y j ) 到它与 l 的交点的距离是 y j (a + bx j ), j = 1, 2,, n. 我们用这些距离的平方和 Q(a, b) =(y 1 a bx 1 ) 2 + (y 2 a bx 2 ) (y n a bx n ) 2 (2.1) 衡量观测数据远离直线 l 的程度. 如果常数 a, b 使得 Q(a, b) 达到最小, 就称直线 l : y = a + bx 是 {x j } 与 {y j } 的回归直线 (regression line). 得到了回归直线后, 只要 {x j } 与 {y j } 相关性较强, 对于新的 x, 就可以用回归直线上的点 ŷ = a + bx 作为 y 的预测值. 事实证明 : ˆρ xy 越接近于 1, 预测就越准确 ; x 越接近 x, 预测也越好. 最小二乘解定理 2.1 如果 {x j } 不全相同, 则 Q(a, b) 的最小值点是 s xy (xi x)(y i ȳ) ˆb = =, s 2 x (xi x) 2 â =ȳ ˆb x. (2.2) 称 â, ˆb 是回归直线系数 a, b 的最小二乘估计证明将 Q(a, b) 右端的每一项对 a, b 进行二项展开, 就知道 Q(a, b) 是 a, b 的二元二次多项式, 二次项系数大于零. Q(a, b) 是开口向上的椭圆抛物面, 最小值唯一存在, 并且可以令两个一阶偏导数为零得到最小值点.

241 9.2 回归直线 235 由 Q n a = 2 (y j a bx j ) = 0, j=1 Q n b = 2 (y j a bx j )x j = 0, (2.3) j=1 得到方程组 j=1 ȳ a b x =0; n n y j x j an x b x 2 j =0, j=1 j=1 把前式中 a 代入后式, 并利用 n n y j x j n x ȳ = (y j ȳ)(x j x), n x 2 j n x x = j=1 j=1 j=1 n (x j x) 2 得 xj y j n(ȳ b x) x b x 2 j =0 xj y j n xȳ b( x 2 j n x 2 ) =0 解出 ˆb = n j=1 y jx j n x ȳ n j=1 x2 j n x2 â =ȳ ˆb x. = s xy, s 2 x 于是直线 l : ŷ = â + ˆbx 为数据 (x j, y j ), j = 1, 2,, n 的回归直线. 给了任何另外的 x, 当 ˆρ xy 接近于 1 时, 我们可以用回归直线 l 上的点 ŷ = â + ˆbx (2.4) 对和 x 相应的 y 作出预测.

242 236 第九章线性回归分析我们又称 (2.4) 为经验公式. 从 (2.2) 的第二式知道, ( x, ȳ) 总在回归直线上. 因为 â, ˆb 是极小化 a, b 的二次函数 Q(a, b) 得到的, 所以又称它们是 a, b 的最小二乘估计 (least square estimator). 例 2.1 容易计算例 1.1 中的 x = , ȳ = , s 2 x = , s xy = , 于是得到 ˆb = = , â = ȳ ˆb x = 回归直线是 ŷ = x. 9.3 一元线性回归一元线性回归模型对数据 (x j, y j ) 建立了回归直线 l 后, 我们用回归直线 l 上的作为 y j 的预测值, 预测误差是 ŷ j = â + ˆbx j ˆε j = y j ŷ j = y j â ˆbx j. 我们也称 ˆε j 为残差, 称残差的平方和 Q = 为残差平方和. n n ˆε 2 j = (y j â ˆbx j ) 2 = Q(â, ˆb) (3.1) j=1 j=1 Q 较小时, l 代表了 x, y 之间的线性关系 : y j = â + ˆbx j + ˆε j, j = 1, 2,, n.

243 9.3 一元线性回归 237 为了统计分析的方便, 我们认为成对数据 (x j, y j ) 满足模型 Y j = a + bx j + ε j, j = 1, 2,, n. (3.2) 其中的 a, b 是未知常数, {ε j } 是独立同分布的随机变量, 服从正态分布 N(0, σ 2 ). 这里 σ 2 是未知正数, 代表了随机误差的强弱. σ 2 越大, 说明随机误差越强. 模型 (3.2) 称为一元线性回归模型 (linear regression model). 其中 a, b 分别是直线 y = a + bx 的截距和斜率, 称为回归参数. 在模型 (3.2) 中, 我们称 x j 是设计变量或输入变量, 它表示得到 Y j 时的输入条件. 我们将 x j 看作常量, 不做随机变量处理. Y j 是观测变量, 它是输入条件 x j 后得到的观测结果. 我们称 (x j, y j ) 是来自一元线性回归模型的样本. 给定来自一元线性回归模型 (3.2) 的样本 (x j, y j ), 我们的问题是需要估计出回归参数 a, b 和 σ 最大似然估计和最小二乘估计回归参数的最大似然估计设 (x j, Y j ) 满足一元线性回归模型 (3.2), 则 Y j, j = 1, 2,, n 相互独立, 都服从正态分布. 利用知道 Y j N(a + bx j, σ 2 ). EY j = a + bx j, Var(Y j ) = Var(ε j ) = σ 2, 于是得到基于 Y 1, Y 2,, Y n 的似然函数 n L(a, b, σ 2 1 ( ) = exp 1 ) 2πσ 2 2σ (y 2 j a bx j ) 2 j=1 其中的 Q(a, b) 由 (2.1) 定义. ( 1 ) n ( = exp 1 n ) (y 2πσ 2 2σ 2 j a bx j ) 2 j=1 ( 1 ) n ( = exp 1 ) 2πσ 2 2σ Q(a, b). (3.3) 2

244 238 第九章线性回归分析对数似然函数是解方程组 l(a, b, σ 2 ) = 1 2σ 2 Q(a, b) n 2 ln σ2 n ln 2π. l = 1 Q = 0, a 2σ 2 a l = 1 Q = 0, b 2σ 2 b l = 1 Q(a, b) n = 0, σ 2 2σ 4 2σ 2 可以得到 a, b, σ 2 的最大似然估计. 注意前两个方程和 (2.3) 是等价的, 所以当 s 2 x 0, 从前两个方程得到 a, b 的最大似然估计 s xy ˆb =, â = ȳ s ˆb x. (3.4) 2 x 将 â, ˆb 代入第三个方程, 得到 σ 2 1 的最大似然估计是 Q(â, ˆb). n 因为数学上可以证明 EQ(â, ˆb) = (n 2)σ 2, 所以 σ 2 的最大似然估计不是 σ 2 无偏估计, 为了使用无偏估计, 我们以后用作为 σ 2 的估计. 这时有 Eˆσ 2 = σ 2. ˆσ 2 = 1 n 2 Q(â, ˆb) (3.5) 容易看出, (a, b) 的最小二乘估计和最大似然估计是相同的. 引入记号 : 则 n l yy = (y i ȳ) 2 i=1 n l xx = (x i x) 2 i=1 n l xy = (x i x)(y i ȳ) Q = i=1 n (y i ŷ i ) 2 i=1 ˆb = l xy l xx, σ 2 = 1 n 2 Q

245 9.3 一元线性回归 239 回归参数估计的性质以后总设 s 2 x 0. 下面是这些估计量的基本性质. 定理 3.1 设 (x j, Y j ), j = 1, 2,, n, 满足一元线性回归模型 (3.2), â, ˆb, ˆσ 2 由 (3.4) 和 (3.5) 定义, n > 2 时, 有 (1) (2) (3) ˆb N ( b, σ2 l xx ), â N (a, [ 1 ) n + x2 ]σ 2, l xx n 2 σ 2 ˆσ 2 χ 2 (n 2), (4) Ȳ, ˆb, ˆσ 2 相互独立. 定理证明 (1) 对任何常数 c, 有 n (x j x)c = (n x n x)c = 0. (3.6) j=1 利用 (3.6) 得到 1 1 ˆb = s 2 x n 1 = 1 s 2 x 1 n 1 n (x j x)(y j Ȳ ) j=1 n (x j x)y j. (3.7) j=1 由于 ˆb 已经是相互独立的正态随机变量 Y j 的线性组合, 所以服从正态分布. 只需要再计算它的数学期望和方差.

246 240 第九章线性回归分析利用 Y j N(a + bx j, σ 2 ), (3.6) 和 (3.7), 得到 Eˆb = 1 1 n (x s 2 j x)ey j x n 1 j=1 = 1 1 n (x s 2 j x)(a + bx j ) x n 1 j=1 = 1 b n (x s 2 j x)(x j x) x n 1 = b s 2 s 2 x = b. x 因为 Y 1, Y 2,, Y n 相互独立, 有共同的方差 σ 2, 利用 (3.7) 得到 Var(ˆb) = 1 1 n (x s 4 x (n 1) 2 j x) 2 Var(Y j ) (2) = 1 s 4 x j=1 j=1 1 (n 1) s2 xσ 2 = 设 ε n = n j=1 ε j/n, 在 (3.2): 两边求样本平均得到 σ 2 (n 1)s 2 x = σ2 l xx. Y j = a + bx j + ε j, j = 1, 2,, n. (3.2) Ȳ = a + b x + ε n, EȲ = a + b x. (3.8) 因为 Ȳ 和 ˆb 都是 Y 1, Y 2,, Y n 的线性组合, 所以 â = Ȳ ˆb x 也是 Y 1, Y 2,, Y n 的线性组合, 从而也服从正态分布. 再计算它的均值和方差如下. 利用 (3.8) 得到 Eâ =E(Ȳ ˆb x) = EȲ Eˆb x =a + b x b x = a. 最后再利用得到 â = Ȳ ˆb x Var(â) =Var(Ȳ ) + Var(ˆb x) 2 xcov(ȳ, ˆb) = σ2 n + x2 σ 2 2 xcov(ȳ (n 1)s, ˆb). 2 x

247 9.3 一元线性回归 241 由于从 (3.7) 得到 Cov(Ȳ, ˆb) ( 1 n 1 n ) =Cov Y j, (x n (n 1)s 2 j x)y j j=1 x j=1 1 ( n n ) = Cov Y n(n 1)s 2 j, (x j x)y j x j=1 j=1 1 n = (x n(n 1)s 2 j x)σ 2 x =0, j=1 这说明 Ȳ 和 ˆb 独立于是有 ( 1 Var(â) = n + x 2 ) σ 2. (n 1)s 2 x 平方和分解公式平方和分解公式最小二乘回归直线 :l : ŷ = â + ˆbx 总平方和为因变量 y 的变动情况, 代表了 y 包含的信息多少 : l yy = n (y i ȳ) 2 i=1 残差平方和代表用直线解释 y 与 x 间关系的接近程度 : Q = n (y i ŷ) 2 i=1 回归平方和是由 x 的值所确定的 y 的变化情况 : lŷŷ = n (ŷ i ȳ) 2 j=1 注意 1 n n ŷ i 1 n i=1 n (â + ˆbx i ) = â + ˆb x = ȳ i=1

248 242 第九章线性回归分析另外其中 lŷŷ = i=1 n [(â + ˆbx i ) (â + ˆb x)] n 2 = [ˆb(x i x)] 2 = ˆb 2 l xx i=1 i=1 n l xx = (x i x) 2 i=1 总平方和可以分解为回归平方和与残差平方和 : l yy = lŷŷ + Q = ˆb 2 l xx + Q (3.12) 证明只要看 y i ȳ = (y i ŷ i ) + (ŷ i ȳ) 并证明交叉项为零 : n n (y i ŷ i )(ŷ i ȳ) = [(y i ȳ) (ŷ i ȳ)](ŷ i ȳ) = =ˆb n (y i ȳ)(ŷ i ȳ) i=1 i=1 n (ŷ i ȳ) 2 i=1 n (y i ȳ)(x i x) ˆb n 2 (x i x) 2 = 0 i=1 i= 斜率 b 的检验斜率 b 的检验当斜率 b = 0 时, 回归直线退化为 l : y = a, 这时 x 对 y 没有影响, 线性回归没有意义只有 b 0 的回归结果才是有意义的检验 : H 0 : b = 0 vs H a : b 0 直观构造否定域 : 当 ˆb 很大时拒绝 H 0 需要知道 ˆb 在 H 0 下的分布才能给出很大的临界值定理 3.1 说明 ˆb N(b, σ 2 /l xx ); (n 2)ˆσ 2 /σ 2 χ 2 (n 2) 且与 ˆb 独立, 说明在 H 0 下 T = ˆb ˆσ/ l xx t(n 2)

249 9.3 一元线性回归 243 于是水平 α 的否定域为 W = { T > t α/2 (n 2)} 回归系数检验的例子对例 1.1 的数据, 检验 b 是否等于零计算得 ˆb = , ˆσ 2 = , l xx = , n = 36, t (34) = 2.032, T = 6.14 落入否定域, 应拒绝 H 0 : b = 预测的置信区间预测的置信区间回归直线 l : ŷ = â + ˆbx 对于新的输入条件 x 0, 预测 ŷ 0 = â + ˆbx 0 未知的真实值为 Y 0 = a + bx 0 + ε 0 要得到 Y 0 的置信区间, 必须知道 Y 0 ŷ 0 的概率分布. 引入 η 0 = ˆσ n + (x 0 x) 2 l xx. 定理 3.2 (3.2) 的数据, 则利用定理 3.2 和如果 (x j, y j ), j = 1, 2,, n, 是来自一元线性回归模型 Y 0 ŷ 0 η 0 t(n 2). (3.21) P ( ) ŷ 0 t α/2 (n 2)η 0 Y 0 ŷ 0 + t α/2 (n 2)η 0 ( Y0 ŷ 0 ) =P t α/2 (n 2) η 0 =1 α,

250 244 第九章线性回归分析得到 Y 0 的置信度为 1 α 的置信区间 [ ŷ 0 t α/2 (n 2)η 0, ŷ 0 + t α/2 (n 2)η 0 ]. (3.22) 置信区间的长度是 L =2t α/2 (n 2)η 0 =2t α/2 (n 2)ˆσ n + (x 0 x) 2 l xx. 在相同的置信度下, 置信区间的长度越小越好. 相同的置信度下, n 越大, L 越小 ; l xx 越大, L 越小 ; x 0 离 x 越近,L 越小 ; ˆσ 越小, L 越小. 9.4 多元线性回归

展开

證明 : 令 φ(x f(x, ydy, 則 φ(x + x φ(x x f x (ξ, ydy f x (ξ, y f x (x, y dy f x (x, ydy f(x + x, y f(x, y d dy f x (x, ydy x f x (x, ydy, ξ ξ(y 介於 x, x

證明 : 令 φ(x f(x, ydy, 則 φ(x + x φ(x x f x (ξ, ydy f x (ξ, y f x (x, y dy f x (x, ydy f(x + x, y f(x, y d dy f x (x, ydy x f x (x, ydy, ξ ξ(y 介於 x, x 微分與積分的交換積分設 f 在 [a, b] [, d] 上連續, 問 d dx f(x, y? f(x, ydy x 首先 (1 式兩邊必須有意義 f(x, ydy 必須對 x 可導若 f 及 x f(x, ydy 積分必須存在 x f 在 [a, b] [, d] 上連續, 則 ( 及 (3 式成立, 下面的定理告訴