第五章假设检验与方差分析.ppt

第五章 假设检验与方差分析,实际中的假设检验问题,1.产品自动生产线工作是否正常； 2.某种新生产方法是否会降低产品成本； 3.治疗某疾病的新药是否比旧药疗效更高； 4.厂商声称产品质量符合标准，是否可信； 5.学生考试成绩是否服从正态分布, 假设检验事先作出关于总体参数、分布形式、相互关系等的命题（假设），然后通过样本信息来判断该命题是否成立（检验） 。,一、假设检验的基本思想 例1. 从1000件产品中抽出10件，有4件次品，问这批产品能否出厂？ 提出假设：P=4%,如果这一假设成立,则出现所抽样本的概率小于1 。这种可能性极小，但在一次抽样中发生了，显然不合理。这种不合理性源于推论的假设前提，故上述假设不能接受。,第一节 假设检验的基本概念,例2,原来的平均长度=4 cm，标准差=0.02 cm。样本：n=100，平均长度=3.948。改革后的平均长度=4？ 假设：改革后 =4，根据抽样分布理论，有：,在上述假设的前提下， =3.948等价于Z=26，是几乎肯定不可能出现的事件。然而它发生了，这表明原假设是不合理的。,假设检验的特点,采用逻辑上的反证法 先认为假设为真，观察在此前提下所抽到样本的出现是否合理。若合理则判断假设可接受，反之拒绝假设。 判断是否合理的依据统计上的小概率原理（即这里的反证法是基于一定概率的反证法）。,假设检验中的小概率原理,1. 小概率事件：发生概率很小的随机事件。 小概率原理：小概率事件在一次试验（观察）中几乎不可能发生。 什么样的概率才算小概率？ 由研究者事先确定（根据决策的风险或要求的把握程度来决定），没有统一的界定标准。假设检验中把这个概率称为检验的 “显著性水平”。,提出原假设和备择假设 确定适当的检验统计量及其分布 规定显著性水平 计算检验统计量的值 作出统计决策,二、假设检验的步骤,（一）提出假设,包括原假设和备择假设。 原假设待检验的假设，也称为零假设，用 H0表示。 备择假设也称对立假设，与原假设内容完全相反的假设。当拒绝原假设后应接受的假设。用 H1表示。 事实上，对某个问题提出了原假设，也就同时给出了备择假设。,假设的三种形式：,左侧检验与右侧检验统称为单侧检验。,1. 检验统计量是用于假设检验问题的统计量； 2. 选择统计量的方法与参数估计中相同： 待检验的参数是什么 是大样本还是小样本 总体方差已知还是未知 常用的检验统计量有：Z、t、卡方、F统计量等。如,（二）确定检验统计量及其分布,（三）规定显著性水平 ,原假设为真时，拒绝原假设的概率，用表示. 由研究者根据具体情况事先确定。 常取 0.01, 0.05, 0.10。 给定 了，也就确定了临界值原假设的接受区域与拒绝区域的分界点。 根据检验统计量的分布，由给定的 查相应的概率分布表，即得临界值。如 采用Z统计量时=0.05对应的临界Z0.05=1.645。 临界值还与检验形式有关。,（四）计算检验统计量的值,根据样本资料计算出检验统计量的观察值。,（五）作出检验结论 将检验统计量的值与 水平的临界值进行比较，得出接受或拒绝原假设的结论。 当检验统计量的值落在拒绝区域，则拒绝原假设；反之，接受或不能拒绝原假设。,留待后面讲解的两个问题,1。检验的P值 与传统检验方法的比较。 2。怎样提出假设。,三、假设检验中的两类错误,1. 第一类错误（ “弃真”或“拒真” 错误） 原假设为真时拒绝原假设 犯第一类错误的概率为 (被称为显著性水平) Prob（拒绝H0 / H0为真）= 2. 第二类错误（“取伪”或“采伪”错误） 原假设不真时接受原假设 第二类错误的概率为 Prob（接受H0 / H0不真）= , 和 的关系,在检验中人们总希望犯两类错误的可能性都很小，然而，在其它条件不变的情况下， 和不可能同时减小，就象交易中买卖双方各自承担的风险一样。,一般说，哪一类错误带来的后果越严重、危害越大，就应该作为首要的控制目标. 在假设检验中，一般都首先控制第一类错误.,给定时考虑的因素,视两类错误所产生的后果轻重而定 当犯第一类错误的后果严重时，则希望尽可能不犯第一类错误，宁愿犯第二类错误，此时宜小。 当犯第二类错误的后果严重时，则希望尽可能不犯第二类错误，宁愿犯第一类错误，此时不宜太小 事前对原假设的信念 对原假设越有信心，则越小；反之则越大,影响 错误的因素,1. 显著性水平 随 减少而增大 2. 总体参数的真值 随着总体参数的假设值与真实值的差异缩小而增大 样本容量 n 随着 n 增大，检验统计量的分布曲线更集中，曲线尾端的面积 则减少。 4. 总体标准差 当 增大时 增大,第二节 正态总体参数的检验,一、方差已知时对正态总体均值的检验 z检验法 二、方差未知时对正态总体均值的检验 t检验法 三、对正态总体方差的检验 检验法,一、方差已知时对正态总体均值的检验z检验法,H0: H1: 根据抽样分布理论，总体方差 已知时则 检验统计量为： Z检验法利用服从标准正态分布的 Z 统计量进行假设检验的方法。 若总体不是正态分布, 但n30时可近似采用Z检验 给定 后，临界值查标准正态分布表而得。 单侧检验时，临界值=Za或Za； 双侧检验时，临界值= Za/2和Za/2。,（一）双侧检验（例）,问题：改革后生产的零件平均长度是否为4cm？ 检验的步骤： 提出原假设: H0: = 4和备择假设: H1: 4 选择检验统计量 Z 给定显著性水平1%，查临界值Za/2=2.58 计算检验统计量的观察值： z =-26 比较检验统计量的值|z|和临界值，作出结论 （由于|z|临界值，拒绝原假设）。,单侧检验（例三）,某厂以前生产的电子元件的平均使用寿命不低于1000小时。已知使用寿命服从正态分布，标准差为100小时。现随机抽取了25件，得知样本平均使用寿命为1050小时。问这批产品的寿命是否有显著性提高？ (0.05),（计算结果）,H0: 1000，H1: 1000 n = 100， = 0.05，临界值=Z0.05=1.645,检验统计量:,结论: 在 = 0.05的水平上能拒绝H0，接受备择假设，即有证据表明这批产品的平均使用寿命高于1000小时。,（二）总体方差未知时对总体均值检验 t 检验,1. 假定条件 总体为正态分布，但 未知（用S*代替） 小样本 2. 检验统计量,给定显著性水平，查 t 分布表得临界值。其余步骤同前。 利用服从 t 分布的统计量进行假设检验的方法统称为 t 检验法。,三、正态总体方差的检验卡方 (2) 检验,1. 检验一个总体的方差或标准差 2. 假设总体服从正态分布 3. 原假设为 H0: 2 = 02 4. 检验统计量,利用服从 t 分布的统计量进行假设检验的方法统称为 2检验法。,2检验（例）,长期正常生产的资料表明，某厂产品的厚度服从正态分布，其方差为0.25。现从某日产品中随机抽取 20 根，得修正的样本方差为0.42。试判断该日产品厚度是否与正常生产情况存在显著差异？(=0.05 ),检验结果,H0: 2 = 0.0025，H1: 2 0.0025 = 0.10， n-1 = 20 - 1 = 19 接受区域: （10.117， 30.144） 统计量:,结论: 在 =0.10的水平上拒绝H0，即有证据表明该日厚度的波动与正常生产情况时有显著差异。,第三节 总体成数的 Z 检验,假定条件 只有两类结果 总体服从二点分布 大样本下（且np5，n（1-p）5，可用正态分布来近似） 成数检验的 Z 统计量,（例）,一研究者估计某市居民家庭的汽车拥有率为30%。现随机抽查了200的家庭，其中68个家庭拥有汽车。试问研究者的估计是否可信？ （ =0.05）,检验结果,H0: p = 0.3，H1: p 0.3 =0.05，n = 20 临界值：-1.96，+1.96 检验统计量:,结论: 在 =0 .05的显著性水平上接受H0，表明研究者的估计可接受的。,1。检验的P - 值 2。怎样提出假设 3。利用置信区间进行检验 （区间估计与假设检验的关系）,几点补充,1. 假设检验的P-值 （P-Value）,P值（P-value）是一种概率。 在原假设为真的假定前提下，出现观察到的样本以及更极端样本的概率。 拒绝原假设的最小显著性水平； 观察到的显著性水平（实测的显著性水平）。,（续）,P值表示所观察到的样本对原假设的支持程度。 P值越大，在原假设为真的情况下，样本出现的概率越大，出现这样的样本不是小概率事件，说明原假设不能拒绝。反之，应拒绝原假设。,利用 P 值进行决策,单侧检验 若P值 ,不能拒绝 H0 若P值 , 拒绝 H0 双侧检验 若P值 /2, 不能拒绝 H0 若P值 /2, 拒绝 H0,P值的计算,设检验的统计量为，c是计算得统计量的值。 左侧检验时，P值= p c 右侧检验时，P值= P= p c 双侧检验中，P值=单侧P值的2倍。,例,在例三（1）中，用Z检验法对总体均值进行双侧检验，给定显著性水平=0.05，由样本数据计算出检验统计量的值=2.5，因此可计算出该假设检验的： P值=Prob|2.5=2 ×Prob2.5 =2×1Prob2.5 =2×（0.9938)=0.0124 由于P值给定的,所以拒绝原假设。,2. 怎样原假设和备择假设？,（1）根据研究问题确定假设的形式 双侧：关心总体参数与某值有无差异。 单侧：关心总体参数是否比某值偏大或偏小。 （2）建立原假设应该本着“保守”或“不轻易拒绝原假设”的原则。 （3）有时还要顾及数学上的处理方便。,3.利用置信区间进行假设检验 （双侧检验）,求出双侧检验均值的置信区间,已知时：,未知时：,若总体的假设值在置信区间内，则接受H0 ，反之则拒绝H0 。,区间估计与假设检验的联系与区别,二者既有联系， 都属于统计推断方法，根据样本信息进行推断； 推断结果都有一定置信度或有一定风险； 对相同条件的推断问题，其推断的理论依据抽样分布理论也相同； 利用置信区间可以进行假设检验。 又有区别： 区间估计立足于大概率，假设检验更注重小概率是否发生； 二者的主要决策参考点不同。,第四节 单因素试验的方差分析,假设检验可以用于检验一个总体的均值或检验两个总体的均值是否相等； 方差分析检验多个总体的均值是否相等 根据所涉及的因素多少，方差分析分为： 单因素方差分析 双因素方差分析 无交互影响的 有交互影响的 多因素方差分析,方差分析的基本思想和原理 （几个基本概念）,因素或因子 所要检验的对象称为因子 水平 因素的具体表现称为水平（也称为类别或处理方案）. 观察值 在第 i 个水平下的 j 个观察值，记为yij。 4.试验每一次随机抽样可看成一次随机试验 这里只涉及一个因素，因此称为单因素试验。 5.总体 因素的每一个水平可以看作是一个总体,观察值的两种误差,设各水平下的观察值表示为：,=该水平的总体均值+ 随机项,所有观察值yij 之间的差异，可能来源于两个方面： 1.系统误差（条件误差）各水平的总体均值不同，从而导致了各水平下的样本观察值也有差异。 由于所研究因素改变而产生的试验结果的差异，即在因素的不同水平（总体）下，各观察值间的差异。,（观察值的两种误差）,2.随机误差由于偶然因素而产生的差异，或者说是由于抽样的随机性所造成的。 即在因素的同一水平（同一个总体）下，样本的各观察值之间的差异； 方差分析就是要判断有无系统误差存在。为此，要对观察值的差异进行分析。,方差的分解,总离差平方和全部观察值与总平均数的离差平方和。,组内平方和各水平内部的观察值与该水平均值的离差平方和。,反映同一水平下样本观察值的差异程度，所以不包含系统误差，只包含随机误差。,3. 组间平方和各组平均数与总平均数的离差平方和。 反映因素的不同水平(不同总体)下各样本均值之间的差异； 既包括随机误差，也包括系统误差； 总离差平方和=组内平方和+组间平方和 SST=SSE+SSA,各离差平方和的大小与观察值的多少有关，为了消除观察值多少对离差平方和大小的影响，需要将其平均，这就是均方（MS），也称为方差（分母为相应的自由度）。 总 方 差=总离差平方和/（n-1）=SST/（n-1） 组内方差= 组内平方和/（n-k）=SSE/（n-k） 组间方差=组间平方和/（k-1）=SSA/（k-1）,方差分析中的基本假定,每个总体都应服从正态分布 也就是说，对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本； 各个总体的方差必须相同 也就是说，对于各组观察数据，是从具有相同方差的总体中抽取的； 观察值是独立的,提出假设 构造检验的统计量 给定检验的显著性水平 计算检验统计量的值 统计决策（结论）,单因素方差分析的步骤,1. 提出假设,一般提法 H0: m1 = m2 = mk (因素有k个水平） H1: m1 ，m2 ， ，mk不全相等 对例七： H0: m1 = m2 = m3 不同班次的劳动效率无显著性差异（班次对劳动效率没有影响） H0: m1 ，m2 ，m3不全相等 不同班次的劳动效率有显著性差异,2. 构造检验的统计量,将MSA和MSE进行对比，即得到所需要的检验统计量F； 当H0为真时，二者的比值服从分子自由度为k-1、分母自由度为 n-k 的 F 分布，即,给定显著性水平确定拒绝域,统计量 F分布与拒绝域,若检验统计量F的值临界点F(k-1,n-k)，则拒绝原假设。,(例七),= 825.143,= 38.857,= 786.286,检验结果,结论: F=182.118F 0.01(2,18) F 0.05(2,18),所以,在0.01的显著性水平上应拒绝原假设,自然在0.05的显著性水平上也应拒绝原假设. 计算结果常常列为表格方差分析表（基本结构见表5-2）,本章小结,1. 假设检验的概念和基本思想 2. 假设检验的过程（一般步骤） 一个正态总体参数的假设检验问题 4. 一个总体成数的假设检验问题 利用p 值进行假设检验 单因素方差分析 用EXCEL进行区间估计和假设检验,