三章两变量线回归.ppt

第三章 两变量线性回归 1 本章主要内容 第一节 两变量线性回归模型 第二节 参数估计 第三节 最小二乘估计量的性质 第四节 回归拟合度评价和决定系数 第五节 统计推断 第六节 预测 2 引言 本章介绍两变量线性回归分析。两变量 线性回归分析的对象是两变量单向因果 关系，模型的核心是两变量线性函数， 分析方法是回归分析。两变量线性回归 分析是经典计量经济分析的基础，掌握 两变量线性回归分析的原理和技术，对 进一步学习多元回归和其他计量经济分 析方法都有帮助。 3 第一节 两变量线性回归模型 一、模型的建立 二、模型的假设 4 一、模型的建立 n变量和函数式 n变量关系的随机性 5 变量和函数式 n两变量线性因果关系：Y = + X Y被解释变量 X解释变量 、待定参数 6 1、模型根据： （1）研究问题的需要； （2）经济理论和观点； （3）利用经验和数据分布情况； （4）非线性函数和线性变换。 7 2、例子： （1）上海经济消费函数研究 P66； （2）科布道格拉斯生产函数 P68； 8 例3-1 上海经济的消费规律研究 年份可支配收入 Y 消费性支 出CC 年份可支配收入 Y 消费性支 出C 1981637585199230092509 1982659576199342773530 1983686615199458684669 1984834726199571725868 19851075992199681596763 198612931170199784396820 198714371282199887736866 1988172316481999109328248 1989197618122000117188868 1990218219362001128839336 19912485216720021325010464 9 例3-1 上海经济的消费规律研究 10 变量关系的随机性 1、在经济问题中精确的因果关系实际上不存在。 人类经济行为本身的随机性；两变量线性关系 通常只是抓了主要矛盾，而忽略的其他众多因素 的影响。 2、正确的计量经济模型应该是随机模型： Y = + X + ； 为随机扰动项。 11 二、模型的假设 1、特定的方法适用的模型是有条件的，因此必 须对模型先作设定。 2、六条假设 （1）变量间存在随机函数关系Y= + X + ； （2）误差项均值为0； （3）误差序列同方差； （4）误差序列不相关； （5）X是确定性的，非随机变量； （6）误差项服从正态分布。 12 对假设的进一步分析 1、前五条假设是古典线性回归模型的基本假定； 2、假设（2）是反映线性回归模型本质的基本假设 ； 3、假设（3）的意义是对应不同观测数据组误差项 分布的发散趋势相同，或有相同形状的概率密度 函数； 4、假设（4）的意义是对应不同观测值的误差项之 间没有相关性； 5、假设（5）和（6）都是为了回归分析和统计推 断的方便而要求的，人为性较大的假设 。 13 第二节 参数估计 一、最小二乘估计 二、消费函数参数估计 14 一、最小二乘估计 n建立两变量线性回归模型后，根据样本 数据估计模型的参数，是线性回归分析 的核心步骤。 n对满足模型假设两变量线性回归模型的 参数，最有效的估计方法是最小二乘法 。 15 n最小二乘法是根据随机变量理论值和实 际值的拟合程度估计参数的。 n线性回归模型的理论值可以用样本回归 直线上点的坐标表示，实际值就是样本 观测数据， n因此线性回归模型理论值与实际值的拟 合，就是样本回归直线对观测数据的拟 合。 16 n若两变量线性回归模型为： n参数估计的思路就是找到能很好拟合样 本数据的样本回归直线，近似模型总体 回归直线E(Y ) =+ X，从而得到和 的估计a和b。 17 n判断拟合程度最基本的标准是样本点与 回归直线的偏差 ，称为“ 回归残差”或“残差” 。 n 越小回归直线离样本点越近，如果所 有样本点的回归残差都较小，回归直线 对样本趋势的拟合当然最好。 n一般采用残差平方和 = 作为判断回归直线对样本数据拟合程度 的标准，残差平方和越小就认为拟合程 度越好。 18 核心：残差平方和 最小。 19 参数估计值 20 n若两变量线性回归模型无常数项，即模 型为 ，这时只有一个需要估 计的参数，上述最小二乘估计的方法仍 然是一致的。 n最小二乘估计的残差平方和为 令该残差平方和对b的偏导数等于0，不 难求得： b = 21 二、消费函数参数估计 以例31建立的消费函数模型为例，具 体说明如何用最小二乘法估计模型中的 参数。 22 例3-3上海经济的消费规律研究 年份可支配收入 Y 消费性支出 CC 年份可支配收入 Y 消费性支出 C 1981637585199230092509 1982659576199342773530 1983686615199458684669 1984834726199571725868 19851075992199681596763 198612931170199784396820 198714371282199887736866 1988172316481999109328248 1989197618122000117188868 1990218219362001128839336 19912485216720021325010464 23 例3-3 上海经济的消费规律研究 nEstimation Command: n= nLS Y C X nEstimation Equation: n= nY = C(1) + C(2)*X nSubstituted Coefficients: n= nY = 237.5 + 0.75*X 24 例3-3 上海经济的消费规律研究 nDependent Variable: Y nMethod: Least Squares nDate: 10/04/04 Time: 20:14 nSample: 1981 2002 nIncluded observations: 18 n- nVariable CoefficientStd. Error t-Statistic Prob. nC 237.5 35.50781 4.074556 0.0009 nX 0.75 0.008022 98.45858 0.0000 n- nR-squared 0.998352 Mean dependent var 2807.444 nAdjusted R-squared 0.998249 S.D. dependent var 2333.000 nS.E. of regression 97.61747 Akaike info criterion 12.10443 nSum squared resid 152466.7 Schwarz criterion12.20336 nLog likelihood-106.9399 F-statistic9694.092 nDurbin-Watson stat1.082919 Prob(F-statistic) 0.000000 25 第三节 最小二乘估计量的性质 一、最小二乘估计的线性性 二、最小二乘估计的均值和无偏性 三、最小二乘估计的方差和最小方差性 四、最小二乘估计的一致性 26 一、最小二乘估计的线性性： n参数估计量可以表示为被解释变量观 测值的线性组合。 nb的线性性 b 27 n若把每项因子 记为 ，就得到 ： b = ，这表明b是随机变量Y 的线 性组合。 na 的线性性： 28 n令 = V ，得a = n这表明a同样是随机变量Y 的线性组合。 n线性性对于确定最小二乘估计量服从什 么分布非常重要。由于解释变量X是确定 性的，与最小二乘估计量的分布性质无 关，因此最小二乘估计量可以表示为被 解释变量观测值Y的线性组合，就与Y有 相同类型的概率分布。 29 和V 两个指标的性质 n 0， 1， n 1， 0 30 二、最小二乘估计的均值和无 偏性 n定义：参数估计量的均值就是真实值： nb的无偏性的证明 31 na的无偏性同理可证。 n意义：参数估计量是以参数真实值为分 布中心的随机变量，反复抽样估计可得 真实值。这是重要的分布性质，是推断 分析的基础。 n因为同时具有线性性和无偏性，因此最 小二乘估计量是线性无偏估计量。 32 三、最小二乘估计的方差和最小 方差性 n在参数估计是无偏估计、线性无偏估计 的基础上，方差较小的则意味着参数估 计的精确程度较高，统计推断的效果也 较好。 nb的方差： na的方差： 33 n在所有可能的线性无偏估计中，最小二 乘估计a和b的方差最小。 n这个性质称为最小方差性，也称为有效 性。 n最小二乘估计是参数真实值的最小方差 线性无偏估计，也称为最优线性无偏估 计或BLUE估计。 34 四、最小二乘估计的一致性 n定义：参数估计量的概率极限等于参数真实值 。 n意义：属于大样本性质。保证增加样本容量可 以逼近参数真实值。 n最小二乘估计在模型假设下是一致估计。 35 第四节 回归拟合度评价和决定系数 一、拟合度评价的意义 二、离差分解和决定系数 36 一、拟合度评价的意义 n评价回归分析、参数估计优劣的根本标 准，是回归直线对样本数据的吻合程度 ，也称为“拟合度”或“回归拟合度”。 n回归拟合度是判断和检验参数估计方法 的方法之一。 n回归拟合度也是检验模型变量关系真实 性，判断模型假设是否成立的重要方法 。 37 二、离差分解和决定系数 n残差平方和不适用作为拟合度的评价指 标。 n用Y 的离差被回归值或X 的离差决定的程 度作为评价拟合度的标准。 n离差分解 SST = SSR + SSE （式33） 。 38 1、离差分解 n总离差平方和 SST= n其中 称为“回归平 方和”，记为SSR 。 n残差平方和 记为SSE。 + 39 n（3-3）式表明被解释变量Y的离差平方 和可以分解为两部分，一部分是回归平 方和，另一部分则是残差平方和。 n前一部分SSR相对后一部分SSE越大，说 明回归拟合程度越好，Y与X之间的线性 决定关系越明显。 40 2、决定系数 n为了突出这几部分之间的相对关系，将 （3-3）式两边同除以SST 得到： 1= + 式中的 正是反映解释变量（或回归直 线）对被解释变量决定程度的指标，称 为“决定系数”，通常用R 表示。 41 nR 的数值在0到1之间，是一个相对比重 指标，可以避免样本数量和样本数值、 单位的影响，因此在不同模型和不同样 本的回归分析中具有可比性，是比残差 平方和更合理的回归拟合度指标。 42 第五节 统计推断 一、最小二乘估计的分布和标准化 二、误差项方差的估计 三、参数的置信区间和假设检验 43 一、最小二乘估计的分布和标准化 n线性回归模型的统计推断需要以参数估计量的 概率分布为基础。 n根据对最小二乘估计量性质的分析，已知最小 二乘估计量服从以参数真实值为中心，以误差 项方差的一个比例为方差的正态分布。 44 n参数最小二乘估计量的这种分布性质，使得参 数估计量与真实值通过概率分布联系在一起， 从而可以通过参数估计量的分布性质推断参数 真实值的情况等 。 n在利用正态分布随机变量进行统计推断分析之 前，需要先把它们变换为服从标准正态分布的 统计量。对于b可以通过下列变换转化为服从 标准正态分布的随机变量 45 二、误差项方差的估计 n标准状态分布中包含未知参数 ,必须先 估计出来。 n 本身也是线性回归模型的重要组成部分 ，是反映这一部分情况的基本参数。 n因为 因此 是 的无偏估计。 46 n 称“残差的标准差”。 n用 代 ，得到的统计量服从t分布，而不 是正态分布。如： 服从自由度为n-2的t分布。 47 三、参数的置信区间和假设检验 n1、参数的置信区间 n2、模型参数的显著性检验 n3、其他假设检验 48 1、参数的置信区间（以参数 为例） n假设要求的置信度是95%，也就是显著 性水平 n根据t分布的意义，有： n整理该式得到： 49 n这就是参数 的置信度为95%的置信区 间，或者说区间估计。 n构造参数的置信区间是非常重要的。置 信区间限定了参数估计量与参数真实值 的偏差程度，使我们对变量关系的了解 更加深入和明确，对经济规律的可靠程 度和适用情况更有把握。区间估计常常 比点估计更加重要。 50 2、模型参数的显著性检验 n模型参数的显著性检验，即检验模型参 数是否显著异于0，是其中基本的一种假 设检验。 n两变量线性回归模型的基本出发点就是 两个变量之间存在因果关系，认为解释 变量是影响被解释变量变化的主要因素 ，而这种变量关系是否确实存在或者是 否明显，会在参数中反映出来。 51 n检验的具体方法如下：作原假设 备择假设 n仍然选择95%置信度，那么95%的可能 性 应该满足 52 n如果原假设 成立，也就是说可以认为 是等 于0的，那么就意味着： 95%的可能性会成立。 n如果结果该不等式不成立，应该拒绝接受原假 设，认为参数是显著的，变量关系是存在的。 如果该不等式不成立，就不能拒绝接受原假设 ，只能认为没有显著性，变量关系并不明显存 在。 53 第六节 预测 一、点预测 二、点预测的性质 三、区间预测 54 一、点预测 n预测就是以估计出参数的线性回归模型 为基础，对对应解释变量特定水平、未 来值的被解释变量水平进行估计判断。 n检验模型时通常把观测数据分成两部分 ，一部分用来进行回归估计参数，一部 分用来进行预测和评估模型的预测效果 。 55 n点预测公式 n预测残差（误差）： n由于 未知，因此预测误差也未知。 56 二、点预测的性质 1、线性性 是一个线性预测，线性性的意义仍然 是可以表示为 的线性组合。 57 2、无偏性 n 的第二个性质是无偏性，即是 的无 偏预测， 或 。 n这个性质也很容易证明，因为 0 58 3、预测方差和最小方差性 n作为随机变量，预测量 的方差也有重 要意义，方差大小也是影响预测可靠性 和价值的重要方面，利用预测量的分布 性质进行区间预测要用到它。 n根据与的关系，以及证明无偏性时得到 的展开式等有： 59 n这就是预测量 和预测误差 的方差。 60 三、区间预测 n有了上述对点预测量性质的分析，我们可以与 构造参数的区间估计一样，构造对的 预测置 信区间，或者说“区间预测”。 n先将 标准化为服从标准正态分布的统计量， 然后用 代替 ，得到服从t分布的统计量 。 61 n根据样本容量n，以及显著性水平 或 ，查t分布临界值表得 n 的置信区间为 62