第十部分典型相关分析.ppt

第十章 典型相关分析 v§10.1 引言 v§10.2 总体典型相关 v§10.3 样本典型相关 v§10.4 典型相关系数的显著性检验 §10.1 引言 v典型相关分析（canonical correlation analysis）是研 究两组变量之间相关关系的一种统计分析方法，它 能够有效地揭示两组变量之间的相互线性依赖关 系。 v典型相关分析是由霍特林（Hotelling,1935,1936）首 先提出的。 典型相关分析的应用例子 v在工厂里，考察产品的q个质量指标(y1,y2,yq)与原材料的p个 质量指标(x1,x2,xp)之间的相关关系； v牛肉、猪肉的价格与按人口平均的牛肉、猪肉的消费量之间 的相关关系； v初一学生的阅读速度、阅读才能与数学运算速度、数学运算 才能之间的相关关系； v硕士研究生入学考试的各科成绩与本科阶段一些主要课程成 绩之间的相关关系； v一组政府政策变量与一组经济目标变量之间的相关关系。 §10.2 总体典型相关 v一、典型相关的定义及导出 v二、典型相关变量的性质 v三、从相关矩阵出发计算典型相关 一、典型相关的定义及导出 v设x=(x1,x2,xp)和y=(y1,y2,yq)是两组随机变量，且 V(x)=11(0)，V(y)=22(0)，Cov(x, y)=12，即有 其中21=12。 v我们研究u=ax与v=by之间的相关关系，其中 a=(a1,a2,ap)，b=(b1,b2,bq) v Cov(u,v)=Cov(ax,by)=aCov(x,y)b=a12b V(u)=V(ax)=aV(x)a=a11a V(v)=V(by)=bV(y)b=b22b 所以 附加约束条件 V(u)=1，V(v)=1 即 a11a=1，b22b=1 在此约束条件下，求aRp和bRq，使得 (u,v)=a12b 达到最大。 v令 ，于是约束条件化为 =1，=1 利用柯西不等式(1.8.1)，有 由(1.8.3)式知，当=1时， 达到最大 值 ，其中 是非负定矩阵 的最大特征 值，1相应的单位特征向量。若取 (10.2.7) 则依 (1.8.1) 式知，不等式(10.2.7)中的等号成立。从而，当取 时，(u,v)=a12b达到最大值 1（显然11）。称 为第一对典型相关变量，称1为第一个典型相关系数。 v记m为12的秩，则 从而， 有m个正特征值，记为 ，相应的正交单位特征向量记为 1,2,m。 和 都具有相同的非零特征值。 v令 则1,2,m为 的相应于 的 正交单位特征向量；a1,a2,am为的相应于 的特征向量；b1,b2,bm为 的相应于 的特征向量。 v第一对典型相关变量u1,v1提取了x与y之间相关的最主要部分 ，如果这一部分还显得不够，可以在剩余相关中再求出第二 对典型相关变量u2=ax,v2=by，也就是a,b应满足标准化条件 且应使得第二对典型相关变量不包括第一对典型相关变量所 含的信息，即 (u2,u1)=(ax,a1x)=Cov(ax, a1x)=a11a1=0 (v2,v1)=(by,b1y)=Cov(by,b1y)=b22b1=0 在这些约束条件下使得 (u2,v2)=(ax,by)=a12b 达到最大。 v一般地，第i（1|，表明第一个典型相关系数大于两组原始 变量之间的相关系数。 §10.3 样本典型相关 v设数据矩阵为 则样本协方差矩阵为 S可用来作为的估计。当np+q时， 可分别作为 的估计；它们的非零 特征值 可用来估计 ； v相应的特征向量 作为a1,a2,am的估计， 作为b1,b2,bm的估计。 的正平方根rj称为第i个样本典型相 关系数， 称为第i对样本典型相关变量, i=1,2,m。 v中心化的m对典型变量为 将样本(xj,yj)，j=1,2,n代入上式，有 分别称uji和vij为（第j个样品的）xj和yj的第i个样本典型变量 得分。由约束条件 可得ui的样本方差 v同理可得vi的样本方差 v可画出第一对典型变量得分(uj1,vj1)，j=1,2,n的散点 图，该图能最大限度地呈现两组变量之间的相关性 ，也可用来检查是否有异常值出现。如需要，可再 画出第二对或更多对的典型变量得分散点图。 v样本典型变量对（在前述的约束条件下）使样本相 关系数达到最大，而非使（总体）相关系数达到最 大；同组的样本典型变量之间是样本不相关，而非 （总体）不相关；样本典型变量的样本方差为1，而 非（总体）方差为1。 v例10.3.1 某康复俱乐部对20名中年人测量了三个生 理指标：体重(x1)、腰围(x2)、脉搏(x3)和三个训练指 标：引体向上(y1)、起坐次数(y2)、跳跃次数(y3)。其 数据列于表10.3.1。 表10.3.1某康复俱乐部的生理指标和训练指标数据 编 号x1x2x3y1y2y3 11913650516260 21893752211060 3193385812101101 416235621210537 518935461315558 61823656410142 72113856810138 81673460612540 917631741520040 10154335617251250 1116934501712038 12166335213210115 13154346414215105 14247465015050 15193364667031 16202376212210120 17176375446025 1815732521123080 1915633541522573 201383368211043 v 的特征值分别为0.6630、0.0402和0.0053 ，于是 r1=0.797，r2=0.201，r3=0.073 相应的样本典型变量系数为 因此，第一对样本典型变量为 如果需要，第二对样本典型变量为 v例10.3.2 在研究组织结构对“职业满意度”的影响时，作为其 中一部分，邓讷姆(Dunham)调查了职业满意度与职业特性相 关的程度。对从一大型零售公司各分公司挑出的n=784个行 政人员，测量了p=5个职业特性变量：用户反馈(x1)、任务重 要性(x2)、任务多样性(x3)、任务特性(x4)及自主权(x5)和q=7 个职业满意度量：主管满意度(y1)、事业前景满意度(y2)、财 政满意度(y3)、工作强度满意度(y4)、公司地位满意度(y5)、 工种满意度(y6)及总体满意度(y7)。对784个被测者的样本相 关矩阵为 v 样本典型相关系数和样本典型变量系数列于表10.3.2中。 表10.3.2 典型相关系数和典型变量系数 标准化变量 x1*0.420.340.860.790.03 x2*0.200.670.440.270.98 x3*0.170.850.260.470.91 x4*0.020.360.421.040.52 x5*0.460.730.980.170.44 rj0.550.240.120.070.06 标准化变量 y1*0.430.090.490.130.48 y2*0.210.440.780.340.75 y3*0.040.090.480.610.35 y4*0.020.930.010.400.31 y5*0.290.100.280.450.70 y6*0.520.550.410.690.18 y7*0.110.030.930.270.01 第一对样本典型变量为 Ø根据典型系数，u1*主要代表了用户反馈和自主权这 两个变量，三个任务变量显得并不重要；而v1*主要 代表了主管满意度和工种满意度变量，其次代表了 事业前景满意度和公司地位满意度变量。我们也可 从相关系数的角度来解释典型变量，原始变量与第 一对典型变量间的样本相关系数列于表10.3.3中。 v所有五个职业特性变量与第一典型变量u1*有大致相同的相关 系数，故u1*可以解释为职业特性变量，这与基于典型系数的 解释不同。v1*主要代表了主管满意度、事业前景满意度、公 司地位满意度和工种满意度，v1*可以解释为职业满意度公 司地位变量，这与基于典型系数的解释基本相一致。第一对 典型变量u1*与v1*的样本相关系数r1=0.55，可见，职业特性与 职业满意度之间有一定程度的相关性。 表10.3.3 原始变量与典型变量的样本相关系数 原始变量样本典型变量原始变量样本典型变量 xu1*v1*yu1*v1* x1：用户反馈0.830.46y1：主管满意度0.420.76 x2：任务重要性0.730.40y2：事业前景满意度0.360.64 x3：任务多样性0.750.42y3：财政满意度0.210.39 x4：任务特性0.620.34y4：工作强度满意度0.210.38 x5：自主权0.860.48y5：公司地位满意度0.360.65 y6：工种满意度0.450.80 y7：总体满意度0.280.50 §10.4 典型相关系数的显著性检验 v一、全部总体典型相关系数均为零的检验 v二、部分总体典型相关系数为零的检验 一、全部总体典型相关系数均为零的检验 v设 。又设S为样本协差阵，且np+q 。 v考虑假设检验问题： H0：1=2=m=0 H1：1,2,m至少有一个不为零 其中m=minp,q。若检验接受H0，则认为讨论两组变量之间 的相关性没有意义；若检验拒绝H0，则认为第一对典型变量 是显著的。(10.4.1)式实际上等价于假设检验问题 H0：12=0，H1：120 H0成立表明x与y互不相关。 (10.4.1) 似然比检验统计量为 对于充分大的n，当H0成立时，统计量 在给定的下，若 ，则拒绝H0，认为典 型变量u1与v1之间的相关性是显著的；否则，就认 为第一个典型相关系数不显著。 v例10.4.1 在例10.3.1中，假设为多元正态数据，欲 检验： H0：1=2=3=0，H1：10 它的似然比统计量为 查2分布表得， ， 因此在=0.10的显著性水平下，拒绝原假设H0，也 即认为至少有一个典型相关是显著的。 二、部分总体典型相关系数为零的检验 v若H0：1=2=m=0经检验被拒绝，则应进一步检验假设 H0：2=m=0 H1：2,m至少有一个不为零 若原假设H0被接受，则认为只有第一对典型变量是有用的； 若原假设H0被拒绝，则认为第二对典型变量也是有用的。 v如此进行下去，直至对某个k，假设H0：k+1=m=0被接受 ，这时可认为只有前k对典型变量是显著的。 v对于假设检验问题 H0：k+1=m=0 H1：k+1,m至少有一个不为零 其检验统计量为 对于充分大的n，当H0为真时，统计量 近似服从2 (pk)(qk) 。给定，若 ，则拒绝H0，认为k+1是显著的，即第k+1对典型变量显著相 关。 v以上的一系列检验实际上是一个序贯检验，检验直到对某个 k值H0未被拒绝为止。事实上，检验的总显著性水平已不是 了，且难以确定。还有，检验的结果易受样本容量大小的影 响。因此，检验的结果只宜作为确定典型变量个数的重要参 考依据，而不宜作为惟一的依据。通常选择尽可能小的k。 v例10.4.2 在例10.3.1中，欲进一步检验： H0：2=3=0，H1：20 检验统计量为 故接受H0，即认为第二个典型相关是不显著的。因 此，只有一个典型相关是显著的。