数学实验06判别分析.ppt

判别分析 阜 据 君 痈 澈 乏 损 筒 罢 柱 桥 勿 詹 谚 勿 许 脯 诛 锡 灯 镐 跪 某 皿 富 隘 一 碱 乱 税 董 枚 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 3.1 判别分析 (discriminant analysis) 某些昆虫的性别只有通过解剖才能够判别 但雄性和雌性昆虫在若干体表度量上有些综 合的差异。人们就根据已知雌雄的昆虫体表 度量（这些用作度量的变量亦称为预测变量 ）得到一个标准，并以此标准来判别其他未 知性别的昆虫。 这样虽非100%准确的判别至少大部分是对的 ，而且用不着杀生。此即判别分析。 爹 龚 辑 横 粤 陛 朋 待 六 须 缄 炸 半 苹 旧 趁 钩 铝 狸 囚 鹿 咀 爹 唯 倦 藻 衰 怕 庄 惨 讫 轿 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 判别分析(discriminant analysis) 判别分析和聚类分析有何异同？ 判别分析和聚类分析都是分类. 但判别分析是在已知对象有若干类型和一批 已知样品的观测数据(训练样本)后的基础上 根据某些准则建立判别式.在聚类分析中，人 们一般事先并不知道应该分成几类及哪几类 ，全根据数据确定。 可以先聚类以得知类型,再进行判别. 秽 懒 篱 妻 决 渐 撩 吱 拔 罩 帕 顺 诗 痉 胎 纪 镇 妓 湃 俗 父 娟 掏 折 庚 末 茶 著 按 思 揽 站 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 判别分析例子 数据disc.txt:企图用一套打分体系来描绘企 业的状况。该体系对每个企业的一些指标（ 变量）进行评分。 指标有:企业规模（is）、服务(se)、雇员工 资比例(sa)、利润增长(prr)、市场份额(ms) 、市场份额增长(msr)、流动资金比例(cp)、 资金周转速度(cs)等. 另外，有一些企业已经被某杂志划分为上升 企业、稳定企业和下降企业。 邱 凑 残 咆 辛 净 瞩 貌 峰 辨 欧 辣 阅 量 湍 遏 鸡 夫 久 沏 流 汇 类 肢 拖 瘁 徊 下 六 殊 泊 胰 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 希望根据这些企业的上述变量的打分及其已知的类 别(三个类别之一：group-1代表上升，group-2代表 稳定，group-3代表下降)找出一个分类标准，以对 尚未被分类的企业进行分类。 该数据有90个企业（90个观测值），其中30个属于 上升型，30个属于稳定型，30个属于下降型。这个 数据就是一个“训练样本”。 判别分析例子 旅 颜 吁 粒 勒 挑 吊 界 帖 磐 堰 狰 协 径 稽 龚 浮 拉 诀 捉 尹 途 迫 酥 氟 鲁 洽 侩 丽 顽 懦 退 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 Disc.sav数据 诽 主 腾 秧 犊 悔 咒 畏 懒 欠 何 黔 伙 狼 舔 史 柴 批 踏 垃 式 狞 影 垮 啡 讳 融 夺 翌 沈 啡 辰 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 1. 根据距离判别的思想 Disc.txt数据有8个用来建立判别标准(或判别 函数)的(预测)变量,另一个(group)是类别 每一个企业的打分在这8个变量所构成的8维 空间中是一个点。这个数据在8维空间有90个 点， 由于已知所有点的类别，可以求得每个类型 的中心。这样只要定义了距离，就可以得到 任何给定的点（企业）到这三个中心的三个 距离。 茄 烈 扮 延 悦 漆 港 散 跪 五 蛛 险 列 搬 凡 尝 陷 虑 料 仿 旅 宾 尖 察 巧 高 删 雾 腕 承 彤 句 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 最简单的办法就是:某点离哪个中心距离最近 ，就属于哪一类。 一个常用距离是Mahalanobis距离。 用来比较到各个中心距离的数学函数称为判 别函数(discriminant function). 这种根据远近判别的思想，原理简单，直观 易懂。为判别分析的基础 1. 根据距离判别的思想 辉 诱 兜 畦 饲 贺 腕 圭 恋 崇 秩 课 虞 苏 类 染 翱 汝 闲 擅 姨 椎 卑 柴 衫 惭 辟 万 度 恃 拧 劲 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 距离判别法 假设有两个总体G1和G2, 如果能够定 义点x到它们的距离D(x,G1)和D(x,G2), 则 如果D(x,G1) 0即D(x,G1)D(x,G2)则 xG2 如果W(x)=0即D(x,G1)=D(x,G2)则待判 倔 泪 钮 拿 昏 扯 拭 关 衡 院 袁 深 管 礁 懊 庭 峡 颁 澎 飞 阻 智 担 爹 搅 实 氧 付 关 脉 毯 谨 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 当m(1), m(2), S 已知时, 令a= S-1(m(1)- m(2) ) (a1, ap),则 显然W(x)为x1, xp的线性函数, 称为线 性判别函数; a称为判别系数. 堡 量 疽 碧 奈 猾 抖 檀 呐 脏 绦 隔 搓 铭 竞 啼 陇 咯 庆 穷 即 搪 全 猖 痈 揽 距 敢 杏 刚 暴 捶 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 当m(1), m(2), S 未知时, 可通过样本来估计: 判别函数为 为来自Gi的样本为(i=1,2) 沃 虱 掩 茹 楔 鞠 像 湖 滔 搏 移 疥 序 亥 牵 系 惩 钎 瞒 岛 赦 募 笺 望 憾 言 啊 棵 跪 箭 街 甸 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 非线性判别函数:当S(1) S(2)时 这是x的一个二次函数, 按照距离最近原则 ,判别准则仍然为 如果W(x)0即D(x,G1)D(x,G2)则 xG2 如果W(x)=0即D(x,G1)=D(x,G2)则待判 化 揽 憾 澎 诫 冒 鹰 毛 导 下 贩 珐 撤 凶 劝 咋 擎 桩 计 胎 摔 付 牡 帽 看 谣 祥 铅 志 梗 利 凡 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 多总体时的线性判别函数:当S(1)=S(k)=S时 记 相应的准则为: 如果对一切ji, Wij(x)0, 则 xGi 如果有某一个Wij(x)=0, 则待判. 当m(i), S(i) 未知时, 可通过样本来估计 锄 虎 忍 浩 沫 安 蓝 啼 源 鬼 荔 支 的 逐 傀 载 普 寨 叠 炕 大 管 吾 器 掣 给 畦 玫 椎 曳 那 耙 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 2. Fisher判别法(先进行投影) Fisher判别法是一种先投影的方法。 考虑只有两个(预测)变量的判别问题。 假定只有两类。数据中的每个观测值是二维 空间的一个点。见下页图。 这里只有两种已知类型的训练样本。一类有 38个点(用“o”表示),另一类有44个点(用“*”表 示)。按原来变量(横坐标和纵坐标)，很难将 这两种点分开。 瓶 伍 计 铆 厄 泪 断 老 瘩 或 词 踩 秘 烙 圆 珊 漳 倾 六 猿 奔 伎 郡 气 术 跪 姜 猾 豪 诲 柞 过 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 -4-20246 -4-3-2-10123 弓 坞 糟 脖 摘 蓄 寸 彼 蔽 摇 珠 疹 惩 芦 什 俯 擦 掣 昏 苞 靴 斩 煌 孜 碱 滔 撤 彼 辐 淌 葫 逆 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 于是就寻找一个方向，下页图上的虚线方 向，沿该方向朝和这个虚线垂直的一条直 线进行投影会使得这两类分得最清楚。可 以看出，如果向其他方向投影，判别效果 不会比这个好。 有了投影之后，再用前面讲到的距离远近 的方法得到判别准则。这种先投影的判别 方法就是Fisher判别法。 2. Fisher判别法(先进行投影) 驾 十 么 侩 侄 闰 哲 科 码 崩 摩 贸 熔 趟 范 线 够 镑 斡 滁 凄 嘎 恳 译 爬 兼 登 崭 堤 尿 鸣 孺 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 Fisher判别法的数学 蔓 赊 忍 慎 抬 物 旬 些 硒 责 栅 念 界 渭 岸 泌 参 陨 哟 锭 伺 报 色 愧 噬 痴 辫 星 蚂 简 寺 晕 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 练习： 中小企业的破产问题研究 为了研究中小企业的破产模型，选定4个经济指标 ： X1总负债率（现金收益/总负债） X2收益性指标（纯收入/总财产） X3短期支付能力（流动资产/流动负债） X4生产效率性指标（流动资产/纯销售额） 对17个破产企业（1类）和21个正常运行企业（ 2类）进行了调查，得如下资料： 溉 神 辉 趋 邀 逃 删 继 校 维 晓 半 插 饿 诞 吴 毅 亮 便 捎 始 弛 产 青 涨 廖 甚 痛 里 显 苦 厢 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 总负债率收益性指标短期支付能力生产效率指标类别 -.45-.411.09.451 -.56-.311.51.161 .06.021.01.401 -.07-.091.45.261 -.10-.091.56.671 -.14-.07.71.281 -.23-.30.22.181 .07.021.31.251 .01.002.15.701 -.28-.231.19.661 .15.051.88.271 .37.111.99.381 -.08-.081.51.421 .05.031.68.951 .01.001.26.601 .12.111.14.171 -.28-.271.27.511 .51.102.49.542 .08.022.01.532 贰 锁 愈 扩 慷 滦 忧 瞳 滴 奏 碳 柄 值 沾 冤 叠 们 隶 恨 宵 卓 橙 练 件 翅 丽 帅 尊 宙 粥 按 督 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 .38.113.27.552 .19.052.25.332 .32.074.24.632 .31.054.45.692 .12.052.52.692 -.02.022.05.352 .22.082.35.402 .17.071.80.522 .15.052.17.552 -.10-1.012.50.582 .14-.03.46.262 .14.072.61.522 -.33-.093.01.472 .48.091.24.182 .56.114.29.452 .20.081.99.302 .47.142.92.452 .17.042.45.142 .58.045.06.132 .04.011.50.71待判 -.06-.061.37.40待判 程 拔 走 盐 刷 兔 港 匿 赠 炊 硕 簧 劣 骋 爽 株 峨 近 诡 捌 养 膏 劫 丝 狗 围 躇 锐 蹲 彩 瓤 现 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 3.2 判别分析要注意的问题 训练样本中必须包含所有要判别的类型，分 类必须清楚，不能有混杂。 要选择好可能用于判别的预测变量。这是最 重要的。当然，在应用中，选择余地不见得 有多大。 判别分析是为了正确地分类，但同时也要注 意对未知样本的判定不一定总会得到正确的 结果。所以我们需要对错判率进行进一步的 思考和研究。 师 弄 讽 哪 瘴 汽 棕 公 菱 菇 蛆 伤 孙 臭 坑 崭 复 硷 冉 琶 吁 檄 背 谭 且 廖 冯 啼 俩 柯 蛙 制 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 判别分析的Matlab命令：calssify 铲 盖 挥 猫 珍 跨 佰 筹 诣 皇 爵 硕 锻 羞 献 涎 缔 惹 亢 扁 吾 的 膨 艺 玫 丘 傲 副 糊 鬼 晚 悸 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 附录 渝 伍 书 泛 脉 鄂 雁 刨 鸣 酗 娩 绊 架 擦 敝 迢 懦 驹 痰 矣 缮 卑 抄 认 揩 志 滇 喊 铁 垄 田 铬 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 费歇(Fisher)判别法 并未要求总体分布类型 工作原理就是对原数据系统进行坐标变 换,寻求能够将总体尽可能分开的方向. 点x在以a为法方向的投影为ax 各组数据的投影为 钳 瘟 姑 钢 勿 对 吧 返 借 茸 调 墙 讼 专 咏 靠 谜 梦 建 谓 挂 斜 雀 愧 泉 霹 涂 具 铺 舒 揩 颂 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 将Gm组中数据投影的均值记为 有 记k组数据投影的总均值为 有 骂 菜 浙 痈 捉 举 辞 巳 雏 玛 问 前 革 贼 坤 垣 蚜 剃 氟 出 富 秩 昼 暖 胃 嗜 甚 耍 滚 躬 晓 寅 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 组间离差平方和为: 这里 组内离差平方和为: 这里 婪 伍 眺 巩 诱 莆 帽 匪 昏 疮 肯 蛮 枢 呕 厅 炊 痢 板 族 琉 把 农 降 脓 屉 肖 意 砌 戊 矗 窥 瘤 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 希望寻找a使得SSG尽可能大而SSE尽可能小,即 记方程|B-lE|=0的全部特征根为l1 lr0, 相应 的特征向量为v1,vr. D(a)的大小可以估计判别函 数yi(x)=vix (= ax)的效果. 记pi为判别能力(效率 ), 有 最大的值为方程|B-lE|=0的最大特征根l1. 使 量 蔽 短 卵 蓟 凋 帜 壬 低 器 定 炬 联 植 嗜 娄 耻 散 锭 苑 郊 特 赔 掌 羔 遇 垦 兔 纸 宝 暮 阴 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析 m个判别函数的判别能力定义为 据此来确定选择多少判别函数。 些 侠 拓 骇 评 球 鹃 锋 吨 作 脑 手 雍 豺 瘪 艇 令 嗡 咱 售 里 渐 阵 安 醇 赠 霍 亢 赖 撂 牌 便 数 学 实 验 0 6 判 别 分 析 数 学 实 验 0 6 判 别 分 析