商务智能复习.pdf
《商务智能复习.pdf》由会员分享,可在线阅读,更多相关《商务智能复习.pdf(22页珍藏版)》请在三一文库上搜索。
1、商 务 智 能 第 1 章商务智能概述 1.1 商业决策需要商务智能 一、数据、信息和知识 1、数据:符号、事实和数字信息:有用的数据 关系:信息是经过某种加工处理后的数据,是反映客观事物规律的一些数据。数据是信息的载体, 信息是对数 据的解释。 知识:对信息内容进行提炼、比较、挖掘、分析、概括、判断和推论。 2、决策离不开信息、知识 决策需要信息,更离不开知识; 知识更多地表现为经验-学习的结晶; 学习的过程是不断地对信息加工处理; 信息的收集、加工、传输与利用贯穿着决策各阶段的工作过程。 信息已成为企业经营中重要性仅次于人才的第二大要素。 决策 =信息 +经验 +冒险 商务智能是对企业信息
2、的科学管理。 3、商务智能支持商业决策 商务智能如何创造知识和价值 1.2 商务智能简介 商务智能这一术语1996年由Gartner 公司的分析师Howard Dresner 首次提出 ,他提出商务智能描述了一系 列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。 一、商务智能概念 商务智能是整合了先进信息技术与创新管理理念的结合体,集成了企业内外的数据,进行加工并从中提 取能够创造商业价值的信息,面向企业战略并服务于管理层、业务层,指导企业经营决策,提升企业竞争力, 涉及企业战略、管理思想、业务整合和技术体系等层面,促进信息到知识再到利润的转变,从而实现更好的 绩效。 先进信息
3、技术:商务智能是多项技术的综合应用; 集成了企业内外的数据,进行加工并从中提取能够创造商业价值的信息:商务智能的层次; 企业战略:商务智能服务于企业战略; 管理层、业务层:商务智能用户多样性; 更好的绩效:商务智能提升企业绩效。 二、商务智能的价值 1、在商务智能背后有一些商业驱动力,如: 增加收入,减少费用和更有效地竞争的需求。管理和模拟当前商业环境复杂性的需求。减少IT 费用和 事物运动数据信息 记录解释 利用已有公司业务信息的需求。 2、商务智能的价值 制定合适的市场营销策略;改善顾客智能;经营成本与收入分析;提高风险管理能力;改善业务 洞察力;提高市场响应能力。 1.3 商务智能系统的
4、功能 数据集成:数据是决策分析的基础; 信息呈现:商务智能的初步功能; 经营分析:运营指标、运营业绩和财务分析; 战略决策支持:合理的投资组合。 1.4 商务智能应用领域 银行:美国银行家协会(ABA) 预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9。 分析客户使用分销渠道的情况和分销渠道的容量;建立利润评测模型;客户关系优化;风险控制等 电子商务:网上商品推荐;个性化网页;自适应网站 生物制药、基因研究:DNA 序列查询和匹配;识别基因序列的共发生性 电信:欺诈甄别;客户流失 保险、零售 政府部门、教育机构、医疗机构和公用事业等。利用商务智能的企业现在已越来越多,遍及各行各业
5、。 第 13 章商务智能发展 一、商务智能的发展 事务处理系统TPS管理信息系统MIS 主管信息系统EIS决策支持系统DSS智能决策支持系统IDSS 二、商务智能应用趋势 更成熟的数据分析和展现技术;从战略型的BI 到操作型或者实时型的BI;关注绩效、关注价值、关注 数据质量。 三、商务智能在中国的发展 商务智能在中国的发展尚处于起步阶段,大部分企业对商务智能仍然缺乏必要的了解。 国、内外商务智能软件企业的实施和应用水平有很大的差距,目前国外有一些企业已进入多维分析和数 据挖掘阶段,而国内商务智能的发展只是近几年的事情,商务智能应用的范围和程度都与国外企业有很大差 距。绝大多数实施商务智能的企
6、业的应用水平停留在基本的数据整合阶段和简单的统计分析阶段,真正实现 深度数据分析的项目很少。 四、中国商务智能应用存在的问题 起步较晚:国内管理者想要利用商务智能解决缺乏有效信息支持决策的管理模式和操作准则越来越体现出 缺乏理性的缺点。因此国内企业管理者试图通过商务智能解决上述问题,但这种需求比国外发达国家滞后了。 差距拉大:目前国内各行业商务智能的发展水平仍是参差不齐,商务智能在行业内也存在差距,不同规模 的企业应用商务智能的差距也在拉大。 普及有待时日:技术、观念和管理水平的相对落后,商务智能的普及还需要较长时间 供应商有待成长 五、商务智能动态 1、商务智能发展的特点 实时;标准化;嵌入
7、式商务智能;移动商务智能;大众化趋势;供应商的动向;易用性。 2、2012 年商业智能的6 大预测 内存中的分析;可视化发掘;大数据;移动商业智能;云商业智能;社交,协作的商业智能。 第 2 章商务智能系统架构 2.1 商务智能系统组成 1、体系结构 (Architecture) :体系结构是指一整套的规则和结构,为一个系统或产品的整体设计提供主框架。 2、商务智能的体系结构 一个商务智能的体系结构是通过识别和理解数据在系统中的流动过程和数据在企业中的应用过程来提供 商业智能系统应用的主框架。 商务智能系统构架(见书P27) 3、商务智能系统的组成 数据源与数据提取;数据仓库;访问工具;决策支
8、持工具;商务智能应用;系统管理;元数 据管理。 2.2 数据集成 数据集成是在逻辑上或物理上把不相同来源、格式、特点的数据有机地整合,从而为企业提供全面的数 据共享。 目的:运用一定的技术手段把分布在异构系统中的数据按一定的规则组织成一个整体,使用户能有效地对其 进行共享、分析,因此数据集成是构建数据仓库的基础。 1、数据集成的常用方法 数据联邦;基于中间件模型;数据仓库;主数据管理 2、主数据管理与数据仓库的关系 联系:二者相辅相成,都是减少数据冗余和不一致性的跨部门集中式系统,都依赖ETL 、元数据管理等技 术保证数据质量。数据仓库系统的分析结果可以输入到主数据管理系统中。 区别: 主数据
9、管理是为呼叫中心、电子商务和CRM 等业务系统提供联机服务,数据仓库面向分析型的应用; 主数据管理涉及的数据量相对较小,在运行中对主数据的集成实时性要求比数据仓库高。 3、主数据管理与ODS 的关系 实时性要求具有共性,但主数据管理系统不储存ODS 系统的交易数据。 第 3 章数据仓库 3.1 从数据库到数据仓库 1、企业数据处理分为:事务型处理和分析型处理 2、事务型处理 即操作型处理,是指对数据库的联机操作处理OLTP。事务型处理是用来协助企业对响应事件或事务的日常 商务活动进行处理。 它是事件驱动、面向应用的,通常是对一个或一组记录的增、删、改以及简单查询等(大量、简单、重复 和例行性)
10、。 在事务型处理环境中,数据库要求能支持日常事务中的大量事务,用户对数据的存取操作频率高而每次操 作处理的时间短。 3、分析型处理 分析型处理:用于管理人员的决策分析,例如DSS、 EIS 和多维分析等。它帮助决策者分析数据以察看趋 向、判断问题。 分析型处理经常要访问大量的历史数据,支持复杂的查询。 分析型处理过程中经常用到外部数据,这部分数据不是由事务型处理系统产生的,而是来自于其他外部数 据源。 4、事务型处理数据和分析型处理数据的区别(见书P36) 5、数据库系统的局限性 数据库适于存储高度结构化的日常事务细节数据。决策分析型数据是多维性,分析内容复杂。 在决策分析环境中,如果事务处理
11、的细节数据量太大一方面会严重影响分析效率,另一方面这些细节数据 会分散决策者的注意力。 当事务型处理环境和分析型处理环境在同一个数据库系统中,事务型处理对数据的存取操作频率高,操作 处理的时间短,而分析型处理可能需要连续运行几个小时,从而消耗大量的系统资源。 决策型分析数据的数据量大,这些数据有来自企业内部的,也有来自企业外部的。来自企业外部的数据又 可能来自不同的数据库系统,在分析时如果直接对这些数据操作会造成分析的混乱。对于外部数据中的一些 非结构化数据,数据库系统常常是无能为力。 6、多库系统的限制 可用性:源站点或通信网络故障将导致系统瘫痪, 源站点不能通过网络在线联入多库系统。 响应
12、速度:全局查询多级转换和通信传输, 延迟和低层效率影响响应速度。 系统性能:总体性能取决于源站点中性能最低的系统, 影响系统性能的发挥; 系统开销:每次查询要启动多个局部系统, 通信和运行开销大。 3.2 数据仓库 1、数据仓库的发展 1981 年NCR 公司为 Wal Mart 建立了第一个数据仓库。 1988 年IBM 公司的研究员Barry Devlin 和 Paul Murphy 创造性的提出了一个新术语?a?a数据仓库 1991 年Bill Inmon正式出版 Building the Data 、Warehouse ,第一次给出了数据仓库的清晰定义和操 作性极强的指导意见 1993
13、 年拉尔夫 .金博尔出版了The Data Warehouse Toolkit ,在具体构建方法上提出不同意见 1996 年加拿大的IDC 公司调查了62 家实现了数据仓库的欧美企业,结果表明:数据仓库为企业提供 了巨大的收益。 2、数据仓库 (Data Warehouse) 含义:数据仓库用来保存从多个数据库或其它信息源选取的数据, 并为上层应用提供统一用户接口,完成 数据查询和分析。支持整个企业范围的主要业务来建立的,主要特点是,包含大量面向整个企业的综合信息 及导出信息。 Bill Inmon对数据仓库所下的定义:数据仓库是面向主题的、集成的、稳定的、随时间变化的数据集合,用 以支持管理
14、决策的过程。 3、数据仓库的技术要求 复杂分析的高性能体现:涉及大量数据的聚集、综合等,在进行复杂查询时经常会使用多表的联接、累计、 分类、排序等操作。 对提取出来的数据进行集成:数据仓库中的数据是从多个应用领域中提取出来的,在不同的应用领域和不 同的数据库系统中都有不同的结构和形式,所以如何对数据进行集成也是构建数据仓库的一个重要方面。 对进行高层决策的最终用户的界面支持:提供各种分析应用工具。 4、数据仓库结构 3.7 数据仓库模型 1、概念模型设计 概念模型用来表达信息世界中的信息结构,通常人们利用概念模型定义实际的数据需求。 概念模型最常用的表示方法是实体关系法(E-R 法) ,E-R
15、 图将现实世界表示成信息世界,便于向计算机 的表示形式进行转化。 目前的数据仓库实际上是通过主题分析表示概念模型,每个主题用若干维和度量表示。维度是人们观察世 界的特定角度,度量是确定与维度分析有关的数值信息。 2、逻辑模型设计 主要工作:a 分析主题域进行概念模型到逻辑模型的转换;b 确定粒度层次划分;c 确定数据分割策略;d 关系模式定义;e 定义记录系统。 3、数据仓库常用的两种基本逻辑模型: 星型模型:星型模型的核心是事实表,事实表把各种不同的维表连接起来。 雪花模型:雪花模型是星型模型的扩展,某些维表中的数据可以进一步分解到附加的表中。 4、物理模型设计 物理模型设计因素:a I/O
16、 存取时间; b 空间利用率;c 维护的代价。 主要工作: a全面了解所选用的数据库管理系统,确定一个最适合应用要求的物理结构,特别是存储结构和 存取方法。 b 了解数据环境、数据的使用频率、使用方式、数据规模以及响应时间要求等。c 了解外部存储设 备的特征。 5、确定一个最适合应用要求的物理结构 估计存储容量;确定数据的存储计划;确定索引策略;确定数据存放位置;确定存储分配。 3.4 元数据 数据仓库的所有数据都要通过元数据来管理和控制。 1、元数据 元数据:是用来描述数据的数据。 元数据定义了数据仓库有什么,指明了数据仓库中数据的内容和位置,刻画了数据的抽取和转换规则,存 储了与数据仓库主
17、题有关的各种商业信息,而且整个数据仓库的运行都是基于元数据的。 2、元数据的分类 技术元数据:与数据仓库开发、管理和维护相关的数据。(如数据源的元数据、数据模型的源数据、数据仓 库映射的源数据) 业务元数据:从业务角度描述数据,为管理及业务分析人员服务。(如数据仓库使用的元数据) 3、元数据的存储方式 元数据有两种常见存储方式:以数据集为基础,第个数据集对应元数据文件; 以数据库为基础的,即元数据库(推荐)。 3.5 数据抽取、转换和加载 ETL 是构建数据仓库的重要环节,也是企业数据管理的核心,对数据仓库的后续环节影响较大。 1、数据抽取( Extraction ) 确认数据源;数据抽取技术
18、 2、数据转换(Transform) 数据转换的的主要任务是对数据粒度以及不一致的数据进行转换。 数据转换的形式:格式修正;计算值和导出值;度量单位的转化化;日期/时间转化;特征集合转;信息的 合并;汇总等 3、数据清洗( Cleaning) 数据清洗也称数据净化,主要指对数据字段的有效值检验。 有效值的检验通常包括:范围检验;枚举字段取值;相关检验要求。 4、数据装载(Load) 数据装载方式: a 基本装载:按照装载的目标表,将转换过的数据输入到目标表中去。 b 追加:如果目标表中已经存在数据,追加过程在保存已有数据的基础上增加输入数据。 c 破坏性合并:用新输入数据更新目标记录数据。 d
19、 建设性合并:保留已有的记录,增加输入的记录,并标记为旧记录的替代。 数据装载类型: a 初始装载:这是第一次对整个数据仓库进行装载。 b 增量装载:由于源系统的变化,数据仓库需要装载变化的数据。 c 完全刷新:这种类型的数据装载用于周期性重写数据仓库。 5、数据处理的有关讨论 数据库中的空缺值;不一致的数据;样本空间的大小;与分析无关的数据不要装入数据仓库;数 据离散化;数据规范化 3.6 操作数据存储 很多情况下,DB-DW 的两层体系结构并不能涵盖企业所有的数据处理要求。 日常管理和控制决策的问题并不是联机事务处理,又算不上高层决策分析,需要企业全局一致的、细节的、 当前或接近当前的数据
20、,又需要面向主题、集成的数据环境。因此需要DB-DW 之间存在着一个中间层次,即 操作型数据存储ODS(Operational Data Store ) 。 1、ODS 和 DW 的比较(见书P44) 3.7 数据集市( Data Mart ) 1、数据集市:数据仓库是一种反映主题的全局性数据组织。但是,全局性数据仓库往往太大,在实际应用中 将它们按部门或个人分别建立反映各个子主题的局部性数据组织,它们即是数据集市。因此,有时我们也称 它为部门数据仓库。 2、数据集市类型: 按照数据获取来源:独立型:直接从操作型环境获取数据;从属型:从企业级数据仓库获取数据。 3、数据仓库VS 数据集市 数据
21、仓库与数据集市的关系类似于传统关系数据库系统中的基表与视图的关系。 数据集市的数据来自数据仓库,它是数据仓库中数据的一个部分与局部,是一个数据的再抽取与组织的过 程。 注:数据集市不是数据仓库 数据集市并非小的数据仓库 多个数据集市集合并不构成数据仓库 第 4 章在线分析处理 OLAP 发展背景 60 年代,关系数据库之父E.F.Codd 提出了关系模型,促进了联机事务处理(OLTP)的发展(数据以表格的形 式而非文件方式存储)。 注: OLTP 在线事务处理通常是一个或一组记录的查询和修改,用于处理短暂的交易事务。 1993 年, E.F.Codd 提出了多维数据库和多维分析的概念,即OLA
22、P 。 (认为 OLTP 已不能满足终端用户对数 据库查询分析的需要,SQL 对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析 需要对关系数据库进行大量计算才能得到结果,而查询的结果并不能满足决策者提出的需求) 4.1 OLAP 简介 联机分析处理 (OnLine Analysis Processing ,OLAP )在数据仓库系统中,联机分析处理是重要的数据分析 工具。 OLAP 的基本思想是从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。 OLAP 是独立于数据仓库的一种技术概念。 当 OLAP 与数据仓库结合时,OLAP 的数据源为数据仓库,数据仓库的
23、大量数据是根据多维方式组织的。 1、OLAP 的定义 OLAP委员会的定义:OLAP( 联机分析处理)是使分析人员、管理人员或执行人员能够从多种角度对从原始 数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取, 从而获得对数据的更深入了解的一类软件技术。 OLAP的目标是满足决策支持或多维环境特定的查询和报表需求,它的技术核心是“维”这个概念,因此 OLAP 也可以说是多维数据分析工具的集合。 2、OLAP 的基本概念 维:是人们观察数据的特定角度,是考虑问题时的一类属性。 维的层次:人们观察数据的某个特定角度(即某个维 )还可以存在细节程度不同的各
24、个描述方面。 维的成员:维的一个取值。是数据项在某维中位置的描述。 多维数组:维和变量的组合表示。一个多维数组可以表示为:(维 1,维 2,?-,维 n,变量 ) 数据单元 (单元格 ):多维数组的取值 3、超立方结构(Hypercube)多维数据集 立方体或超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。 数据的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性(收缩超立方结构,这种结构的数 据密度更大 ,数据的维数更少,并可加入额外的分析维)。 4、OLAP 的特点 快速性Fast:用户对OLAP 的快速反应能力有很高的要求。 可分析性Analysis :OLAP
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 商务 智能 复习
链接地址:https://www.31doc.com/p-5349012.html