商业智能BI_数据分析平台解决方案.docx
《商业智能BI_数据分析平台解决方案.docx》由会员分享,可在线阅读,更多相关《商业智能BI_数据分析平台解决方案.docx(41页珍藏版)》请在三一文库上搜索。
1、数据分析平台解决方案成都四方伟业软件股份有限公司2017年1月数据分析平台解决方案目录1. 背景概述52. 现状分析62.1. 主流BI模式62.1.1. 传统BI模式62.1.2. 敏捷BI模式72.2. 平台推荐模式83. 整体需求1.0.3.1. 数据源支持 1.0.3.2. 自助式查询1.0.3.3. OLAP 联机分析1.1.3.4. UI编排功能1.2.3.5. 丰富的组件1.3.3.6. 多种展小方式 13.3.7. 外部数据服务 14.4. 总体设计1.54.1. 数据分析1.64.2. 设计运行1.64.3. 系统管理 .1.6.4.4. 可视化展示16.5. 功能设计1.7
2、.5.1. 数据分析1.7.5.1.1. 多数据源17.5.1.2. 数据建模18.5.1.3. 多维 BI 分析1.8.5.2. 设计运行2.0.5.2.1. UI 编排20.5.2.2. 丰富组件21.5.2.3. 事件引擎24.5.2.4. 运行引擎24.5.3. 系统管理265.3.1. 我的报表26.5.3.2. 工程化管理27.5.3.3. 主题管理27.5.3.4. 布局管理27.5.3.5. 数据源管理27.5.3.6. 基础管理28.5.4. 可视化展示 29.5.4.1. 决策仪表盘29.5.4.2. 大屏综合显示 3Q.5.4.3. 交互式 WEB界面 30.5.4.4.
3、 基于GIS的数据可视.3.35.5. 其他功能3.8.5.5.1. 数据探索38.5.5.2. 事件定义38.5.5.3. 项目管理39.5.5.4. 基础管理39.5.5.5. 安全管理39.5.5.6. 部署与集成4Q.101 .背景概述当前,我们的世界已经迈入大数据(Big Data )时代,随着互联网、物联网、 云计算等信息技术的迅猛发展,信息技术与人类世界、经济、军事、科研、生活 等方面不断交叉融合,催生了超越以往任何年代的巨量数据。 数据正在变得无处 不在、触手可及,数据的背后隐藏着信息,而信息之中蕴含着知识和智慧。而数据创造的真正价值,在于我们能否提供进一步的稀缺的附加服务,就
4、是数据分析。数据的分析过程往往离不开机器和人的相互协作与优势互补。从这一立足点出发,大数据分析的理论和方法研究可以从两个维度展开:一是从机器或计算机的角度出发,强调机器的计算能力和人工智能,以各种高性能处理算 法、智能搜索与挖掘算法等为主要研究内容,例如基于 Hadoop和 MapReduce/Spark 框架的大数据处理方法以及各类面向大数据的机器学习和 数据挖掘方法等,这也是目前大数据分析领域的研究主流;另一个维度从人作为分析主体和需求主体的角度出发,强调基于人机交互的、符合人的认知规律的分 析方法,意图将人所具备的、机器并不擅长的认知能力融入分析过程中,这就是大数据可视化分析。商业智能(
5、Business Intelligence ,简称BI)是进行数据可视化分析的一种重要手段。2 .现状分析2.1. 主流BI模式Gartner的2016 BI和分析平台魔力象限报告指出:当今数据分析向可视化设计UE、自助式探索分析、分析和展现一体化平台发展已经成为大势所趋。2016 年,传统的BI厂商已经集体沦陷,全部被驱出了领导象限。2.1.1. 传统BI模式在对数据进行分析的过程中,传统 BI的做法是,IT人员事先根据分析需求 来进行建模(以及做二次表或打 Cube),提前汇总好数据,业务人员在前端查 看分析结果报表。分析过程如下所示业务人员需求收集确i沟通时间长需求变更响应时闻长 负担重
6、匐求变更分析维度、计算方式更改只能看不能改这种做法很成熟,持续了很多年,但是也存在着一些问题:1、业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模 时预先设定好,不能更改,比如定好了是求和或求平均数, 想改成求方差必须回 去修改模型。2、分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。2.1.2. 敏捷BI模式随着技术的发展和演进,BI领域已经迎来了新一代敏捷 BI的革新。基于大 数据的处理技术,其对TB-PB级的数据可实现秒级响应。敏捷 BI的数据展现是 起点,而不是终点。看到了数据,能交互式分析,能深入向下挖掘,能发现
7、问题 找到答案。敏捷BI的分析报告能让非IT部门的同事直接在分析平台上做出来。 不能把 所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏 捷BI的实施和操作相比传统BI都要来得更为简单,可以说是以业务人员为使用 对象的BI,支持自助探索式分析。分析报告需求经常需要数据层的改动, 需要IT部门去改进数据层和业务层, 传统BI平台需要一两个月去梳理模型。 敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察 力决策力0与传统BI的重量建模、统一视图不同,敏捷 BI采取轻量建模、N个视图的 方法,数据连进来直接可以进行分析
8、,并且业务人员可以实时调整分析的维度和 度量的计算方式,极大增加灵活性,真正做到和数据对话。2.2. 平台推荐模式从前文可以看出,敏捷BI以“快而有效”的方式解决了业务与技术长期的 矛盾,为数据市场带来了新的活力,也引领了商业智能可视化分析的走向。 但我 们也要冷静思考: 敏捷BI和过去二十五年一样,无法替代 Excel,这是为什么? 大众化的敏捷BI产品和过去二十五年一样,只能通过 Ctrl+C/V才能进入 Word/PPT当中,而这“交付的最后一步”却是每个领导真正才会看到的数据 分析! 大众化的敏捷BI产品还是基于表格和图表化的分析,似乎没有改变数据的 堆砌,用户很难为其增加辅助性的说明
9、文字,加入自己的观点! 如果分析出报表之后,想要将这些BI图表有机地结合起来,并形成一套完 整的数据展示系统,难道还需要专门让IT技术人员编写一套 WEB系统,将这些图表嵌入到这个系统中去? 大众化的敏捷BI产品即使具备报告/WEB页面的发布能力,但这些报告发 布之后都是一些静态页面,无法让最终使用者(业务人员或者领导)再次进行动 态分析。比如:根据不同查询条件进行分析、动态切换维度和指标。 大众化的敏捷BI产品不能与外部系统进行交互,他们发布的报表是独立存 在的。这样就导致无法与外部业务系统有效地结合, 从而让分析者、查看者有整 体的感知,并不能根据外部系统的参数进行动态分析。所以,我们的数
10、据分析平台应该在基于“业务主导的自服务模式(Business-User-Driven ) ”的敏捷BI基础上,增加了高级 UI页面编排的功 能。在进行可视化设计UE分析的同时,也能设计出一套完整的 WEB数据展现 系统,体现了 “分析和展现一体化”。3 .整体需求3.1. 数据源支持支持大多数源系统,只对数据进行抽取和呈现,不对数据进行任何操作。支 持结构化、非结构化、API接口的方式作为数据源进行数据管理,结构化数据库 支持关系型数据库,非结构化数据支持nosql相关数据库,API接口支持soap、 rest等方式。3.2. 自助式查询对于清单数据的查询,用户可以直接通过即席查询设计界面,
11、在可视化界面 中以拖拽式的构建查询,无需编写 SQL语句,直接查询出数据平台的数据。即 席查询应满足业务人员自助式的、零编程的、快速定制的查询需求。提供各种快速和高级查询功能,满足如下要求:? 支持通过拖拽式的可视化查询外,还可以通过向导式查询,提供向导界面, 通过选择查询字段、查询条件,快速完成数据查询过程,让每个业务用户都 可以自己动手创建查询分析。? 支持用户对即席查询的结果进行灵活的排序、过滤、分组、小计、合计、告数据分析平台解决方案警等高级功能,并选择要展现的方式,如表格、柱图、趋势图等。? 通过在界面上选择查询条件,可以快速的进行数据过滤,查看所需的数据。 查询条件支持多种方式:文
12、本框输入,下拉框、下拉树、弹出对话框方式, 支持单选及复选的方式,日期控件方式,满足不同用户的查询需要。3.3. OLAP联机分析具备多维度的联机分析功能,用于展示重要业务指标的统计数字和分析比较。基于多维分析技术,使内外部的决策者和知识工作者访问关键数据, 可以从 任意角度探察和分析任何形式组合的数据,快速识别使用其它分析方式无法发现 的影响环境的因素,从而提高工作效率。具备大数据可视化分析,从各个维度对数据进行分析,具备如下功能:? 用户可以基于多维模型实现任意的切片、旋转、钻取等操作,更可实现自定 义指标、统计分析等操作;? 从宏观到微观的信息洞察。支持在多维模型上实现钻取操作,可以在多
13、维报 表之间进行关联分析,更可从多维报表钻取到明细报表,以发现问题背后的 根源;? 预定制的分析报表过于死板,业务问题经常需要多个角度的交互分析,需要运用多维分析技术来解决;ii数据分析平台解决方案? 多维分析以特有的方式满足了业务用户和管理层的多维分析需求,通过鼠标拖拉即可实现任意的切片、旋转、钻取,具备多维的、交互式的分析功能,用户界面友好。允许用户全方位的、不同角度、不同层面进行剖析,任何层 次的决策人员都可以进行自己所需的分析,制订关键决策。? 对于多维分析中的不同角度,比如时间、地区等维度,可以通过上钻、下钻 等操作来逐步分析;并支持切片、切块、旋转、分页等多维分析;还可以进 行各种
14、排序,以及最大值、最小值、平均值、分组合计和总计等计算;? 多维分析应具备丰富的信息展示及发布方式,包括趋势图、对比图、比例图、三维图等大量的图形分析,图形具备缩放、旋转、动态效果,帮助用户更加 直观地进行分析决策。? 在分析过程中形成多维分析报表,可对其数据进行计算、编辑等操作,可以 基于多维分析报表生成多种多样图形展现形式,而且在对数据作分析时,数 据与图形可实现联动的数据刷新。3.4. UI编排功能具备UI编辑功能,利用业务画布构建报表的UI界面,系统支持拖拽组件栏 任意组件,容器组件可嵌套基础组件、图表组件、地图组件、业务组件,表格组 件内可以嵌套链接、复选框、单选框组件,GIS上嵌套
15、表格或图等。3.5. 丰富的组件基础组件支持丰富的组件库,并支持组件自定义。基础组件、图表组件、地图组件、动态数据组件及业务组件具备相同的公共属性, 各分组组件有不同的高级属性设 置。用户可以根据自己的需要,对组件的各类属性进行调整,并保存为用户自定 义组件库。系统既支持柱状图、折线图、饼图、雷达图、散点图、玫瑰图、气泡图、矢 量地图等多种基本图表,同时支持漏斗图、词云图、GIS地图等特殊图表,满足不同场景的数据展现需求。特别是系统支持丰富多样的WEB组件。动态组件具备提供流状数据实时呈现功能,需要在线实时流处理模型支持。 结合GIS 组件可以构建基于地图的动态数据呈现效果GIS组件具备GIS
16、组件,支持嵌套基础组件和图表组件,构建基于地理位置信息的 数据呈现方式。3.6. 多种展示方式决策仪表盘展小具备决策仪表盘,将数据应用平台中的各种报表、分析、图形组合起来,形象、直观、具体的展示各种指标数据,形成面向业务、面向角色的展示界面。决 策仪表盘往往采用驾驶舱的形式,通过各种常见的图表形象标示经济运行环境情 况的关键指标,直观的监测各地区环境情况,并可以对异常关键指标预警和挖掘 分析。大屏综合展示支持通过大屏展示技术和可视化的解决方案, 支持多种类型的数据接口,从 数据仓库中抽取出各种各样的数据, 依据中心设定的应用逻辑,梳理出资源数据 对应的使用逻辑关系,利用数据加工技术和渲染技术进
17、行可视化处理, 依托可视 化引擎,实现涉及相关指标数据的大屏幕的自动呈现。APP报表查询支持通过手机端APP应用实现报表查询和图表展示。3.7. 外部数据服务数据分析平台发布的报表工程、页面,能通过 URL或者API接口方式嵌入 到第三方应用系统。根据安全要求以及第三方系统特性,同时支持免登陆方式和 权限认证方式。4 .总体设计平台支持通过所见即所得的可视化拖拽、 配置的简单操作就可实现报表的快速生成。通过拖拽、配置、右键菜单和工具条,利用丰富的组件库、事件库等, 通过熟悉且直观的交互方式,快速构建分类、钻取、旋转的交叉表和图形报表, 依托图形化组件,提供分析结果的可视化展现功能,支持可视化图
18、表,如:柱状 图、散点图、交叉图、雷达图等各种常规图表以及热力图、动态分布图等非常规图表,并且支持执行其他诸如打印、导出 Excel等常见操作。数据源多样,数据 仓库、数据集市、ODS以及源业务系统都可以作为可使用的数据源,无需数据 仓库、第三方数据库或CUBE文件。下图为数据分析平台整体架构设计图:|交互式WEB贞.设 计 运 行税的指 表主聘后坨管理自助式分析自助式分析运行用擎学仲引隼数据和分析数册律梗安 全 情 理实时分析实时计算卡维分折(OLAP)效据我,核U存偌4.1. 数据分析通过数据适配接口,从外部数据源抽取分析展现所需要的数据,进行实时分析、计算以及多维分析,并通过数据建模,将
19、分析结果存储在数据分析平台缓存 区。4.2. 设计运行通过丰富的组件库,对数据分析结果进行可视化 UI编排,实现自助式分析、 查询;并通过可视化运行引擎、事件引擎以及GIS引擎将结果实时、生动的展示出来。4.3. 系统管理由我的报表、工程化管理、主题/布局管理、数据源管理、数据建模管理和 基础管理等模块组成,实现全方位、多视角的数据分析平台管理体系。4.4. 可视化展示通过仪表盘报表、交互式WEB界面和基于GIS地图的数据可视等丰富的展 示形式来全方位、多视角地展现数据分析结果。5 .功能设计5.1. 数据分析5.1.1. 多数据源支持大多数源系统数据,而且剔除了传统BI基于数据仓库才能实施的
20、弊病, 可以直接挂接用户的业务系统,采集业务数据并进行多维度的分析。支持多种数据源的连接,包括:主流关系型数据库RDBMS、Excel/CVS文本数据源、基于hadoop的大数据平台数据源以及其他多种 JDBC数据源。RDBMS数据源可直接使用已有数据源,也可以定义新的数据源。支持: Oracle、MySQL、 SQLServer、PostgraSQL等主流关系型数据库。支持高级数据源基于JDBC的数据集市DataMart、基于hadoop的大数据平台数据源Excel数据源支持可直接上传.xls .xlsx或.cvs文件,并可读取其中的每个 sheet页签。API定制化的第三方数据源预留通过标
21、准的API接口,实现读取第三方自定义定制化数据源的能力。5.1.2. 数据建模数据源建好之后,支持对数据表进行进行数据建模,构建 BI分析需要的维 度、指标。Sefonsoft可视化设计UE平台支持星型、雪花模型,拖拽式可视化 建模。模型创建后,系统自动生成 Cube ,供BI分析使用。5.1.3. 多维BI分析数据分析平台提供了各种常见的 OLAP分析操作,除基本的分组聚合外, 还可以进任意多维度分析,包含:钻取、切片、切块、旋转、排序、过滤等分析 功能。多维分析示意图如下所示:40拖拽式自由分析在多维BI分析一体化工作台中,您可以选择任意数据模型中的任意维度、度量进行自主拖拽分析。同一个模
22、型中,所有的数据已经关联在一起了,这就决 定了多维及时分析的自由度。同时,在一个页面就能进行数据模型选择、维度指 标选择、图表选择、图表样式设置、数据预览。多层钻取在进行BI分析时,支持自由创建维度间的层级关系,构建维度分级。将具 备层级的维度应用到各种图表上,即可实现自动多层钻取能力,逐层分析和查看 各种数值情况。下钻之后,还能自由地返回上级。组合过滤提供以条件过滤的方式进行多维切片、 切块分析。条件过滤可以应用到任意一个维度,即使该维度没有被用在图表上进行分析,增加了过滤的宽泛和强大性。过滤条件支持:大于、小于、大于等于、小于等于、包含、不包含、不等于、等 于等各种条件判断,同时,每个条件
23、判断支持采用逻辑表达式的方式组合,形成强大的过滤模型,满足各种切片和切块需要。数据聚合在数据分析工作中,除了对普通数据的维度、度量进行直接分析和观察数据 的整体效应外,分析平均数、最大值、最小值、分位数等需求也是常见的。如果 汇总方式仅有单一的求和汇总,则很难满足这类需求。在数据分析平台中,能进行数据动态呈现的所有表格、图表、基本 WEB组 件除可进行分组或交叉汇总外,可以针对以选择的任意度量进行求和、求最值、 求平均、求分位数等,并且它们之间可以实时切换。5.2. 设计运行5.2.1. UI 编排数据分析平台可以在各种浏览器下实现报表制作。通过所见即所得拖拽方式 实现灵活的可视化布局,极致的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 商业 智能 BI_ 数据 分析 平台 解决方案
链接地址:https://www.31doc.com/p-11744603.html