如何成为真正的数据架构师.pdf

资源ID：3333080 资源大小：6.78MB 全文页数：28页
资源格式： PDF 下载积分：6元

快捷下载

会员登录下载

微信登录下载

三方登录下载：

微信扫一扫登录

下载资源需要6元

邮箱/手机：
温馨提示：	用户名和密码都是您填写的邮箱或者手机号，方便查询和重复下载（系统自动生成）
支付方式：
验证码：	换一换

加入VIP免费专享

账号：
密码：
验证码：	换一换
当日自动登录忘记密码？

友情提示

1、下载资料失败解决办法

2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。

3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。

4、本站资源下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

5、试题试卷类文档，如果标题没有明确说明有答案则都视为没有答案，请知晓。

网站客服

侵权投诉

如何成为真正的数据架构师.pdf

Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1 1 为什么需要构建数据架构数据架构的构成如何成为数据架构师问题讨论 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 4 4 数数据标准不一致据标准不一致列名相同，列的数据类型不同列名相同，列的数据类型不同列名相同，列的数据类型相同，长度不同列名相同，列的数据类型相同，长度不同列名定义不统一，类型不一致，长度不相列名定义不统一，类型不一致，长度不相同同列名定义没有统一标准，识别困难列名定义没有统一标准，识别困难模型中缺失中文注释，难以验证。中文名称相同，英文缩写不同，英文缩写中文名称相同，英文缩写不同，英文缩写相同，中文名称不同相同，中文名称不同 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 5 5 数数据模型管理混乱据模型管理混乱 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 6 6 深入的性能的问题无法解决深入的性能的问题无法解决 Hin t INDEX SQL 优化比重未达优化比重未达10% 优化比重超过优化比重超过30% 优化比重超过优化比重超过50% 需需要通过要通过SQL 语句及数据语句及数据模型分析性模型分析性能问题能问题缩减缩减H/W Resource 帮助开发人员及帮助开发人员及运维人员提高数据运维人员提高数据库技术水平库技术水平优化比重超过优化比重超过80% Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 7 7 SQLSQL语句编写水平不高导致出现严重性能问题语句编写水平不高导致出现严重性能问题 select a.* from LCCont a, lcpol b, lccontstate c where 1 = 1 and a.contno = b.contno and a.manageCom like '86%' and a.appflag = '1' and b.appflag = '1' and c.contno = b.contno and b.polno = b.mainpolno and c.polno = b.mainpolno and c.StateType = 'Available' and c.State = '0' and c.EndDate is null and b.AutoPayFlag = '1' and not exists (select 'X' from lcconthangupstate where contno = a.contno and posflag = '1') and exists (select 1 from LMRiskApp where RiskCode = b.RiskCode and AutoPayFlag = '0') and exists (select 1 from LJSPayPerson d where d.ContNo = b.ContNo and not exists (select 1 from LJTempFee where otherno = a.contno and TempFeeType = '2' and confdate is null and (enteraccdate is null or enteraccdate '1' and d.LastPayToDate to_date('2015-01-27', 'YYYY-MM-DD') and d.PayType = 'ZC') Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 8 8 开开发人员对执行计划收悉发人员对执行计划收悉 - | Id | Operation | Name | Starts | E| Id | Operation | Name | Starts | E- -Rows | ARows | A- -Rows | ARows | A- -Time | Buffers | ReadsTime | Buffers | Reads | | - | 0 | SELECT STATEMENT | | 1 | | 2356 | 0 | SELECT STATEMENT | | 1 | | 2356 |00:23:58.36 00:23:58.36 | 4589K| 287K| 4589K| 287K| | 1 | NESTED LOOPS | | 1 | 1 | 2356 |00:23:58.36 | 4589K| | 1 | NESTED LOOPS | | 1 | 1 | 2356 |00:23:58.36 | 4589K| 28287K|7K| | 2 | NESTED LOOPS ANTI | | 1 | 1 | 3530 |00:23:41.89 | 4578K| | 2 | NESTED LOOPS ANTI | | 1 | 1 | 3530 |00:23:41.89 | 4578K| 28283K|3K| | 3 | NESTED LOOPS SEMI | | 1 | 1 | 3553 |00:23:41.54 | 4574K| | 3 | NESTED LOOPS SEMI | | 1 | 1 | 3553 |00:23:41.54 | 4574K| 28283K|3K| | 4 | NESTED LOOPS | | 1 | 1 | 3556 |00:23:41.51 | 4570K| | 4 | NESTED LOOPS | | 1 | 1 | 3556 |00:23:41.51 | 4570K| 28283K|3K| |* 5 | TABLE ACCESS BY INDEX ROWID | LCPOL | 1 | 1 | 162K|00:08:32.81 | 1776K| 4|* 5 | TABLE ACCESS BY INDEX ROWID | LCPOL | 1 | 1 | 162K|00:08:32.81 | 1776K| 40180189 |9 | |* 6 | INDEX RANGE SCAN | IDX_ENCN_LCPOL_C04 | 1 | 1 | 1905K|00:00:00.01 | 28971 | |* 6 | INDEX RANGE SCAN | IDX_ENCN_LCPOL_C04 | 1 | 1 | 1905K|00:00:00.01 | 28971 | 0 |0 | |* 7 | TABLE ACCESS BY INDEX ROWID | LCCONT | 162K| 1 | 3556 |00:15:08.56 | 2794K| |* 7 | TABLE ACCESS BY INDEX ROWID | LCCONT | 162K| 1 | 3556 |00:15:08.56 | 2794K| 24242K|2K| |* 8 | INDEX UNIQUE SCAN | PK_LCCONT | 162K| 1 | 3556 |00:14:28.01 | 2791K| |* 8 | INDEX UNIQUE SCAN | PK_LCCONT | 162K| 1 | 3556 |00:14:28.01 | 2791K| 23237K|7K| |* 9 | FILTER | | 162K| | 3556 |00:14:20.10 | 2465K| |* 9 | FILTER | | 162K| | 3556 |00:14:20.10 | 2465K| 23235K|5K| |* 10 | FILTER | | 162K| | 5847 |00:14:04.26 | 2450K| |* 10 | FILTER | | 162K| | 5847 |00:14:04.26 | 2450K| 23231K|1K| |* 11 | TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON | 162K| 1 | 5847 |00:01:10.04 | 505K| 1|* 11 | TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON | 162K| 1 | 5847 |00:01:10.04 | 505K| 16936934 |4 | |* 12 | INDEX RANGE SCAN | IDX_LJSPAYPERSON_1 | 162K| 2 | 30421 |00:00:04.05 | 488K| |* 12 | INDEX RANGE SCAN | IDX_LJSPAYPERSON_1 | 162K| 2 | 30421 |00:00:04.05 | 488K| 86863 |3 | |* |* 13 | TABLE ACCESS BY INDEX ROWID| LJTEMPFEE | 162K| 1 | 101 |00:12:53.91 | 1944K| 2113 | TABLE ACCESS BY INDEX ROWID| LJTEMPFEE | 162K| 1 | 101 |00:12:53.91 | 1944K| 214K|4K| |* 14 | INDEX RANGE SCAN | IDX_LJTEMPFEE_1 | 162K| 2 | 1453K|00:00:55.19 | 493K| 1|* 14 | INDEX RANGE SCAN | IDX_LJTEMPFEE_1 | 162K| 2 | 1453K|00:00:55.19 | 493K| 17107104 |4 | | 15 | TABLE ACCESS BY INDEX ROWID | LJSPAY | 4993 | 1 | 4993 |00:00:15.74 | 15075 | | 15 | TABLE ACCESS BY INDEX ROWID | LJSPAY | 4993 | 1 | 4993 |00:00:15.74 | 15075 | 3943941 |1 | |* 16 | INDEX UNIQUE SCAN | PK_LJSPAY | 4993 | 1 | 4993 |00:00:02.49 | 10082 | |* 16 | INDEX UNIQUE SCAN | PK_LJSPAY | 4993 | 1 | 4993 |00:00:02.49 | 10082 | 72727 |7 | |* 17 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP | 3556 | 116 | 3553 |00:00:00.02 | 3652 | |* 17 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP | 3556 | 116 | 3553 |00:00:00.02 | 3652 | 0 |0 | |* 18 | INDEX UNIQUE SCAN | PK_LMRISKAPP | 3556 | 1 | 3556 |00:00:00.01 | 96 | |* 18 | INDEX UNIQUE SCAN | PK_LMRISKAPP | 3556 | 1 | 3556 |00:00:00.01 | 96 | 0 |0 | |* 19 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE | 3553 | 5 | 23 |00:00:00.36 | 3675 | |* 19 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE | 3553 | 5 | 23 |00:00:00.36 | 3675 | 4 41 |1 | |* 20 | INDEX RANGE SCAN | PK_LCCONTHANGUPSTATE | 3553 | 1 | 23 |00:00:00.35 | 3651 | |* 20 | INDEX RANGE SCAN | PK_LCCONTHANGUPSTATE | 3553 | 1 | 23 |00:00:00.35 | 3651 | 4 41 |1 | |* 21 | INDEX RANGE SCAN | IDX_ENCN_LCCONTSTATE_C01 | 3530 | 1 | 2356 |00:00:16.46 | 10799 | |* 21 | INDEX RANGE SCAN | IDX_ENCN_LCCONTSTATE_C01 | 3530 | 1 | 2356 |00:00:16.46 | 10799 | 4484485 |5 | - ELASPED TIME : 23.58.36 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 9 9 - | Id | Operation | Name | Starts | E| Id | Operation | Name | Starts | E- -Rows | ARows | A- -Rows | ARows | A- -Time | Buffers | ReadsTime | Buffers | Reads | | - | 0 | SELECT STATEMENT | | 1 | | 2356 | 0 | SELECT STATEMENT | | 1 | | 2356 |00:02:56.7300:02:56.73 | 581K| 31409 | 581K| 31409 | | 1 | NESTED LOOPS ANTI | | 1 | 1 | 2356 |00:02:56.73 | 581K| 3| 1 | NESTED LOOPS ANTI | | 1 | 1 | 2356 |00:02:56.73 | 581K| 31401409 |9 | | 2 | NESTED LOOPS | | 1 | 1 | 2436 |00:00:01.41 | 555K| | 2 | NESTED LOOPS | | 1 | 1 | 2436 |00:00:01.41 | 555K| 0 |0 | | 3 | NESTED LOOPS ANTI | | 1 | 1 | 3610 |00:00:01.38 | 544K| | 3 | NESTED LOOPS ANTI | | 1 | 1 | 3610 |00:00:01.38 | 544K| 0 |0 | | 4 | NESTED LOOPS | | 1 | 1 | 3634 |00:00:01.35 | 540K| | 4 | NESTED LOOPS | | 1 | 1 | 3634 |00:00:01.35 | 540K| 0 |0 | | 5 | NESTED LOOPS SEMI | | 1 | 1 | 3634 |00:00:01.29 | 529K| | 5 | NESTED LOOPS SEMI | | 1 | 1 | 3634 |00:00:01.29 | 529K| 0 |0 | | 6 | TABLE ACCESS BY INDEX ROWID | LCPOL | 1 | 1 | 3637 |00:00:01.29 | 529K| | 6 | TABLE ACCESS BY INDEX ROWID | LCPOL | 1 | 1 | 3637 |00:00:01.29 | 529K| 0 |0 | |* 7 | INDEX RANGE SCAN | IDX_ENC_TEST_B05 | 1 | 1 | 3637 |00:00:01.27 | 526K| |* 7 | INDEX RANGE SCAN | IDX_ENC_TEST_B05 | 1 | 1 | 3637 |00:00:01.27 | 526K| 0 |0 | |* 8 | FILTER | | 162K| | 3637 |00:00:01.02 | 521K| |* 8 | FILTER | | 162K| | 3637 |00:00:01.02 | 521K| 0 |0 | |* 9 | TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON | 162K| 1 | 5928 |00:00:00.88 | 506K| |* 9 | TABLE ACCESS BY INDEX ROWID| LJSPAYPERSON | 162K| 1 | 5928 |00:00:00.88 | 506K| 0 |0 | |* 10 | INDEX RANGE SCAN | IDX_LJSPAYPERSON_1 | 162K| 2 | 30587 |00:00:00.70 | 488K| |* 10 | INDEX RANGE SCAN | IDX_LJSPAYPERSON_1 | 162K| 2 | 30587 |00:00:00.70 | 488K| 0 |0 | | 11 | TABLE ACCESS BY INDEX ROWID| LJSPAY | 5074 | 1 | 5074 |00:00:00.05 | 15318 | | 11 | TABLE ACCESS BY INDEX ROWID| LJSPAY | 5074 | 1 | 5074 |00:00:00.05 | 15318 | 0 |0 | |* 12 | INDEX UNIQUE SCAN | PK_LJSPAY | 5074 | 1 | 5074 |00:00:00.02 | 10244 | |* 12 | INDEX UNIQUE SCAN | PK_LJSPAY | 5074 | 1 | 5074 |00:00:00.02 | 10244 | 0 |0 | |* 13 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP | 238 | 116 | 235 |00:00:00.01 | 298 | |* 13 | TABLE ACCESS BY INDEX ROWID | LMRISKAPP | 238 | 116 | 235 |00:00:00.01 | 298 | 0 |0 | |* 14 | INDEX UNIQUE SCAN | PK_LMRISKAPP | 238 | 1 | 238 |00:00:00.01 | 60 | |* 14 | INDEX UNIQUE SCAN | PK_LMRISKAPP | 238 | 1 | 238 |00:00:00.01 | 60 | 0 |0 | |* 15 | TABLE ACCESS BY INDEX ROWID | LCCONT | 3634 | 1 | 3634 |00:00:00.05 | 10998 | |* 15 | TABLE ACCESS BY INDEX ROWID | LCCONT | 3634 | 1 | 3634 |00:00:00.05 | 10998 | 0 |0 | |* 16 | INDEX UNIQUE SCAN | PK_LCCONT | 3634 | 1 | 3634 |00:00:00.02 | 7364 | |* 16 | INDEX UNIQUE SCAN | PK_LCCONT | 3634 | 1 | 3634 |00:00:00.02 | 7364 | 0 |0 | |* 17 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE | 3634 | 5 | 24 |00:00:00.02 | 3756 | |* 17 | TABLE ACCESS BY INDEX ROWID | LCCONTHANGUPSTATE | 3634 | 5 | 24 |00:00:00.02 | 3756 | 0 |0 | |* 18 | INDEX RANGE SCAN | PK_LCCONTHANGUPSTATE | 3634 | 1 | 24 |00:00:00.02 | 3732 | |* 18 | INDEX RANGE SCAN | PK_LCCONTHANGUPSTATE | 3634 | 1 | 24 |00:00:00.02 | 3732 | 0 |0 | |* 19 | INDEX RANGE SCAN | IDX_ENCN_LCCONTSTATE_C01 | 3610 | 1 | 2436 |00:00:00.03 | 11041 | |* 19 | INDEX RANGE SCAN | IDX_ENCN_LCCONTSTATE_C01 | 3610 | 1 | 2436 |00:00:00.03 | 11041 | 0 |0 | |* 20 |* 20 | TABLE ACCESS BY INDEX ROWID | LJTEMPFEE | 2436 | 3 | 80 |00:02:55.31 | 26161 | 31409 | TABLE ACCESS BY INDEX ROWID | LJTEMPFEE | 2436 | 3 | 80 |00:02:55.31 | 26161 | 31409 | |* 21 | INDEX RANGE SCAN | IDX_LJTEMPFEE_1 | 2436 | 2 | 21203 |00:00:06.93 | 5034 | |* 21 | INDEX RANGE SCAN | IDX_LJTEMPFEE_1 | 2436 | 2 | 21203 |00:00:06.93 | 5034 | 2422424 4 | | - ELASPED TIME : 02.56.73 开开发人员对执行计划收悉发人员对执行计划收悉 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1010 上上线前缺乏审计线前缺乏审计当前上线前无审计的开发方式，给系统运维带来巨大压力，造成系统执行效率低，用户体验差等问题当前上线前无审计的开发方式，给系统运维带来巨大压力，造成系统执行效率低，用户体验差等问题现有问题运维压力大性能审计缺失用户体验不好系统性能问题频繁出现，用户体验差，业务处理效率低。数据库参数优化已无明显效果，性能问题依然存在。现有人员性能优化经验不足。开发过程中未对SQL及索引进行全面审查。因性能问题导致运维压力大，难度不断提升。 1 2 3 4 5 有必要构建流程+工具+指标的代码（SQL）性能审计体系，将90%以上的系统性能问题防止于未然，保障系统效率，提升用户体验。 SQL质量低索引问题多系统性能差缺乏体系化的代码（SQL）质量审计体系和流程。 6 亟待构建工具+人的半自动化代码(SQL)审计体系。 7 现有问题 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1111 标准指标需求指标专家评审审计指标库修改或新增指标插件包审计工具修改及优化建议数据架构师研发团队产品研发提交测试功能测试压力测试执行审计审计报告是否达标否输出产品发布数据库管理小组是搭建验证环境功能测试压力测试执行审计审计报告正式上线是否达标输出是否上上线前审计体系线前审计体系 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1212 X X 相相对复杂的数据处理能力欠缺对复杂的数据处理能力欠缺 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1313 = 统计结果 X X 相相对复杂的数据处理能力欠缺对复杂的数据处理能力欠缺 Copyright 2012 EN-CORE Co., Ltd. All rights reserved | Confidential 1414 1. 1. 质质量基准量基准/ /诊断对诊断对象的定象的定义义作作为数为数据据质质量量测测定的基本信息定的基本信息，需要需要设设定定 DQI,DQI, CTQ,CTQ, 业务业务域等域等产产出物出物 : : 数数据据质质量管理定量管理定义书义书 ( (DQIDQI & & CTQ)CTQ) 2. 2. 剖析剖析对选对选定的定的业务业务域域，掌握掌握数数据据质质量的量的现状现状，而而执执行行的分析手段的分析手段数数据据质质量管理量管理对对象明确的象明确的时时候候，可以跳可以跳过过剖析剖析过过程程 3. 3. BR BR 定定义义数数据据质质量基准以及量基准以及诊断对诊断对象象为为基基础础，收集各收集各种业种业务规则务规则，将将其定其定义为义为可可测测算的形算的形态态产产出物出物 : : 业务规则业务规则定定义书义书 4. 4. 数数据据质质量量测测定定对对确定的确定的BRBR进进行行错误错误率率测测算算 5. 5. 数数据据质质量改量改进进业务负责业务负责人人对数对数据据错误进错误进行原因分析行原因分析，并并确定确定计计划进划进行改行改进进和和清清洗洗 DQI DQI 定定义义 1. 1. 质量标准质量标准/ /诊断对象诊断对象定义定义 CTQ CTQ 应应用用对对象象列列收集收集各各个个列列 BR BR 定定义义剖析剖析对对象象选选定定 BR BR 确定确定各各个个BRBR 错误错误率率测测算算错误错误原因分析原因分析数数据据质质量改量改进计划订进计划订立立数数据据质质量改量改进进质质量量诊断诊断按照各按照各BR BR 次次数数增加

注意事项

本文（如何成为真正的数据架构师.pdf）为本站会员（来看看）主动上传，三一文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三一文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。