如何测试云平台：商派电商云的分享.pdf
如何测试云平台 商派电子商务云平台的回顾和反思 张巍 上海商派 2012-10-24 张巍 (Shopex)如何测试云平台2012-10-241 / 32 背景介绍 个人介绍,商派电子商务云介绍 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-242 / 32 背景介绍 个人介绍,商派电子商务云介绍 个人介绍 I 张巍 (Shopex)如何测试云平台2012-10-243 / 32 背景介绍 个人介绍,商派电子商务云介绍 相关网页 I 张巍 (Shopex)如何测试云平台2012-10-244 / 32 背景介绍 个人介绍,商派电子商务云介绍 项目介绍: 商派ECAE产品线的定位 I (E-Commerce Application Engine),电商行业云 运行平台 Web运行环境 定单转化 图片管理 Web性能检测 SaaS向PaaS无缝迁移 etc 开发平台 在线开发 在线发布 a/b测试 分支发布 分布式服务 etc 张巍 (Shopex)如何测试云平台2012-10-245 / 32 背景介绍 个人介绍,商派电子商务云介绍 项目介绍: ECAE的系统框架图 I 张巍 (Shopex)如何测试云平台2012-10-246 / 32 场景分析 如何快速发现问题和缩小排查范围 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-247 / 32 场景分析 如何快速发现问题和缩小排查范围 问题描述: 如何快速发现和定位问题 I 如何定位出故障的模块？ 如何确认系统没问题了？ 三堂会诊,通力合作？ 各显神通,互相学习？ 张巍 (Shopex)如何测试云平台2012-10-248 / 32 场景分析 如何快速发现问题和缩小排查范围 借分治思想,服务提供自检 I 服务自检SanityCheck的难点: 所有服务自检通过 != 系统是好的 开发者在实现服务自检时, 存在盲点 对于异步服务的自检是复杂的 自检时,需要侵入性小,支持并发,内置测试数据 etc 张巍 (Shopex)如何测试云平台2012-10-249 / 32 场景分析 如何快速发现问题和缩小排查范围 服务治理的规范化 I SOA服务的统一接口 NameComment string help()帮助文档 int sanityCheck()服务自检 bool initSystem(Options)初始化集群 bool joinSystem(Options)加入集群 bool upgrade(Options)系统升级 bool backup(Path)数据备份 张巍 (Shopex)如何测试云平台2012-10-2410 / 32 场景分析 线下如何尽可能多地发现问题 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-2411 / 32 场景分析 线下如何尽可能多地发现问题 问题描述: 线下如何尽可能多地发现问题 I 线下测什么,怎么测？ 总会漏掉些不该有的问题 多想想, 多测测？ 领导继续发话？ 张巍 (Shopex)如何测试云平台2012-10-2412 / 32 场景分析 线下如何尽可能多地发现问题 ECAE的Hudson任务图 I 张巍 (Shopex)如何测试云平台2012-10-2413 / 32 场景分析 充分测试后,线上还是经常会有惊喜 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-2414 / 32 场景分析 充分测试后,线上还是经常会有惊喜 问题描述: 线上监控 I 线上为什么老是各种飞机？ 排查线上问题时手忙脚乱。 监控靠运维专人行得通吗？ 将线上流量导入到线下？ 动作再快些,头脑再活些？ 运维人员, 懂得再多一些？ 张巍 (Shopex)如何测试云平台2012-10-2415 / 32 场景分析 充分测试后,线上还是经常会有惊喜 充足的监控 I OS级别的监控 服务级别的监控 业务级别的监控 张巍 (Shopex)如何测试云平台2012-10-2416 / 32 场景分析 充分测试后,线上还是经常会有惊喜 zabbix监控示例图: 对结点进行细粒度监测 I 张巍 (Shopex)如何测试云平台2012-10-2417 / 32 场景分析 充分测试后,线上还是经常会有惊喜 zabbix监控示例图: 利用应用探针监测可用性 I 张巍 (Shopex)如何测试云平台2012-10-2418 / 32 场景分析 充分测试后,线上还是经常会有惊喜 zabbix监控示例图: 利用应用探针监测性能 I 张巍 (Shopex)如何测试云平台2012-10-2419 / 32 场景分析 充分测试后,线上还是经常会有惊喜 监控的注意事项 I 通过自动更新的监控项 当监控失败时,记录重要的现场状况 统一的出错码 张巍 (Shopex)如何测试云平台2012-10-2420 / 32 场景分析 对于无法重现的用户报怨, 该咋办 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-2421 / 32 场景分析 对于无法重现的用户报怨, 该咋办 问题描述: 线上用户体验分析 I 用户报怨不能用了？ 用户报怨太慢了？ 靠log,靠分析,靠感觉？ 搞不定时,靠外交辞令？ 张巍 (Shopex)如何测试云平台2012-10-2422 / 32 场景分析 对于无法重现的用户报怨, 该咋办 如何计算: 服务器响应时间以及网络时间 I 张巍 (Shopex)如何测试云平台2012-10-2423 / 32 场景分析 对于无法重现的用户报怨, 该咋办 基于网卡旁路侦听的Web请求分析 I 张巍 (Shopex)如何测试云平台2012-10-2424 / 32 场景分析 对于无法重现的用户报怨, 该咋办 分析每个Web请求的故障环节 I 张巍 (Shopex)如何测试云平台2012-10-2425 / 32 场景分析 对于无法重现的用户报怨, 该咋办 服务器在哪步出现问题,导到整体请求慢呢 I 张巍 (Shopex)如何测试云平台2012-10-2426 / 32 场景分析 对于无法重现的用户报怨, 该咋办 全局跟踪每一个具体的请求 I 张巍 (Shopex)如何测试云平台2012-10-2427 / 32 场景分析 如何针对分布式服务设计测试用例 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-2428 / 32 场景分析 如何针对分布式服务设计测试用例 以分布式存储为例, 分享测试用例设计 I 张巍 (Shopex)如何测试云平台2012-10-2429 / 32 总结概括 ECAE的质量控制体系 如何测试云平台 1背景介绍 个人介绍,商派电子商务云介绍 2场景分析 如何快速发现问题和缩小排查范围 3场景分析 线下如何尽可能多地发现问题 4场景分析 充分测试后,线上还是经常会有惊喜 5场景分析 对于无法重现的用户报怨, 该咋办 6场景分析 如何针对分布式服务设计测试用例 7总结概括 ECAE的质量控制体系 张巍 (Shopex)如何测试云平台2012-10-2430 / 32 总结概括 ECAE的质量控制体系 ECAE的质量控制体系 I 张巍 (Shopex)如何测试云平台2012-10-2431 / 32 总结概括 ECAE的质量控制体系 Q&A I 张巍 (Shopex)如何测试云平台2012-10-2432 / 32
