浙江工商大学-计算机体系结构-第6章存储系统.ppt
第6章 存储系统,磁盘存储的高级话题 实际故障的定义和实例 I/O性能可靠性评测 排队论简介 相关问题 I/O系统设计与评价,6.1 简介,问题引出 信息技术的关注点已从计算变为通信和存储，它强调可靠性、可测量性以及性价比。人们可以容忍程序出现失败，但丢失数据是人们绝对不能接受的。因此，相对于计算机其他部件，存储系统需要更高的可靠性标准。,6.2 磁盘存储的高级话题,磁盘和DRAM的比较 磁盘在二级存储器中的主导地位曾受到多次挑战，一个主要原因是图6.1所示的磁盘和DRAM在访问时间上的差距。DRAM比磁盘快十万倍，这种性能优势的代价是DRAM在每GB价格上比磁盘贵30-150倍。 二者带宽上的差距更加复杂，DRAM相对于磁盘来说，每GB的带宽高出500倍，每1美元带宽高出14倍。,6.2 磁盘存储的高级话题,磁盘和DRAM的比较 目前还没有能够挑战磁盘二级存储地位的产品在市场上出现，即使有新产品问世，到那时DRAM和磁盘已经会有长足的改进，价格也会相应降低。 近期出现的闪存是一种具有竞争力的技术。这种半导体存储器是永久性存储器，它与磁盘有同样的带宽，但却比磁盘快100-1000倍。与磁盘和DRAM不同的是，闪存每位只能重复擦写100万次左右，这是其无法应用于桌面系统的原因。,6.2 磁盘存储的高级话题,磁盘功耗 和处理器一样，磁盘的功耗也在不断增加，总体上磁盘直径越小就越节省功耗，较小的盘片、较慢的转速和较少的盘片数量都能降低磁盘电机的功耗，而电机的功耗占了所有功耗的大部分比例。,6.2 磁盘存储的高级话题,磁盘阵列的高级话题 磁盘阵列可以有效地提高存储系统的性能和可靠性。使用磁盘阵列的主要原因是可以使用多个磁盘驱动器，比一个大驱动器可以更大程度提高磁盘潜在的吞吐率。磁盘阵列的缺点是多个设备导致可靠性降低，但通过添加冗余磁盘可以提高可靠性,6.2 磁盘存储的高级话题,磁盘阵列的高级话题 廉价磁盘冗余阵列简称RAID，也称为独立磁盘冗余阵列，由于RAID具有恢复错误的能力和高吞吐量，所以更具吸引力；加上体积小和功耗低的优势，使得RAID在大规模存储系统中占统治地位。 RAID的各种标准可参考图6.4,6.3 实际故障的定义,几个概念 存储器最重要的任务是不论发生什么事情，都能保证存储的信息不会丢失。 可靠性：用于表示提供服务的质量，“可靠性”可用“信任”代替。 错误、差错、故障：程序中的错误称为错误，其结果是产生软件中的差错，当差错造成的错误数据影响到所提供的服务时，就发生了故障。,6.3 实际故障的定义,错误差错故障 错误、差错和故障三者之间的联系如下： 1、一个错误产生一个或多个隐藏的差错。 2、差错的特点是：当服务器启动时才起作用；在隐藏和有效两个状态间循环；现行差错会在模块间传播造成新的差错。 3、当差错影响到所提供的服务时，就产生故障 4、这些特点是递归的，适用于系统中各个模块,6.3 实际故障的定义,错误差错故障 按照错误发生的原因，可分为4类： 1、硬件错误 设备发生故障 2、设计错误 多为软件错误 3、操作错误 操作和维护人员的失误 4、环境错误 地震、停电等 故障根据其持续时间分为短暂故障、间歇故障和永久故障。,6.4 I/O性能可靠性评测,I/O性能衡量方法 衡量I/O性能的方法与设计时的衡量方法不同，衡量I/O性能，一个是它的多样性，另一个是它的能力。另外，传统性能衡量指标也可以用到I/O上，如响应时间和吞吐率。 另一个衡量性能的标准是I/O操作对处理器运行的干扰。传输数据会影响其他进程的运行，处理器处理I/O中断要花一定的代价。,6.4 I/O性能可靠性评测,吞吐率与响应时间 参照图6.9，吞吐率的少量提高会引起响应时间的快速增长。 需要在相互冲突的需求中进行折中，可以进行人机交互，同计算机的一次交互分三部分： 进入时间： 用户输入命令所需的时间 系统响应时间：从输入命令到显示结果所需时间 用户反应时间：从接收响应结果到用户输入下一条命令的时间,6.4 I/O性能可靠性评测,吞吐率与响应时间 研究表明，用户工作效率与交互时间成反比，快速响应减少了人的反应时间。直到今天，尽管处理器的速度已经提高1000倍，但响应时间通常长于1s，例如启动桌面计算机应用程序，这是由大量磁盘I/O或点击Web链接的网络延迟造成了长时间延迟。,6.4 I/O性能可靠性评测,事务处理基准测试程序 为反映响应时间对用户生产率的重要性，I/O基准测试程序提供了对于响应时间与吞吐率相互影响的新视角。 事务处理主要关心I/O频率，事务处理通常包括对大量共享信息的改动，且系统保证发生故障时可以做出正确的动作，比如客户在ATM机上取钱等。,6.4 I/O性能可靠性评测,事务处理基准测试程序 通过TPC-C测试程序来了解基准测试程序的特点。 TPC-C使用数据库来模拟一个批发商的订单入口环境，包括登记和发送订单、支付记录、检查订单状态和监控仓库存货水平。它同时运行5个具有可变复杂度的并发事务，数据库中包含9张表。 TPC-C可用每分钟的事务数和系统价格进行度量。,6.4 I/O性能可靠性评测,事务处理基准测试程序 TPC测试程序特点： 1、测试结果中包括价格因素 2、为了适应吞吐量的增加、数据集大小可变 3、测试结果是经过审核的 4、吞吐率是性能的尺度，但响应时间是受限的 5、第三方对基准测试程序进行维护,6.4 I/O性能可靠性评测,基准测试程序可靠性的实例 TPC-C基准测试程序实际上具有可靠性要求，基准测试程序应具备处理单一磁盘故障的能力，存储系统中使用某种RAID组织结构。近期成果主要集中在系统容错的有效性上。可以通过观察把错误注入系统后系统服务质量标准随时间的变化情况来度量系统的有效性。,6.4 I/O性能可靠性评测,基准测试程序可靠性的实例 最初的实验是在系统中注入一个错误，如磁盘扇区写错误，并记录系统反映在服务质量指标上的行为变化。注入的错误包括各种短暂的磁盘错误，例如可纠正的读错误，和永久性错误，如磁盘媒介写入失败 各系统在不同错误下的表现参照图6.14,6.5 排队论,在I/O系统中，需要一个数学工具来指导I/O 设计，它比理想化的案例更精确，也有更大的计算量，但比系统仿真的工作量要小。基于I/O 事件的可能性特征以及I/O 资源的共享性，我们可以给出一系列的简单法则来计算整个I/O 系统的响应时间和吞吐率，这部分内容称为排队论，它能很好地指导I/O 系统设计。,6.5 排队论,排队论简介 可以把I/O系统看做一个黑盒，处理器发出“到达”I/O 设备的命令，当I/O 设备完成时发出“离开”命令。 假设所评价的系统中多个独立I/O服务请求是均衡的，即输入速率等于输出速率，还假设不管每个任务等待服务的时间是多少，提供服务的速度是固定的。,6.5 排队论,Little定律 系统的平均任务=到达速率 *平均响应时间 只要黑盒内不产生新任务和撤销任务，Little定律可以应用于任何均衡系统，到达速率和响应时间要使用同一时间单位，时间单位不一致是引起错误的普遍原因。,6.5 排队论,几个名词 每个任务平均服务时间：Time(server) 队列中平均等待时间：Time(queue) 系统中平均时间：Time(system) 到达速率：每秒平均到达的任务数 服务中的平均任务数：Length(server) 平均队列长度：Length(queue) 系统中平均任务数：Length(system),6.5 排队论,Little定律 在服务开始前，一个任务要在队列中的等待时间Time(queue) 与一个任务在完成前需要等待的时间Time(system) 是产生混淆的概念。后者是所谓的响应时间，是队列中等待时间与服务时间之和。 服务器利用率=到达速率* Time(server),6.5 排队论,Little定律 队列如何提交任务给服务器称为队列规则，最简单常用的规则是FIFO，排队时间等于队列中的任务数乘以平均服务时间，加上一个新任务到达时服务器完成正在接受服务的任务所需的时间。 一个新任务可能在任何时刻到达，我们无法得知一个任务在服务器中停留多长时间，但如果知道事件分布的规律，就可以对性能做出预测。,6.5 排队论,随机变量的泊松分布 为对正在接受任务的平均完成时间做出评估，需要对随机变量分布情况有所了解。如果一个变量在一个指定集合内按一定的概率取值，那么该变量就是随机的，虽然不知道变量究竟取哪一个值，但知道变量所有可能取值的概率。 I/O进程可以看做是独立的进程，I/O系统服务请求可看做是随机变量模型，可以根据随机变量特性构建I/O服务时间模型。,6.5 排队论,随机变量的泊松分布 对于任务的平均完成时间可以用平均时间和方差来描述这个随机变量分布的特性，平均时间可以用加权算术平均时间来描述。 泊松分布是常用的指数分布，其协方差系数C取值为1.假设任务到达符合泊松分布，一个新任务等待服务器完成一个正在执行的任务所需的时间称为平均剩余服务时间，有如下度量： 平均剩余服务时间=0.5*加权平均时间*（1+c*c）,6.5 排队论,随机变量的泊松分布 排队论应用到实际中的例子见P269-P271.,6.6 相关问题,点到点连接和用交换机代替总线 综合考虑来自快速处理器、快速磁盘和快速局域网对更高I/O带宽的要求，总线成本优势的下降意味着总线在桌面和服务器计算机中的竞争力日益减弱。 下一代技术的位数和带宽是按每个方向定义的，双向性能指标会翻倍，新的设计思想使用较少的线。,6.6 相关问题,块服务器与文件管理器的对比 文件映像可以在服务器中得到维护，服务器访问存储器并维护元数据。大多数文件系统使用文件高速缓存，因此，服务器必须保持文件访问的一致性。虽然可以磁盘直接访问或通过存储区域网络访问，但事实上是由服务器传送数据块到存储子系统中的。,6.6 相关问题,块服务器与文件管理器的对比 磁盘子系统也可以自己维护文件抽象，由服务器使用文件系统协议与存储器通信，Unix需要使用网络文件系统(NFS)，通用互联网文件系统(CIFS)则在Windows中使用。文件管理器这一术语经常用于仅提供文件服务和文件管理的NFS设备。,6.6 相关问题,异步I/O和操作系统 对于I/O，最直接的策略是请求数据并使用，操作系统随后会切换到另一个进程，直到期望的数据到达后再切换回原进程。这种方法称为同步I/O。 异步I/O是进程在请求后继续运行，直到它试图读取请求数据时才阻塞，异步I/O可以乱序执行可获得更大的带宽。,6.7 I/O系统设计与评价,I/O系统设计 I/O系统设计就是要找出一种设计方案，满足成本可靠性和设备多样性等要求，同时避免造成I/O性能的瓶颈，需要在存储器和I/O设备中进行折中。在设计时，需根据不同的I/O连接模式和每种I/O设备的不同数量分析系统的性能、成本、能力和可用性，具体设计步骤略。,6.7 I/O系统设计与评价,I/O系统评价 评价一款用于互联网档案面向大规模存储的集群，包括其成本、性能和可用性。 参照P275-P277例子,
