云创存储-任军远_cStor超低功耗云存储系统.ppt
《云创存储-任军远_cStor超低功耗云存储系统.ppt》由会员分享,可在线阅读,更多相关《云创存储-任军远_cStor超低功耗云存储系统.ppt(38页珍藏版)》请在三一文库上搜索。
1、,cStor超低功耗云存储系统,Google文件系统(GFS),Google48%,MSN19%,Yahoo33%,客户端,互为备份,管理节点,GFS主节点,GFS主节点,C0,C1,C2,C5,数据结点1,C0,C2,C5,数据结点N,C1,C5,数据结点2,C1,Google需要一个支持海量存储的文件系统 购置昂贵的分布式文件系统与硬件?,Google设计GFS的动机,是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统?,硬件出错是正常而非异常 系统应当由大量廉价、易损的硬件组成 必须保持文件系统整体的可靠性 主要负载是流数据读写 主要用于程序处理批量数据,而非与用户的交互或随机读
2、写 数据写主要是“追加写”,“插入写”非常少 需要存储大尺寸的文件 存储的文件尺寸可能是GB或TB量级,而且应当能支持存储成千上万的大尺寸文件,GFS的假设与目标,将文件划分为若干块(Chunk)存储 每个块固定大小(64M) 通过冗余来提高可靠性 每个数据块至少在3个数据块服务器上冗余 数据块损坏概率? 通过单个master来协调数据访问、元数据存储 结构简单,容易保持元数据一致性 无缓存 Why?,GFS的设计思路,单一Master, 若干ChunkServer,GFS的架构,1、文件存储方式 2、数据读写流程,分布式系统设计告诉我们: 这是单点故障 这是性能瓶颈 GFS的解决办法 单点故
3、障问题,单一Master问题,采用多个(如3个)影子Master节点进行热备,一旦主节点损坏,立刻选举一个新的主节点服务,GFS的解决办法 性能瓶颈问题,单一Master问题,尽可能减少数据存取中Master的参与程度,不使用Master读取数据,仅用于保存元数据,客户端缓存元数据,采用大尺寸的数据块(64M),数据修改顺序交由Primary Chunk Server完成,Simple, and good enough!,存储元数据 文件系统目录管理与加锁 与ChunkServer进行周期性通信 发送指令,搜集状态,跟踪数据块的完好性 数据块创建、复制及负载均衡 对ChunkServer的空间
4、使用和访问速度进行负载均衡 对数据块进行复制、分散到ChunkServer上 一旦数据块冗余数小于最低数,就发起复制操作 平滑数据存储和访问请求的负载,Master节点的任务,垃圾回收 在日志中记录删除操作,并将文件改名隐藏 缓慢地回收隐藏文件 与传统文件删除相比更简单、更安全 陈旧数据块删除 探测陈旧的数据块,并删除,Master节点的任务,采用中心服务器模式 可以方便地增加Chunk Server Master掌握系统内所有Chunk Server的情况,方便进行负载均衡 不存在元数据的一致性问题,GFS架构的特点,不缓存数据 GFS的文件操作大部分是流式读写,不存在大量的重复读写,使用C
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 存储 任军远 _cStor 功耗 存储系统
![提示](https://www.31doc.com/images/bang_tan.gif)
链接地址:https://www.31doc.com/p-9303106.html