存储基本原理ppt课件

存储阵列的诞生及发展 存储技术常用名词术语及存储配件 1 2 目录 存储协议及存储架构介绍 3 存储高级软件功能 4 2 IT技术的发展趋势 PC C S mainframe internet Cloudcomputing Before NOW 3 从世界第一款磁盘驱动器说起 世界上第一款磁盘驱动器 magneticdrive RAMAC 名为IBM305 是IBM在1956年所创 重达一吨 内含50片24英寸硬盘 只能容纳5MB的数据 从石器时代到存储设备 FromStoneAgetoStorAge 硬盘发展至今 简直就像从石器时代走到现在 4 信息化数据发展 5 IT技术的发展趋势 数据如何存储 数据如何保护 数据如何高效使用 6 独立存储的诞生 存储系统是整个IT系统的基石 是IT技术赖以存在和发挥效能的基础平台 早先的存储形式是存储设备 通常是磁盘 与应用服务器其他硬件直接安装于同一个机箱之内 并且该存储设备是给本台应用服务器独占使用的 缺点 1 随着服务器数量的增多 磁盘数量也在增加 且分散在不同的服务器上 查看每一个磁盘的运行状况都需要到不同的应用服务器上去查看 2 更换磁盘也需要拆开服务器 中断应用 7 真正的企业级存储 7 将磁盘从服务器中脱离出来 集中到一起管理商业 大容量 为企业解决信息时代海量数据的存储才是真正的存储 8 存储发展历史 数据脱离Server 存储单独发展 数据的集中管理需求 SAN出现 非结构化数据的增长需求 NetApp推出第一款NAS IP技术的成熟 低成本IPSAN出现 存储产品的发展历程就是数据保存 应用发展的过程 IBM推出第一款HDD NAS与SAN结合 简化管理提高效率 存储阵列的诞生及发展 存储技术常用名词术语及存储配件 1 2 目录 存储协议及存储架构介绍 3 存储高级软件功能 4 10 存储RAID定义 RAID RedundantArrayofIndependentDisks 即独立磁盘冗余阵列 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘 从而提高了硬盘的读写性能和数据安全性 11 RAID诞生的因素 12 RAID基本概念 条带化 13 RAID基本概念 校验 奇偶校验 XOR 算法 A0值 A1值 P值 0 0 0 0 1 1 1 0 1 1 1 0 数据A0和A1通过异或运算 相同为0 相异为1 得到校验位P 14 RAID基本概念 磁盘数据重建 数据盘1 数据盘2 数据盘3 数据校验盘 A1 A2 P XOR XOR A0 A1 A2 P 15 RAID基本概念 物理卷 逻辑卷 RAID10 RAID5 物理卷 物理卷 逻辑卷 逻辑卷 LUN2 LUN3 单个物理卷上创建1个逻辑卷 单个物理卷上创建2个逻辑卷 RAID由几个硬盘组成 从整体上看相当于一个物理卷在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷 通过LUN LogicUnitNumber 来标识 16 RAID基本概念 RAID 逻辑卷 物理卷 RAID组 逻辑卷 LV 物理磁盘 LUN1 LUN2 LUN3 分割 17 RAID基本概念 RAID0 1 2 3 4 5 6 2块磁盘 18 RAID基本概念 RAID1 1 2 3 1 2 3 2块磁盘 19 RAID基本概念 RAID3 1 2 3 4 5 6 P2 P1 P0 XOR P2 3块磁盘 20 RAID基本概念 RAID5 3块磁盘 1 2 3 4 5 6 P0 P1 P2 P2 XOR 21 RAID基本概念 RAID6 4块磁盘 1 3 5 6 P2 XOR RAID6 GE变换 XOR 2 4 Q2 Q0 Q1 P1 P0 P2 22 RAID基本概念 RAID0 1 4块磁盘 7 5 3 1 8 6 4 2 7 5 3 1 8 6 4 2 Disk1 Disk2 Disk3 Disk4 RAID0 RAID0 1 2 1 2 23 RAID基本概念 RAID级别的选择 性能 可靠性 成本 RAID0 RAID6 RAID5 3 RAID10 RAID1 24 RAID基本概念 RAID硬盘故障处理 热备 HotSpare定义 当冗余的RAID组中某个硬盘失效时 在不干扰当前RAID系统的正常使用的情况下 用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘 及时保证RAID系统的冗余性全局式 备用硬盘为系统中所有的冗余RAID组共享专用式 备用硬盘为系统中某一组冗余RAID组专用 RAID5 RAID5 磁盘阵列 25 传统RAID数据保护方式 磁盘组织管理通过RAID组卷空间只能分布在RAID组中的磁盘上性能受磁盘数目限制热备盘直到硬盘故障的时候参与工作热备的空间总是处于备用状态 24 drivesystemwith 2 10 drivegroups 8 2 and 4 hotspares 26 传统RAID数据保护方式 数据重建到热备盘上热备盘需要承担数据重建的所有写操作成为性能瓶颈数据重建只能依序进行 一次一个数据条带此RAID组上所有的数据访问都会受到影响 24 drivesystemwith 2 10 drivegroups 8 2 and 4 hotspares 27 动态磁盘池DDPVolumes 每一个卷的数据 保护信息和热备空间均匀分布在磁盘池中的所有硬盘上所有的磁盘都是活动状态 无备用状态热备空间对所有的卷都有保护作用 24 drivesystemwithsingle24 drivepool 28 动态磁盘池 当发生磁盘故障时 Dataisreconstructedthroughoutthediskpool所有的硬盘都会参与数据重写操作数据重建多条带并行处理10倍速度完成数据重建 24 drivesystemwithsingle24 drivepool 29 动态磁盘池特点 DDP动态分布数据 热备空间数据保护信息保存在所有磁盘池中所有硬盘上智能算法实现硬盘的分片管理硬盘分片根据性能平衡需要动态实现重建 再分配快速实现硬盘故障的恢复所有硬盘参与数据重建数据重建对系统性能影响极小 30 动态磁盘池特点 系统提供持续不受影响的性能系统性能保持在 绿色区域 硬盘故障对系统的性能影响最小显著加快系统恢复时间10倍于传统RAID的恢复速度加速数据重建磁盘池规避硬盘热点所有的卷空间分布在磁盘池中全部的硬盘中降低硬盘故障率动态的数据分布和再分配由后台持续进行 RAIDRebuild DDP 31 磁盘阵列 由一个或者多个磁盘子系统中的磁盘组成的磁盘集合 这些磁盘由控制软件组合到一起并统一控制 自带RAID控制器的盘柜就叫做磁盘阵列或者盘阵 控制软件将磁盘集合的总磁盘存储容量作为一个或者多个虚拟磁盘提供给主机 32 JBOD 最初用来表示一个没有控制软件提供协调控制的磁盘集合 阵列 控制器 扩展柜 SAS FC线缆 带有控制单元的阵列 磁盘扩展接口 磁盘扩展接口 33 外置独立存储系统的配件组成 Title 控制器 硬盘 风扇 Cache 电源 BBU 34 存储重要组成 硬盘 硬盘的主要指标 容量 指硬盘能存储的数据量大小 以字节为基本单位单碟容量 硬盘都是由一个或几个盘片组成的 单碟容量就是指包括正反两面在内的单个盘片的总容量转速 即主轴马达转动速度 单位为RPM RoundPerMinute 即每分钟盘片转动圈数缓存 是硬盘控制器上的一块内存芯片 具有极快的存取速度 它是硬盘内部盘片和外部接口之间的缓冲器 硬盘的读写速度同硬盘的转速成正比更高的转速可缩短硬盘的实际读写时间 转速对磁盘性能的影响 35 企业级硬盘与桌面级硬盘的区别 36 各类接口 磁盘扩展接口 管理接口 主机接口 阵列 37 关于存储磁盘阵列性能 性能不仅仅是IOPS 从存储系统的角度 有三个尺度可以来衡量存储系统的性能 IOPS OutputPerSecond IOPS即每秒的输入输出量 或读写次数 IOPS是指单位时间内系统能处理的I O请求数量 一般以每秒处理的I O请求数量为单位 I O请求通常为读或写数据操作请求 随机读写频繁的应用 如OLTP OnlineTransactionProcessing IOPS是关键衡量指标 Bandwidth 带宽 指单位时间内可以成功传输的数据数量 对于大量顺序读写的应用 如VOD VideoOnDemand 则更关注吞吐量指标 ResponseTime 响应时间 通常与控制器与硬盘类型相关HDS 我们有权威的SPC数据 证明我们的性能 EMC SPC的测试标准没有考虑规定许多对存储性能测试至关重要的因素 SPC平台并不能代表客户的实际应用 用户 把我的应用测了再说 38 关于存储磁盘阵列性能 应用访问模式 驱动器SED考虑 39 高可靠性 HighAvailability 经常听到五个 9 的标准 什么是五个 9 五个 9 意味着什么 计算方法A Availability MTBF MTBF MTTR Downtime 525600 1 A mins yearAvailability 可靠性MTBF 平均无故障时间MTTR 平均故障恢复时间Downtime 宕机时间 40 灾备衡量指标 RTO RecoveryTimeObject 恢复时间目标 是指信息系统从灾难状态恢复到可运行状态所需的时间 用来衡量容灾系统的业务恢复能力 RPO RecoveryPointTime 恢复点目标 是指业务系统所允许的在灾难过程中的最大数据丢失量 用来衡量容灾系统的数据冗余备份能力 41 数据恢复时间及数据保护要求 恢复时间 15Min 1 4Hr 4 8Hr 8 12Hr 12 16Hr 24Hr Days Tier4 在线数据库映射或日志时间点副本 以及磁盘快照 Tier3 电子传送 Tier1 异地磁带恢复 Tier2 异地磁带恢复 hot中心 基于时间点备份 活动 异地 单独热备远端 成本 Tier7 接近0或0数据丢失 基于综合的 商业广泛使用的高度自动化远程磁盘镜像和数据共享 Tier6 接近0或0数据丢失 远程磁盘镜像 有帮助数据整合和一致性 Tier5 异地和本地同时工作 并管理彼此的备份数据 典型 4小时恢复 4 8小时恢复 12小时恢复 一天恢复 1天恢复 1周时间恢复 直到一天恢复 42 磁带设备 磁带设备的类型 磁带机 自动加载机 磁带库 具有特殊数据存储格式 数据校验功能的 录音机 设备 通过一个简单的自动传送装置移动磁带的自动装载设备 通过机械手来抓取磁带 支持广泛的连接 性能高效 拥有海纳百川容量的智能备份归档设备 43 磁带库的组成 磁带库的组成 带库组成库体磁带驱动器磁带磁带标签清洗带清洗带标签 44 磁带库重要指标 磁带库的主要指标 备份容量 TB 磁带类型槽位备份速率 GB hr 磁带驱动器类型磁带驱动器个数接口类型SCSI FC iSCSI SAS其他特性级联扩展分区 45 备份概念 备份策略 46 备份概念 LAN备份 LAN Win Lin 备份服务器 存储 客户端 主模块 服务器 存储 备份软件 备份用户通过通过LAN共享和备份服务器相连的备份设备 对备份工作集中管理 47 备份概念 LAN FREE备份 LAN SAN Win Lin 备份服务器 存储 带库 引入SAN 提高数据块的传输速率 备份数据流和业务数据流的分离 容易扩展备份容量 48 D2D2T备份模式 备份服务器备份软件 磁带库 离线归档 在线存储系统 虚拟磁带库或近线存储系统 存储阵列的诞生及发展 存储技术常用名词术语及存储配件 1 2 目录 存储协议及存储架构介绍 3 存储高级软件功能 4 50 SCSI协议概念 LUN1 常见SCSI接口有68 80针 SCSI SmallComputerSystemInterface 小型计算机系统接口 是一种为小型机研制的接口技术 用于主机与外部设备之间的连接 LUN0 LUN0 51 SAS技术及优势 串行连