一体化数据管理技术平台ppt课件
一体化数据管理技术平台 TrueCDP项目开发方案及计划 软件研发部CDP项目组 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap 什么是一体化架构 基于平台的产品开发模式功能模块化形成基于功能模块的产品开发平台软件架构的一体化设计软件架构可扩展性比较强 容易添加新功能适用于基于平台的开发模式 一体化数据管理平台的想法 部署统一的解决方案 利用单一解决方案 提高了运营效率 与孤立 单独的单点解决方案相比 单一解决方案可共享一套通用技术引擎 所需资源比较少 而且更具成本效益 执行一整套数据管理功能 保护 归档 复制及搜索数据 这一切只要借助一个统一的浏览器控制台 可集中及简化业务运营 管理整个企业的数据 简化所有应用程序 平台 设备和场地 从远程办事处到企业数据中心 上的数据管理功能 一体化架构 LiveDPM 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap 产品开发介绍 产品开发代号 LiveDPM产品方向 持续数据保护 块级 容灾产品定位 中高端存储软件产品简介 CDP ContinuousDataProtection 连续数据保护 可在数据发生任何变化时将数据有效地保护起来 CDP技术将传统着眼于 数据备份 的备份技术 推进到着眼于快速恢复 最少数据丢失的数据保护的新阶段 主要竞争对手 飞康CDP产品 EMCRecoverPoint产品形式 基于CentOS64位系统 兼容主流存储产品开发周期 2009年11月到2010年10月 产品架构 SAN WAN 支持异构存储平台及异构操作系统 可将数据反复恢复至分钟级别 LiveDPM 持续数据保护系统CDP 本地端持续性数据保护 ContinuousDataProtection CRR 异地端持续性数据复制 ContinuousRemoteReplication HistorySnapshot HistorySnapshot LiveDPM LiveDPM Localsite Remotesite CDP CRR STK HP IBM HDS EMC 产品需求 产品需求 续 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap 主要竞争CDP对比 Block级产品 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap TrueCDP实现 LD1 LD2 EthernetSwitch s 11 SnapshotTime ViewDisk 10 00 11 00 12 00 12 15 10 00 12 00 14 00 16 00 基于IO 快照的TrueCDP实现 Snapshot Snapshot Deletefile1 Addfile2 LiveDPM总体实现原理 应用 IO截获 数据复制发送 业务服务器 CDP服务器 容灾服务器 数据复制接收 IO日志保存 异步数据复制 异步数据接收 日志卷 镜像卷 原卷 镜像卷 日志卷 LiveDPM底层主要模块示意图 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap 技术难点和重点 业务服务器端磁盘IO截获同步和异步数据镜像技术断点续传功能磁盘位图功能CDP服务端IO日志保存TimeMark实现可写快照设计虚拟卷技术异步远程复制普通网卡引导 技术难点和重点 磁盘IO截获 技术难点 磁盘I O截获需要使用底层磁盘过滤驱动技术来完成I O的截获 技术难点和重点 同步和异步镜像 同步镜像 在IO写入本地磁盘同时将数据发送到远程只有确认远程数据收到才开始接收下一个IO安全 但影响性能采用无损数据压缩算法 LZW 技术难点和重点 同步和异步镜像 异步镜像 对主机性能影响小主机和镜像卷数据会有时间差 不一定同步数据先缓存到内存中如果在缓存的IO队列中有相同的block进行合并采用无损数据压缩算法 LZW 技术难点和重点 同步和异步镜像 同步续传设计 AutomaticHourlySnapshots LiveDPM镜像卷 主机源数据卷 NewDataBlocksadded StorageBlocksContaindata NewDataBlocksadded 2 6 7 10点的时候 同步错误 2 6 7 1 4 7 10 2 5 8 11 3 6 9 12 用磁盘位图来记录磁盘数据变化当在同步的过程中 已经同步的数据如果被修改 先在位图中记录 然后重传重新同步则采用块校验的方式 先校验源盘与镜像盘数据是否一致 MD5 只传校验不一致的块 技术难点和重点 IO日志保存 对代理端被保护盘的IO 需要在CDP服务端做保存 对每个被保护的原始卷都与之分配可变扩展的独立卷 日志卷 我们利用LINUXLVM已经做好的功能做CDP上各种类型卷的创建 扩展 删除等等管理功能 技术难点和重点 IO日志保存 续 对代理端被保护盘的发过来过来的每一个IO 我们根据时间戳和扇区号对之在日志卷进行保存 被保护的磁盘或分区 代理端 此处我们基于LVM把IO做备份 写向不同的卷 技术难点和重点 IO日志保存 分级目录虚表 为了实现IO日志的在日志卷内增量保存 我们使用LVM的卷可扩展特性 从而可以少量逐渐增加预分配空间 为了方便从日志卷内方便找到原始卷内的任意的块号所在日志卷内的位置 我们借用INTELCPU的内存管理单元MMU的设计思路 MMU通过一个分级目录表实现不连续的物理内存地址到连续线性地址的映射 我们也仿照它为日志卷的管理引入 分级目录虚表采用64位中的44位来记录IO日志的变化 这40位就够我们对8000T 8K 240 大小的一个卷组作管理 目前来讲足够应用了 日后需要再扩展 技术难点和重点 IO日志保存 分级目录虚表 续1 技术难点和重点 IO日志保存 分级目录虚表 续2 下面给出一个具体日志卷内块号变换的例子 我们以8k为目录块大小 64位表示地址 块号 64位块号 0000000000000000000001011001110101101100010110010101111011001011好这个块号 地址 是在原始卷的 那么当新的块来覆盖的时候 新块被存在什么日志卷的什么地方呢 这个地址的根目录下标0101100111 359 找到根目录快 然后以8字节步长前进358次 得到一个8字节的块号 这块号是次目录块的地址 得到次目录的起始地址次级目录的偏移0101101100 364 如上办法得到3级目录的起始地址3级目录的偏移0101100101 357 如上办法得到4级目录的起始地址4级目录的偏移0111101100 492 如上办法得到了实际的数据块的地址 技术难点和重点 IO日志保存 分级目录虚表 续3 日志卷 2 6 7 9 10 1 12 2 6 7 9 10 1 12 技术难点和重点 IO日志保存 Timemark 原始卷 老的数据块从日志区中查找 根据分级目录虚表和TimeMark 数据块能够被一对一的找到 而且根据需要能够建立静态的索引表指向日志卷内固定块地址 从而提高挂载访问速度 Timemark 技术难点和重点 IO日志保存 快照可写 使用分级目录虚表 我们可以建立若干多快照 每个快照并不需要和原始卷或者被保护磁盘同样的大小 如果是只读快照 我们只要建立原始卷的分级目录虚表 把原始卷的数据块号一对一的映射到日志卷内块号即可 然后建立静态索引信息 加快块号的访问速度 对于可写快照 我们要使用写时拷贝技术并且给他分配独立的日志卷 最后 我们使用分级目录虚表使用少量的存储空间 通过共享只读数据块来虚拟逻辑卷 方便应用层使用操作系统支持的文件格式来Mount虚拟逻辑卷 技术难点和重点 虚拟逻辑卷 如图所示 为了虚拟原始卷 拦截所有的块号请求 然后重定向 通过某个时间点 从日志卷查找 如果通过四级目录查找的过程得到空地址 块号 那么这一块就从原始卷里读 如果非空 它肯定指向日志卷上的某个有效块 这样就虚拟出来整个被保护的磁盘某时刻的快照 技术难点和重点 异步远程复制 需要将镜像卷和日志卷都远程复制 2 6 7 CDPServer 远程CDPServer 源卷 采用客户端与CDPServer类似的异步同步机制 使用位图来表示当前变化的块是否已经发送到远程 元数据 IO数据 日志卷 元数据 IO数据 根据时间顺序 逐渐拷贝元数据和IO数据 技术难点和重点 普通网卡引导 基于gPXE 微软Initiato Sanbootconf 开源软件 为SANBOOT提供配置信息 在CDPServer根据快照设置Target 采用SCST实现 并且在CDPServer设置DHCP 同时在客户端采用Pxe引导 主要功能模块总结 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap 项目团队建设 项目里程碑计划 项目风险 产品风险 需求风险可能风险 因为市场需求的变更 对于产品的形式 功能要求等发生重大变化措施 在研发过程中持续保持和产品部等相关部门的沟通和交流 技术风险可能风险 1 需要实现突破的技术点非常多 可能无法完成 2 关键技术点无法满足性能的要求措施 1 加强关键技术点的预测试和评审 2 做好代码检查和质量管理人员风险可能风险 人员未到位 开发人员技术能力不足 人员离职措施 规范软件开发过程管理 加强项目组学习能力 有针对性的专业技能培训 方案总结 完成实现从NearCDP产品到TrueCDP产品 提高产品档次积累一个一体化开发平台Web开发一体化功能模块化掌握大量的核心技术突破十几项核心技术 磁盘 IO 快照 文件系统 从会使用到会模仿制造 0到1的突破为后续产品开发 VTL 重复数据删除 打下基础锻炼队伍培养一批在Windows和Linux底层开发人才 内容 一体化数据管理技术平台LiveDPM产品开发需求主要竞争CDP对比LiveDPM项目技术方案LiveDPM项目主要模块及技术难点LiveDPM项目开发计划LiveDPMRoadmap TrueCDP项目Roadmap 时间 CDP解决方案 1 TrueCDP2 支持256个快照3 支持普通网卡引导4 支持WindowsAgent5 远程复制功能 2010年 2011年 2012年 1 LinuxAgent支持2 CDPServer集中管理3 支持2TB级 1 应用感知功能2 监控告警功能3 快照支持1024个以上4 支持到PB级 LiveDPMV1 0 LiveDPMV2 0 LiveDPMV3 0 4 29 2020 Inspurgroup 谢谢