Oracle数据集成解决方案

Finish Data Modeling ology Oracle数据集成解决方案数据集成解决方案 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 目录目录 1 背景 背景 2 数据集成平台介绍 数据集成平台介绍 3 Oracle数据集成解决方案数据集成解决方案 4 Q A CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 3 1 数据集成方式 数据集成方式 数据集数据集 成方式成方式 适用场景适用场景 不适用场景不适用场景 技术手段技术手段 业务场景业务场景 实时数实时数 据集成据集成 容灾容灾 在异构的数据库之间复 制 同步数据 不同数据源的数据分发 或汇总 要求数据准实时同步 数据源和同步 目标有很多的 数据转换要求 GoldenGate 异构数据库 间数据同步 生 产 系 统 到 ODS 异地灾备 双业务中心 批量数批量数 据集成据集成 大批量数据的转换 异步的批处理 应用系统间的单向数据 传输 Flat File到数据库 对数据同步的 实时性要求非 常高 ODI Suite 高 效的数据抽取 加载 转换技 术 业务数据库系 统到数据仓库 系统 ODS到数据仓 库 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract GoldenGate提供异构环境下交易数据的实时复制 3 2 Oracle GoldenGate简介简介 卓越性能 灵活性 可靠性 非侵入性 轻量级 亚秒级 开放 模块化 支持异构 业务一致性 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 网络 源数据库 目的数据库 双向复制 队列文件 暂存数据变化 传输 数据经过压缩和加密传送到目的地 捕获 实时读取交易日志捕捉数据变化 投递 执行所需的数据变化 然后将数 据变化提交到目的库 Capture Source Trail Target Trail Source Trail Target Trail Delivery Delivery Capture 3 2 Oracle GoldenGate简介 工作原理简介 工作原理 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 单向复制单向复制 备份 查询 双向复制双向复制 灾备 双业务中心 点对点点对点 多业务中心 广播复制广播复制 数据分发 集中复制集中复制 数据仓库 N 1灾备 多级复制多级复制 层次化企业数据 3 2 Oracle GoldenGate简介 多拓扑结构简介 多拓扑结构 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 备用节点启动风险 镜像软件购买费用 备用节点投资 网络投资 备用节点不可用 复制软件购买费用 网络投资 备用节点投资 磁盘镜像 GoldenGate 节省的预算可 用于其它方面 3 2 Oracle GoldenGate简介 优势简介 优势 额外的风险使 成本居高不下 GoldenGate 节省网络投资 备用节点可以双活 提 高IT投资利用率 磁盘镜像技术磁盘镜像技术 数据全量复制 网络投 资大 且距离限制 生产系统和备份系统的 存储设备必须同构 备用节点不可用 不检查坏块 存在数据 库无法启动情况 总 拥 有 成 本 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 3 3 ODI Suite简介简介 ODI Suite是一个业务驱动的通用数据集成及转换工具 采用E LT架 构 支持SOA 支持更多的异构数据源 Perance Price 新型E LT架构 高效率 高性能 不需单独转换服务器 节省IT投资 Productivity 高效的声明式设计 图形界面 知识模块 热插 拔 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 3 3 ODI Suite简介简介 E LT架构架构 传统的传统的ETL架构架构 Extract Load Trans 新一代架构新一代架构 E LT Load Extract Trans 在单独在单独ETL服务器上进行转换服务器上进行转换 私有的引擎 性能差 高成本 在已有的关系数据库上进行转换在已有的关系数据库上进行转换 充分利用资源 效率高 高性能 好处好处 最佳的高性能 可扩展性 易管理 低成本 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 纯纯Java的设计环境的设计环境 可以在任何平台上运行 通过瘦客户端浏览元数据 纯纯Java的运行环境的运行环境 可以在任何平台上运行 协调执行数据流 元数据库元数据库 可以装在任何关系数据库上 便于开发 组件化的 可扩展的元数据 Design Time Metadata Management Runtime Agent Data Flow Conductor Service Interfaces and Developer APIs User Interfaces Topology Manager Data Flow Generator Knowledge Module Interpreter Knowledge Modules Master Repository Work Repositories Runtime Repositories Data Flow Generator Runtime Session Interpreter Data Flow Operator Designer 3 3 ODI Suite简介简介 架构架构 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 3 3 ODI Suite简介简介 知识模块知识模块 Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Trans and Move to Targets Service Expose Data and Transation Services Reverse Engineer Metadata Reverse Journalize Load Check Integrate Services CDC Sources Staging Tables Error Tables Target Tables W S W S W S 120多个知识模块 非黑多个知识模块 非黑 盒的 盒的 开发和利用最佳实践 简化管理工作 减少拥有成本 KM Interpreter Choose KM Metadata 可执行代码 模块化设计模块化设计 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract Oracle Data Integrator Interface Declarative Design 1 定义你需要定义你需要什么什么 3 自动生成转换 数据 流自动生成转换 数据 流 2 定义定义如何如何做做 选择知识模块选择知识模块 批量加载批量加载 变化数据捕获变化数据捕获 增量更新增量更新 缓慢变化维缓慢变化维 3 3 ODI Suite简介简介 示例示例 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 3 4 Oracle数据集成方案总结数据集成方案总结 全面全面 全面支持面向运营面向运营和面向分析面向分析的环境 完整完整 包含了数据集成的所有要素 实时和批量数据迁移实时和批量数据迁移 数据数据转换转换 数据质量数据质量等 高效高效 降低开发成本降低开发成本 提提高高数据处理速度数据处理速度 CONFIDENTIAL All contents are for study purposes only and can not be used in any contract 目录目录 1 背景 背景 2 数据集成平台介绍 数据集成平台介绍 3 Oracle数据集成解决方案数据集成解决方案 4 Q A CONFIDENTIAL All contents are for study purposes only and can not be used in any contract