数据立方云计算一体机(电网应用)测试报告V1.0_6_

云创存储云创存储数据立方云计算一体机数据立方云计算一体机 电网应用电网应用性能性能测试报告测试报告 Tel 4008855360 1 27 目目 录录 1 概述 2 1 1 编写目的 2 1 2 系统简介 2 1 3 测试范围 2 2 测试环境 3 2 1 硬件环境 3 2 1 1 服务器硬件配置 3 2 1 2 客户端硬件配置 3 2 2 软件环境 3 2 2 1 服务器软件环境 3 2 2 2 客户端软件环境 3 2 3 测试系统架构 4 2 4 系统监控工具 4 3 测试项目 4 3 1 采集数据入库模拟测试及测试结果 4 3 1 1 模拟的数据表 4 3 1 2 数据量 5 3 1 3 对应数据表结构 5 3 1 4 测试多客户端数据入库 9 3 1 5 本项测试结果 11 3 2 查询性能测试及测试结果 14 3 2 1 模拟查询用的数据表 14 3 2 2 数据量 14 3 2 3 对应表结构 14 3 2 4 查询测试 14 3 2 5 查询测试结果 17 4 测试结果分析及相关技术 23 4 1 结果分析 23 4 2 相关技术 23 5 省级系统实现及可达到的主要技术指标 25 5 1 系统实现 按 4000 万用电表建议 25 5 1 1 数据立方云计算一体机 25 5 1 2 节点硬件配置 25 5 1 3 节点软件配置 25 5 2 可达到的主要技术指标 26 2 27 1 概述 概述 1 11 1 编写目的编写目的 目的是通过全面测试手段来验证基于实时数据库 云计算技术实现的数 据立方云计算一体机产品是否满足项目要求 本测试报告参考人员包括 开 发人员 测试人员 相关管理人员 及相关客户等 1 1 2 2 系统简介系统简介 数据立方云计算一体机系统基于实时数据库 云计算技术实现 数据入 库采用实时数据流处理技术 底层数据管理采用数据立方 DataCube 分布式 基础架构 基于 cStor 云存储文件系统 实现了类关系库的复杂关联查询 整个系统由主控制节点和处理节点构成 包括了存储子系统 处理子系统和 调度子系统等 使用高效的并行计算技术和先进的索引机制实现了实时任务 的快速处理 复杂任务的高效计算以及大数据批处理任务的高吞吐率 1 31 3 测试范围测试范围 进行用电信息采集的模拟测试 主要包括 1 采集数据的入库测试 2 单表查询性能测试 3 多表关联查询性能测试 3 27 2 测试环境测试环境 2 12 1 硬件环境硬件环境 2 2 1 11 1 服务器硬件配置服务器硬件配置 序号序号 设备名称设备名称 数量数量 CPUCPU 内存内存 硬盘硬盘 说明说明 1 主控制服务器 1 E5606 4core 2 主频 2 13GHz 32G 3T 3 2 处理服务器 8 E5606 4core 2 主频 2 13GHz 32G 3T 6 或 3T 8 共计 480T 2 2 1 2 1 2 客户端硬件配置客户端硬件配置 序号序号 设备名称设备名称 数量数量 CPUCPU 内存内存 硬盘硬盘 说明说明 1 客户端 10 Intel E3400 单 路双核 2G 500G 2 22 2 软件环境软件环境 2 2 2 1 2 1 服务器软件环境服务器软件环境 软件名称软件名称 软件版本软件版本 内核版本内核版本 说明说明 Linux 操作系统 Linux CentOS x64 5 6 Linux 2 6 18 JDK1 6 2 2 2 2 2 2 客户端软件环境客户端软件环境 软件名称软件名称 软件版本软件版本 内核版本内核版本 说明说明 Linux 操作系统 Linux CentOS x64 6 5 Linux 2 6 18 JDK1 6 4 27 2 2 3 3 测试测试系统系统架构架构 2 4 2 4 系统监控工具系统监控工具 GangliaGanglia Ganglia 是设计用于检测数以千计的节点 包含 gmond gmetad 以及一 个 Web 前端 主要是用来监控系统性能 如 cpu mem 硬盘利用率 I O 负载 网络流量情况等 通过曲线很容易见到每个节点的工作状态 对合理 调整 分配系统资源 提高系统整体性能起到重要作用 3 测试项目测试项目 3 3 1 1 采集数据入库模拟采集数据入库模拟测试测试及测试结果及测试结果 3 3 1 1 1 1 模拟的数据模拟的数据表表 1 测量点功率曲线表 E MP POWER CURVE 2 终端任务表 A TMNL TASK 5 27 3 终端任务对象表 A TMNL TASK OBJ 3 3 1 2 1 2 数据量数据量 1 测量点功率曲线表 E MP POWER CURVE 指采集的数据表 随 着时间快速的增长 此表一年的数据量大约是 4000 万 x 8 data type x 365 天 11680000 万 条数据 2 终端任务表 A TMNL TASK 指对采集终端下发任务数量 此 表的数据大约为采集终端 3 5 倍 数据量大概在 300 万 500 万之间 并且基本维持在这两个数量之间 3 终端任务表 A TMNL TASK 指对采集终端下发任务数量 此 表的数据大约为采集终端 3 5 倍 数据量大概在 300 万 500 万之间 并且基本维持在这两个数量之间 3 3 1 3 1 3 对应对应数据表数据表结构结构 1 1 测量点功率曲线 测量点功率曲线 E MP POWER CURVEE MP POWER CURVE 表结构 表结构 create table E MP POWER CURVE ID NUMBER 16 not null DATA DATE DATE not null DATA TYPE NUMBER 2 not null DATA POINT FLAG NUMBER 3 DATA WHOLE FLAG VARCHAR2 96 P1 NUMBER 11 4 P2 NUMBER 11 4 P3 NUMBER 11 4 P4 NUMBER 11 4 P5 NUMBER 11 4 6 27 P6 NUMBER 11 4 P7 NUMBER 11 4 P8 NUMBER 11 4 P9 NUMBER 11 4 P10 NUMBER 11 4 P11 NUMBER 11 4 P12 NUMBER 11 4 P13 NUMBER 11 4 P14 NUMBER 11 4 P15 NUMBER 11 4 P16 NUMBER 11 4 P17 NUMBER 11 4 P18 NUMBER 11 4 P19 NUMBER 11 4 P20 NUMBER 11 4 P21 NUMBER 11 4 P22 NUMBER 11 4 P23 NUMBER 11 4 P24 NUMBER 11 4 P25 NUMBER 11 4 P26 NUMBER 11 4 P27 NUMBER 11 4 P28 NUMBER 11 4 P29 NUMBER 11 4 P30 NUMBER 11 4 P31 NUMBER 11 4 P32 NUMBER 11 4 P33 NUMBER 11 4 P34 NUMBER 11 4 P35 NUMBER 11 4 7 27 P36 NUMBER 11 4 P37 NUMBER 11 4 P38 NUMBER 11 4 P39 NUMBER 11 4 P40 NUMBER 11 4 P41 NUMBER 11 4 P42 NUMBER 11 4 P43 NUMBER 11 4 P44 NUMBER 11 4 P45 NUMBER 11 4 P46 NUMBER 11 4 P47 NUMBER 11 4 P48 NUMBER 11 4 P49 NUMBER 11 4 P50 NUMBER 11 4 P51 NUMBER 11 4 P52 NUMBER 11 4 P53 NUMBER 11 4 P54 NUMBER 11 4 P55 NUMBER 11 4 P56 NUMBER 11 4 P57 NUMBER 11 4 P58 NUMBER 11 4 P59 NUMBER 11 4 P60 NUMBER 11 4 P61 NUMBER 11 4 P62 NUMBER 11 4 P63 NUMBER 11 4 P64 NUMBER 11 4 P65 NUMBER 11 4 8 27 P66 NUMBER 11 4 P67 NUMBER 11 4 P68 NUMBER 11 4 P69 NUMBER 11 4 P70 NUMBER 11 4 P71 NUMBER 11 4 P72 NUMBER 11 4 P73 NUMBER 11 4 P74 NUMBER 11 4 P75 NUMBER 11 4 P76 NUMBER 11 4 P77 NUMBER 11 4 P78 NUMBER 11 4 P79 NUMBER 11 4 P80 NUMBER 11 4 P81 NUMBER 11 4 P82 NUMBER 11 4 P83 NUMBER 11 4 P84 NUMBER 11 4 P85 NUMBER 11 4 P86 NUMBER 11 4 P87 NUMBER 11 4 P88 NUMBER 11 4 P89 NUMBER 11 4 P90 NUMBER 11 4 P91 NUMBER 11 4 P92 NUMBER 11 4 P93 NUMBER 11 4 P94 NUMBER 11 4 P95 NUMBER 11 4 9 27 P96 NUMBER 11 4 2 2 终端任务表 终端任务表 A TMNL TASKA TMNL TASK 表结构 表结构 Create table A TMNL TASK TMNL TASK ID VARCHAR2 16 not null TERMINAL ID NUMBER 16 TASK ID VARCHAR2 16 TMNL TASK NO VARCHAR2 3 VALID FLAG VARCHAR2 3 SEND FLAG VARCHAR2 3 SEND TIME DATE 3 3 终端任务表对象表 终端任务表对象表 A TMNL TASK OBJA TMNL TASK OBJ 表结构 表结构 Create table A TMNL TASK TMNL TASK ID VARCHAR2 16 not null TERMINAL ID NUMBER 16 TASK ID VARCHAR2 16 TMNL TASK NO VARCHAR2 3 VALID FLAG VARCHAR2 3 SEND FLAG VARCHAR2 3 SEND TIME DATE 3 3 1 4 1 4 测试测试多客户端多客户端数数据据入库入库 A A 8 8 客户端客户端 3232 线程线程模拟模拟入库入库 项目项目 数据立方云计算一体机用例名称用例名称 10TB数据 97 5亿条记录 10 27 性能测试 8客户端入库 测试测试编号编号 Test 001 测试目的测试目的 10TB数据 97 5亿条记录 通过8客户端入库速度 预置条预置条件件 1 数据立方云计算一体机系统环境运行正常 2 共 9 个节点 1 个主节点和 8 个子节点 3 客户端为 8 个 4 同时写 2 个数据副本 测试步骤测试步骤 每个客户端启动 4 个进程 每个进程平均连续写入测量点功率曲线 表数据 348 76GB 预期结果预期结果 数据正确入库无丢失 备注备注 测试通过 B B 2 2 台台 PCPC 服务器服务器 1616 线程模拟入库线程模拟入库 项目项目 数据立方云计算一体机 性能测试 用例名称用例名称 10TB数据 97 5亿条记录 2PC服务器入库 测试测试编号编号 Test 002 测试目的测试目的 4 8 TB数据 46 8亿条记录 2台PC服务器入库速度 预置条件预置条件 1 数据立方云计算一体机