孟祥萍, 等 HBase 在智能电网异构数据同步中的应用步最后, 对异构数据同步到数据中心的性能进行了测试, 验证了本文所提方案的可行性, 在探索未来智能电网大数

Size: px

Start display at page:

Download "孟祥萍, 等 HBase 在智能电网异构数据同步中的应用 - 123 - 步最后, 对异构数据同步到数据中心的性能进行了测试, 验证了本文所提方案的可行性, 在探索未来智能电网大数"

侃解
7 years ago
Views:

1 第 43 卷第 24 期电力系统保护与控制 Vol.43 No 年 12 月 16 日 Power System Protection and Control Dec. 16, 2015 HBase 在智能电网异构数据同步中的应用孟祥萍 1, 周来 2, 王晖 1, 纪秀 (1. 长春工程学院电气与信息工程学院, 吉林长春 ;2. 东北电力大学信息工程学院, 吉林吉林 ) 1 摘要 : 未来的智能电网在运行中将会产生海量的多态异构数据, 对这些数据的可靠获取实时分析同步及处理会给电网信息系统带来前所未有的压力因此, 把电网大数据迁移到云端数据中心, 来实现异构数据的精准实时同步则显得尤为必要以解决未来智能电网大数据处理问题为出发点, 通过对电网数据中心相关功能需求进行细致分析, 对比传统的关系型数据库建模基础, 提出了基于 Hbase 架构的智能电网数据中心的解决方案最后通过对比 MySQL 性能进行模拟测试, 得出所提出的设计方案能够很好地适用于未来智能电网数据中心的构建以及异构数据的同步, 达到电网大数据的实时共享监测及准确分析处理的目的, 在未来智能电网信息管理系统中具有广阔的应用前景关键词 : 智能电网 ; 异构数据 ; 应用 ;HBase Applications of Hbase for heterogeneous data synchronization in smart grid MENG Xiangping 1, ZHOU Lai 2, WANG Hui 1, JI Xiu 1 (1. Institute of Electrical and Information Engineering, Changchun Institute of Technology, Changchun , China; 2. School of Information Engineering, Northeast Dianli University, Jilin , China) Abstract: Future smart grid will generate massive multi-state, heterogeneous data in the process of running, obtaining data reliably, real-time analysis, synchronization and processing will bring unprecedented pressure to the grid information system, therefore, it is particularly necessary to migrate the big grid data to the cloud-data center to achieve accurate, real-time synchronization for heterogeneous data. As a starting point, this paper is to solve the processing problem of the future smart grid big data, and by carefully analyzing the related functional requirements of grid data center and comparing with the modeling foundation of traditional relational database, proposes the solution for smart grid data center based on Hbase architecture. Finally, by comparing the performance of MySQL simulation tests, the proposed solution can be well applied on building the future of smart grid data centers and heterogeneous data synchronization, which achieves the purpose of real-time sharing, monitoring, accurate analysis, treatment of the big grid data, so it has broad application prospects in the future smart grid information management system. Key words: smart grid; hterogeneous data; applications; Hbase 中图分类号 : TM77 文章编号 : (2015) 引言目前电网信息处理平台已无法满足未来智能电 [1] 网对海量实时数据的可靠获取高效分析等处理需求, 智能电网在数据同步的高效性可靠性等方面也对当前系统提出了新要求近些年, 随着云计基金项目 : 吉林省教育厅项目 ( ); 吉林省科技厅科技发展计划项目 ( G X); 吉林省发改委项目 ( ); 长春市科技局项目 ( ) [2] 算技术的发展, 面向列存储的数据库相关研究也在迅速推进, 为应对大数据时代的到来, 国际上许多知名公司正努力实现从行数据库到列存储的数据库的数据迁移而 HBase [3] 列存储已成为目前业界广为关注的开源产品之一, 知名社交网站 Facebook 公司每月存储在 HBase 数据库中的信息达千亿条 [4] 本文将 HBase 技术引入到智能电网异构数据同步领域中, 首先介绍了 HBase 数据库相关技术, 随后进行了基于 HBase 的智能电网数据中心的仿真系统搭建, 并实现了异构数据到 HBase 数据库的同

东北电力大学信息工程学院, 吉林吉林 132012) 1 摘要 : 未来的智能电网在运行中将会产生海量的多态异构数据, 对这些数据的可靠获取实时分析同步及处理会给电网信息系统带来前所未有的压力因此, 把电网大数据迁移到云端数

2 孟祥萍, 等 HBase 在智能电网异构数据同步中的应用步最后, 对异构数据同步到数据中心的性能进行了测试, 验证了本文所提方案的可行性, 在探索未来智能电网大数据处理技术的道路上是一次有益尝试 1 HBase 分布式数据库 HBase(Hadoop Database) 是搭建于 Hadoop 开源平台之上, 以 HDFS [5-6] 为底层存储的分布式的列存储数据库, 利用 MapReduce 进行操作,HBase 有别于其他的普通关系型数据库, 是一个新型的 NoSQL, 在非结构化大数据存储分析方面具有很好的性能 1.1 HBase 数据模型面向列存储的 HBase 与传统的关系型数据库截然不同, 其中表 Htable 的概念模型如表 1 所示 Row Key com.cnn. www 表 1 Htable 逻辑结构 Table 1 Logical structure of Htable Time ColumnFamily Stamp Contents anchor t9 T8 T6 T3 Contents:html= <html> Contents:html= <html> Anchor.cnnsi.com= CNN Anchor.my.look.ca= CNN.com RowKey 行键, 即关系型数据库中各行主键, 所以各行仅有一个 RowKey, 并且在 HBase 中, 行数据的存储严格遵照 RowKey 字典序进行, 在 HBase 中为 RowKey 创建索引,Hbase 支持表扫描和 RowKey 条件查找方式, 逻辑数据在 RowKey 检索及标示行显得尤为重要 Column Family 列簇 [7], 在获得管理员权限后将 Htable 停止运行, 才能更改 Column Family, 因此结构稳定, 为 Htable 模型的一部分, 各 Column Family 中有多个 Column 列, 在权限的控制内存的使用中将 Column Family 作基本单位, 在数据存储之后开始创建 Column Family, 其中的列根据需求数来动态变化, 在 Htable [8] 模型之外 TimeStamp 由系统随机生成的 64 位整数时间戳, 由于 HBase 中无操作来更新, 因此各单元格可存放各种版本的值, 版本值按时间戳来进行降序排列以保证最新的数据靠前,HBase 将按时清除过期数据来避免版本值过多引起的管理困难 1.2 HBase 架构作为 Hadoop 一个子模块,HBase 集群构造类似于 Hadoop, 即主 -- 从的模式结构, 将 HBase 主节点定义为 Hmaster, 负责对 HBase 集群元数据进行管理及维护, 从节点定义为 HregionServer [9], 负责数据的读写与存储,HBase 依靠 HDFS 为分布式存储单元,Hadoop 平台之上的 MapReduce 架构负责对 HBase 并行计算, 集群整体架构如图 1 所示图 1 HBase 集群整体架构 Fig. 1 Cluster overall architecture of HBase 1.3 Region 定位分布式的 HBase 架构利用一个相似于 B+ 树的结构对 Region 进行管理, 最底层分别是用户表 ROOT 表以及 META 表, 用户表由自己创建并对业务数据进行存储,MET 存储 Region 元数据, 如 : RegionServer [10] 状态等,META 会因为多个用户表或 Region 数量的增加而变大, 因此 META 表也可分成多个 Region,ROOT 表用来记录 META 表信息, 由于 ROOT 表和用户表间存有 META 表作为映射的原因,ROOT 一般都不会很大,HBase 中只存有一个 ROOT 表,Zookeeper 负责对 ROOT 表进行管理,ROOT 表地址存放于 Zookeeper 中,Zookeeper 作为 HBase 的同步工具,HBase 在 Hmaster 单点中存放,Zookeeper 具备同时启动多个 Hmaster 后再明确 Hmaster 的功能, 并将 RegionServer 的状态告知于 Hmaster 实际上 Zookeeper 也是多节点的分布式架构 2 基于 HBase 的智能电网数据中心的搭建 2.1 基于关系型数据库 [11] 关系型数据库在上世纪 70 年代提出, 在之后便迅速发展成主流架构模型, 其中包括关系数据结构, 关系操作集合以及关系完整性约束基于关系型数据库的数据中心优点如下 : 1) 扎实的数学理论基础关系型理论以集合理论为基础, 因此搭建的数据中心具有冗余度低独

方面具有很好的性能 1.1 HBase 数据模型面向列存储的 HBase 与传统的关系型数据库截然不同, 其中表 Htable 的概念模型如表 1 所示 Row Key com.cnn.

3 电力系统保护与控制立性好扩展性强的特点 2) 支持原子性隔离性以及持久性等多方面事物特性 3) 访问简单, 操作便捷通常关系型数据库都支持 SQL 语言, 且接口灵活, 支持视图及触发器等多种访问方式 4) 技术成熟, 安全性高如 :Oracle MS SQL Server 及 DB2, 此外还有开源的 MySQL 以及 PostgreSQL 等, 这些数据库对操作权限都有很好的控制能力以此同时, 利用关系型数据库搭建数据中心也有诸多瓶颈, 如下 : 1) 对于非结构化数据的存储显得无能为力关系型数据库具有很强的将结构化数据转换为二维关系表的能力, 但对当今音视频等多元化信息构成的非结构化数据的存储却显得能力不足表 2 是常见的关系型数据库存储能力的对比表 2 关系型数据库存储能力对比 Table 2 Storage capacity comparison of relational database 数据库产品 Oracle SQLServer MySQL 单表列数 GB 数据空间极限 TB T B TB 2) 复杂查询效率降低 SQL 对简单的信息查询可提供有效的方法, 但对于多表关联等复杂查询会消耗大量系统的资源和时间, 使系统整体性能降低 3) 并发能力数据量的剧增对数据库并发能力要求也随之提高, 关系型数据库会缩减用户访问数来确保数据一致性, 使并发能力下降为应对单一数据库处理海量数据能力不足的问题, 需建立数据集群, 即连接多个价格相对低廉的硬件设备, 充分利用各设备运算能力来提升集群整体运算效率, 但关系型数据库在确保一致性的前提下若想建立数据库集就显得十分的困难 2.2 基于 NoSQL 数据库 NoSQL(Not Only SQL) 数据库, 即新型的非关系型数据库 [12], 以键值对形式存储非关系型数据, 可以没有固定的结构, 相对 CAP 数据库理论而言, 虽弱化一致性的功能, 但使得数据库并发能力大数据存储效率以及扩展性能都得以提高, 弥补了关系型数据库不足主要应用于灵活性较高一致性较弱查询复杂数据的情况 NoSQL 数据库分类 1) 键值对存储此类数据库模型为一系列键值对, 通过哈希算法实现, 其优点是结构简单部署方便, 查询速度快, 但因存储非结构化数据, 导致部分值在搜索及更新时效率降低适用于数据更新较快的情况, 例如 :TokyoCabinet/Tyrant Redis 等数据库 2) 文档型数据库类似于键值对数据库存储, 但查询效率高于键值对数据库, 将结构或半结构化文档以 JSON 等格式进行存储, 允许键值对之间进行嵌套, 在 Web 方面应有较多, 但缺少标准的查询语法, 例如 :CouchDB MongoDB 等数据库 3) Graph 数据库此类数据库利用图形模型, 可向多个服务器扩展, 但需经过对整个图的分析计算后才能得到结果, 因此不适用于分布式的集群策略, 更适用于专注构建关系图谱的社交网络, 例如 :Neo4j Info Grid Infinite Graph 等数据库 4) 列存储数据库此类型数据库主要应用于大数据分布式系统存储, 键称为列簇并指向多个列, 即用列簇的存储方式, 将相同列簇数据放在一起来提供快速查询及分布式的扩展能力, 可达到与 MySQL 同样的访问性能, 例如 :Cassandra Riak HBase 等数据库可见, 若要实现智能电网数据中心的搭建海量非结构化数据的存储以及高效的并发访问等各项需求, 必需通过集群模式来建立分布式存储系统, 并利用 MapReduce [13] 架构来实现并行计算使用 NoSQL 数据库的智能电网信息处理系统将会是一次新的探索与尝试, 可以很好地弥补传统的关系型数据库的诸多欠缺在诸多 NoSQL 数据库中, 列存储数据库最适合非结构化的分布式存储,HBase 是以高性能的 MapReduce 并行计算架构为基础的开源产品, 因此在众多列存储的数据库中,HBase 性能最为突出, 本文以 HBase 为基础来搭建智能电 [14] 网数据中心, 使海量数据的分布式存储与并行计算得以实现, 对未来智能电网信息平台的构建具有很强的实用性及意义 2.3 搭建智能电网数据中心用面向对象的策略来搭建 HBase 数据中心模型, 因其列簇状态稳定, 且其中元素列可任意增长, 所以可视各列簇为一个对象, 列簇中的子列为该对象的属性, 列簇与 RowKey 构成 HTable 组合对象, 将 RowKey 定义为对象名, 在 HBase 中含有多个 HTable, 彼此存在关联关系, 对于 HBase 等 NoSQL 数据库创建组合对象模型 COR 模型 [15],HBase 自身无法进行维护, 但其所具备的海量数据分布式存储与并行计算的能力使其可直接存储数据, 因此在 COR 中无数据字典, 而是将数据编码存储到一个表中, 可精确地恢复历史数据在创建智能电网数据中心 HBase 模型前, 先搭建 Hadoop 运行环境并且将 HBase 数据配置好,

为力关系型数据库具有很强的将结构化数据转换为二维关系表的能力, 但对当今音视频等多元化信息构成的非结构化数据的存储却显得能力不足表 2 是常见的关系型数据库存储能力的对比表 2 关系型数据库存储能力对比 Table 2

4 孟祥萍等 HBase 在智能电网异构数据同步中的应用 Hadoop 由 Java 来实现在 hadoop-env.sh 文件中加载 JAVA_HOME 路径 hdfs-site.xml 中 NameNode 及 DataNode 配置如下 hbase-site.xml 是 HBase 中一个重要的配置文件 HBase 的根目录以及 Zookeeper 等集群分布式配置如下异构数据到 HBase 数据库同步的实现 3.1 异构数据产生及特点目前电网信息系统管理平台还无法做到对网内全部信息如负荷需求变电站及线路各设备运行工况以及其他生产和管理信息的实时同步与更新这是由于各省网分子公司等的信息管理系统的厂商投入运行时间操作系统及数据库都千差万别这些数据之间因此形成异构数据这些数据得不到交换共享便形成信息孤岛此外数据库运行的环境不同也会产生异构数据 3.2 异构数据到 HBase 同步的设计网络拓扑结构的同步因各单位地理位置不同因此使用的网络也不同如联通电信铁通等网络这些网络互通性与速度达不到最佳状态采用 VPN 互联可实现网络认证以及加密通信以确保同步数据的安全有些单位管理系统只在单位内部网络使用为避免连接外网后数据信息暴露于公网之上就需要前置机主要负责内部数据库与 VPN 的通信网络拓扑结构[16] 如图 2 所示完成 Hadoop 及 HBase 数据库搭建之后下面创建 HTable 来实现智能电网数据中心模型进而完成智能电网数据中心数据库的创建 HTable 包含 RowKey 及 Time Stamp 两部分 Column 可动态变化且不属于 HTable 因此创建 HTable 表只要创建表名及列簇即可通过 JavaAPI 创建 person 表函数如下图 2 网络拓扑结构 Fig. 2 Network topology 利用 Shell 创建表语句如下在设计 HBase 数据中心时同样采取类似的方法即增加 Web 服务器作为中间层来提高安全性前置机的设计前置机在异构数据库中获取数据并进行处理后传送到 HBase WebService[17]服务器中 WebService 将数据写入 HBase 数据中心再由前置机来保存日志因此异构数据库同步到 HBase 的本质就是前置机和 WebService 获取同步数据及写入的操作过程同步数据的过程如图 3 所示

1 异构数据产生及特点目前电网信息系统管理平台还无法做到对网内全部信息如负荷需求变电站及线路各设备运行工况以及其他生产和管理信息的实时同步与更新这是由于各省网分子公司等的信息管理系统的厂商投入运行时间操作系统及数据库都千差万别这些数据之间因此形成异构数据这些数据得不到交换共享便形成信息孤岛此外数据库运行的环境不同也会产生异构数据 3.

5 电力系统保护与控制异构关系型数据到 HBase 数据库同步的实现异构数据库前置机的实现工厂模式下前置机对异构数据的编程代码以及配置如下图 3 数据同步过程 Fig. 3 Data synchronization process 同步传输的设计为减小工作量且使异构数据更易扩容就需开放同步接口透明传输以及能对异构特性进行屏蔽 WebService 技术为 SOA 架构中的一种采用 SOAP(Simple Object Access Protocal)及 WSDL(Web Services Description Language)等技术其优点跨平台封装性以及集成化应用因此采用 WebService 技术来进行数据的同步[18]传输具体说就是利用部署在数据中心的 WebService 标准化的服务接口来透明传输 JSON 以及 XML 格式的数据同步传输过程如图 4 所示同步传输的实现利用 xfire 完成基于 SOAP 的 Web 服务代码如下图 4 同步传输过程 Fig. 4 Synchronous transmission 数据中心端的设计数据中心的 WebService 对接收到的前置机同步数据进行解析及核对将符合结果的数据以及日志记录到 HBase 数据中心完成同步否则将数据反馈给前置机[19] 具体流程如图 5 所示 4 异构数据同步到数据中心的性能测试同步主要是从异构[20-21]数据库到 HBase 数据中心因此通过前置机对数据的抓取转换封装等性能以及 HBase 数据中心 WebService HBase 的写入性能来验证整体的同步性能将同步到 HBase 和 MySQL 数据中心进行对比测试结果如表 3 所示表 3 同步到 HBase 和 MySQL 对比 Table 3 Synchronized to HBase and MySQL comparison 图 5 中心端工作流程 Fig. 5 Center end workflow 数据量(条) HBase 数据中心 MySQL 数据中心将 HBase 中各 Column Family 看成是一个表同步测试选取单个表来同步即只对一组信息进行

3 同步传输的设计为减小工作量且使异构数据更易扩容就需开放同步接口透明传输以及能对异构特性进行屏蔽 WebService 技术为 SOA 架构中的一种采用 SOAP(Simple Object Access Protocal)及 WSDL(Web Services Description Language)等技术其优点跨平台封装性以及集成化应用因此采用

6 孟祥萍, 等 HBase 在智能电网异构数据同步中的应用 ~ 条进行同步测试, 前置机从 SQL Server2008 中读取数据, 为更清晰显示数据变化和对比, 生成折线如图 6 所示图 6 同步性能分析对比 Fig. 6 Analysis and comparison of synchronization performance 可见, 当数据量较少时 HBase 数据中心的性能比 MySQL 的稍差, 但差距不大, 这是由 HBase 的分布式架构决定的, 当数据写入时 HBase 为数据分 [22-24] 配 Region 备份并向对应的节点发送, 这要耗费一些时间, 前置机和 HBase 的连接网络带宽为百兆级, 而 HBase 数据集群间的网络带宽是千兆级的, 前置机与 WebService 的通信过程要耗费大部分同步时间, 但当数据量达到条时,HBase 所消耗的时间却低于 MySQL 的时间, 这是因为 HBase 的 MapReduce 的处理性能得以显现, 而 MySQL 的写入性能却在下降此外, 数据在同步时的相关协议安全性以及数据中心的访问控制等问题仍有待研究, 这些暂不作本文探讨内容 5 结论面对未来智能电网运行时产生的海量异构数据, 本文提出了基于 HBase 数据库来构建电网数据中心以及实现异构数据到 HBase 数据库同步的设计方案, 是该技术应用于未来智能电网信息处理平台的一次初步探索经过测试分析, 本文所提方案能够很好地适用于未来智能电网数据中心的构建以及实现异构数据到数据中心的同步功能, 对未来智能电网信息处理平台的构建及整个电网的安全稳定运行具有重要意义参考文献 [1] 刘文, 杨慧霞, 祝斌. 智能电网技术标准体系研究综述 [J]. 电力系统保护与控制, 2012, 40(10): LIU Wen, YANG Huixia, ZHU Bin. Review of research on smart grid technical standard system[j]. Power System Protection and Control, 2012, 40(10): [2] 张逸, 林焱, 吴丹岳. 电能质量监测系统研究现状及发展趋势 [J]. 电力系统保护与控制, 2015, 43(2): ZHANG Yi, LIN Yan, WU Danyue. Current status and development trend of power quality monitoring system [J]. Power System Protection and Control, 2015, 43(2): [3] 高志远, 姚建国, 曹阳, 等. 智能电网发展机理研究初探 [J]. 电力系统保护与控制, 2014, 42(5): GAO Zhiyuan, YAO Jianguo, CAO Yang, et al. Primary study on the development mechanism of smart grid[j]. Power System Protection and Control, 2014, 42(5): [4] 王成山, 武震, 李鹏. 微电网关键技术研究 [J]. 电工技术学报, 2014, 29(2): WANG Chengshan, WU Zhen, LI Peng. Research on Key Technologies of Microgrid[J]. Transactions of China Electrotechnical Society, 2014, 29(2): [5] 李宇飞, 王跃, 吴金龙, 冯宇鹏. 一种分布式发电并网变流器测试装置 [J]. 电工技术学报, 2015, 30(3): LI Yufei, WANG Yue, WU Jinlong, FENG Yupeng. Design and Implementation of a Distributed Generation Grid-Connected Converter Testing Device [J]. Transactions of China Electrotechnical Society, 2015, 30(3): [6] 窦春霞, 李娜, 徐晓龙. 基于多智能体系统的微电网分散协调控制策略 [J]. 电工技术学报, 2015, 30(7): DOU Chunxia, LI Na,XU Xiaolong.Multi-Agent System Based Decentralized Coordinated Control Strategy for Mirco-grids [J]. Transactions of China Electrotechnical Society, 2015, 30(7): [7] 胡牧, 李勇, 孔震, 等. 数据拓扑及其在电网数据处理分析中的应用 [J]. 电力系统自动化, 2013, 37(3): HU Mu, LI Yong, KONG Zhen, et al. Data topology and its application in processing and analysis of power grid data[j]. Automation of Electric Power Systems, 2013, 37(3): [8] 王德文. 基于云计算的电力数据中心基础架构及其关键技术 [J]. 电力系统自动化, 2012, 36(11): WANG Dewen. Basic framework and key technology for a new generation of data center in electric power corporation based on cloud computation[j]. Automation of Electric Power Systems, 2012, 36(11): [9] MACKEY G, SEHRISH S, WANG Jun. Improving metadata management for small files in HDFS[C] // IEEE International Conference on Cluster Computing and

并向对应的节点发送, 这要耗费一些时间, 前置机和 HBase 的连接网络带宽为百兆级, 而 HBase 数据集群间的网络带宽是千兆级的, 前置机与 WebService 的通信过程要耗费大部分同步时间, 但当数据量达到 50 000 条时,HBase 所消耗

7 电力系统保护与控制 Workshops, 2009: 1-4. [10] SHVACHKO K, KUANG H, RADIA S, et al. The hadoop distributed file system in mass storage systems and technologies (MSST)[C] // 2010 IEEE 26th Symposium on: IEEE, 2010: [11] ARMBRUST M, FOX A, GRIFFITH R. Above the clouds: a berkeley view of cloud computing[d]. Berkeley: University of California, [12] 潘巍, 李战怀, 伍赛, 等. 基于消息传递机制的 MapReduce 图算法研究 [J]. 计算机学报, 2011, 34(10): PAN Wei, LI Zhanhuai, WU Sai, et al. Evaluatig large graph processing in MapReduce based on message passing[j]. Journal of Computers, 2011, 34(10): [13] HUANG D, SHI X, IBRAHIM S, et al. MR-scope: a real-time tracing tool for MapReduce[J]. The MapReduce of HPDC, 2010: [14] ZHENG W M, CHEN K. Cloud computing system instances and current research[j]. Journal of Software, 2009, 20(5): [15] WANG Yandong, QUE Xinyu, YU Weikuan, et al. Hadoop acceleration through network levitated merge[c] // Proceedings of 2011 International Conference for High Performance Computing, Networking, Storage and Analysis. Washington: IEEE Press, 2011: [16] KOSSMANN D, KRASKA T, LOESING S, et al. Cloudy: a modular cloud storage system[c] // Proc of the 36th Int l Conf on Very Large Data Bases. Singapore: VLDB Endowment, 2010: [17] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: a distributed storage system for structured data[c] // Proceedings of the 7th Symposium on Operating Systems Design and Implementation (OSDI). Seattle, USA, 2006: [18] 廖彬, 于炯, 钱育蓉, 等. 基于可用性度量的分布式文件系统节点失效恢复算法 [J]. 计算机科学, 2013, 40(1): LIAO Bin, YU Jiong, QIAN Yurong, et al. Node failure recovery algorithm for distributed file system based on measurement of data availability[j]. Computer Science, 2013, 40(1): [19] YU Yang, CHEN Xiaofang, GOPALAKISHNAN G, et al. Runtime model checking of multithreaded C/C++ programs[d]. UT: University of Utah SaltLake City, [20] 王德文, 宋亚奇, 朱永利. 基于云计算的智能电网信息平台 [J]. 电力系统自动化, 2010, 34(22): WANG Dewen, SONG Yaqi, ZHU Yongli. Information platform of smart grid based on cloud computing[j]. Automation of Electric Power Systems, 2010, 34(22): [21] 丁琳琳, 信俊昌, 王国仁, 等. 基于 MapReduce 的海量数据高效 Skyline 查询处理 [J]. 计算机学报, 2011, 34(10): DING Linlin, XIN Junchang, WANG Guoren, et al. Efficient Skyline query processing of massive data based on mapreduce[j]. Journal of Computers, 2011, 34(10): [22] 李亚琼, 宋莹, 黄永兵. 一种面向虚拟化云计算平台的内存优化技术 [J]. 计算机学报, 2011, 34(4): LI Yaqiong, SONG Ying, HUANG Yongbing. A memory global optimization approach in virtualized cloud computing environments[j]. Chinese Journal of Computers, 2011, 34(4): [23] 李玉林, 董晶. 基于 Hadoop 的 MapReduce 模型的研究与改进 [J]. 计算机工程与设计, 2012, 33(8): LI Yulin, DONG Jing. Study and improvement of MapReduce based on Hadoop[J]. Computer Engineering and Design, 2012, 33(8): [24] 陶永才, 张宁宁, 石磊, 等. 异构环境下云计算数据副本动态管理研究 [J]. 小型微型计算机系统, 2013, 34(7): TAO Yongcai, ZHANG Ningning, SHI Lei, et al. Researching on dynamic management of data replicas of cloud computing in heterogeneous environments[j]. Journal of Chinese Computer Systems, 2013, 34(7): 收稿日期 : ; 修回日期 : 作者简介 : 孟祥萍 (1961-), 女, 博士, 教授, 从事智能控制理论及应用电力系统安全性优化应用等研究 ; 周来 (1983-), 男, 通信作者, 硕士, 主要研究方向为智能电网信息处理与虚拟现实云计算 @ qq.com ( 编辑葛艳娜 )

Above the clouds: a berkeley view of cloud computing[d]. Berkeley: University of California, 2009. [12] 潘巍, 李战怀, 伍赛, 等. 基于消息传递机制的 MapReduce 图算法研究 [J].

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :,

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :, 3 1 Vol. 3. 1 2008 2 CAA I Transactions on Intelligent Systems Feb. 2008, (,210093) :.,; 3., 3. :; ; ; ; : TP391 :A :167324785 (2008) 0120001208 A system f or automatic generation of 3D building models

孟 祥 萍, 等 HBase 在 智 能 电 网 异 构 数 据 同 步 中 的 应 用 步 最 后, 对 异 构 数 据 同 步 到 数 据 中 心 的 性 能 进 行 了 测 试, 验 证 了 本 文 所 提 方 案 的 可 行 性, 在 探 索 未 来 智 能 电 网 大 数

孟祥萍, 等 HBase 在智能电网异构数据同步中的应用步最后, 对异构数据同步到数据中心的性能进行了测试, 验证了本文所提方案的可行性, 在探索未来智能电网大数