2016 2016, Vol. 37, No. 01 37 01 COMPUTER ENGINEERING & SOFTWARE IT 大数据在输变电设备状态评估中的研究 周广 1, 闫丹凤 1, 许光可 2, 李笋 1. 100876 2. 250001 2 摘要 : 电网的高速发展带来海量数据的存储和分析问题, 传统的数据管理和分析工具不再适用 本文主要对大数据分析的相关技术在输变电设备状态评估中的应用进行了研究 本文首先分析了大数据以及数据挖掘技术的优点和应用, 并介绍了输变电设备状态评估技术的相关内容, 随后讨论了大数据和数据挖掘技术在输变电设备状态评估中的应用, 并利用分布式存储 时间序列分析 频繁项挖掘以及专家系统等数据挖掘技术在输变电设备评估进行研究, 以此提高电网管理的效率和运营的安全性 关键词 : 计算机科学与技术 ; 大数据 ; 输变电设备状态评估中图分类号 : TP399 文献标识码 : A DOI:10.3969/j.issn.1003-6970.2016.01.003 本文著录格式 : 周广, 闫丹凤, 许光可等. 大数据在输变电设备状态评估中的研究 [J]. 软件,2016,37(01):09-13 Research on Big Data for Transmission Equipment Status Evaluation ZHOU Guang 1 YAN Dan-feng 1 XU Guang-ke 2 LI Sun 2 1.Beijing University of Posts and Telecommunications Beijing State Key Laboratory of networking and switching Beijing 100876 China 2.State Grid Shandong Electric Power Company Jinan 250001 China AbstractThe high speed development of state grid has brought massive data and the problem of data storage and analysis which make it hard for traditional data manage and analysis tool no longer capable.this article mainly research on the relevant technology of Big Data and its application in Transmission Equipment Status Evaluation.First this paper analyzes the advantages and applications of big data and data mining and introduces the technology of Transmission Equipment Status Evaluation.Then the application of technology of Big Data and data mining in Transmission Equipment Status Evaluation is discussed especially distributed database time series analysis frequent item mining and expert system are introduced and experimented to show the performance to improve the efficacy and security of state grid. Key wordscomputing science and technology Big data Transmission equipment status evaluation 0 引言 [1] [2][3][12] AWS Azure 基金项目 : 国家 863 项目 (2015AA050204) 作者简介 : 周广 (1990-), 男, 硕士研究生, 主要研究方向 : 数据挖掘, 云计算 ; 通信联系人 : 闫丹凤, 副教授, 主要研究方向 : 云计算 数据挖掘.
37 01 1 大数据分析技术 [13] 1.1 大数据 1.1.1 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1 Characteristic of Big Data 7300 33% 21% T-Mobile IBM 1.1.2 Hadoop Hadoop [4] Apache Hadoop Distributed File System HDFS [5] MapReduce Hadoop Hadoop 1.2 云计算 HDFS 分布式文件系统 Hbase 分布式数据库 MapReduce 计算框架 1 Hadoop Fig.1 Architecture of Hadoop [6] Software as a Service SaaS Platform as a Service Paas Infrastructure as a Service Iaas SaaS PaaS IaaS Amazon AWS AppEngine Azure GFS MapReduce BigTable 1.3 数据挖掘技术 软件 杂志欢迎推荐投稿 :cosoft@163.com 10
[7][11] k-means SVM Apriori EM PageRank Adaboost Naïve Bayes 2 输变电设备状态评估技术简介 2014 13.6 5.5 1 4038 [8][9] 2.1 输变电设备状态参数 2.2 输变电设备状态评价 100 Score = SO* e l e f * f * T Score SO l fe 2.3 输变电设备状态决策 f 2.3.1 A B C D A B C D A B C D 表 2 检修分类及检修项目表 Tab.2 Maintenance projects 1 2 3 1 1 2 3 4 2 1 2 3 4 1 2 3 4 5 6 1 1 2 3 2 11 软件 杂志欢迎推荐投稿 :cosoft@163.com
37 01 2.3.2 C D C D 3 大数据在输变电设备状态评估中的应用 3.1 分布式存储在设备状态评估中的应用 NoSQL MongoDB Hbase [14] 1. 2. 3. PB 3.1.1 MongoDB 3 2 CPU 4G 500GB 2 Hbase 3 2 CPU 4G 500GB 2 MySQL 1 4 CPU 4G 1TB 130 表 3 输变电设备状态信息存储实验 Tab.3 Results of data storage for Transmission Equipment /ms / MySql MongoDB Hbase 1000 911 288 1792 10000 8099 603 15403 100000 80753 4107 162204 1000000 810961 35968 1304502 表 4 输变电设备状态信息查询实验 Tab.3 Results of data inquiry for Transmission Equipment / /ms MySql MongoDB Hbase 10 6 41 210 90 84 822 100 6 45 189 889 425 7778 MySQL MongoDB Hbase MongoDB MySQL HbaseMySQL MongoDB 3.2 时间序列分析在设备状态评估中的应用 [10] 软件 杂志欢迎推荐投稿 :cosoft@163.com 12
1. 2. 3. 3.3 频繁项挖掘技术在设备状态评估中的应用 [15] Apriori FP-growth Fp-growth FP FP FP-growth 3.4 专家系统在设备状态评估中的应用 4 结论 参考文献 [1]. [J]. 2014 1. [2].[J]. 2015 50 1146-169. [3]. [J].2013 39-10. [4] White T.Hadoop The definitive guide[m]." O'Reilly Media Inc." 2012. [5] Shvachko K Kuang H Radia S et al.the hadoop distributed file system[c]//mass Storage Systems and Technologies MSST 2010 IEEE 26th Symposium on.ieee 2010 1-10. [6]. [J].2011 38 4 32-37. [7] Rajaraman A Ullman J D. [J].2012. [8]. [D].2014. [9]. [J]. 2015 35 2255-267. [10] 皞. [J].2015 7 022. [11]. [D].2013. [12].[J]. 2013 34 12247-248. [13]. [J]. 2014 35 4130-131. [14]. Hive [J]. 2014 35 1194-100 [15].[J]. 2013 34 1171-72. 13 软件 杂志欢迎推荐投稿 :cosoft@163.com