566 岩土力学 2010 年数据仓库 (data warehouse) 是各种跨平台数据经过重新组合和加工构成的大批量数据存储管理和应用系统, 它是数据库技术的一种全新的应用范畴 OLAP(on-line analytical processing) 即联机分析处理, 它是针对数据仓库的一

Size: px

Start display at page:

Download "566 岩土力学 2010 年数据仓库 (data warehouse) 是各种跨平台数据经过重新组合和加工构成的大批量数据存储管理和应用系统, 它是数据库技术的一种全新的应用范畴 OLAP(on-line analytical processing) 即联机分析处理, 它是针对数据仓库的一"

烈鼐奚
7 years ago
Views:

1 第 31 卷第 2 期岩土力学 Vol.31 No 年 2 月 Rock and Soil Mechanics Feb 文章编号 : (2010) OLAP 在地下工程监测中的初步应用王浩, 葛修润 ( 中国科学院武汉岩土力学研究所岩土力学与工程国家重点实验室, 武汉 ) 摘要 : 数据仓库以及针对数据仓库的多维数据分析工具 OLAP( 即联机分析处理 ) 已开始大量运用于金融业和商业管理中并取得了良好的效果, 但在地下工程中的应用很少介绍了数据仓库和 OLAP 的基本概念功能特点, 并针对小湾引水发电系统施工期监测数据库建立了一个简单的 OLAP 分析, 可为管理人员提供快捷简单直观的查询, 能从时间测点类型测点所属建筑物 3 种维 ( 角度 ) 及其不同层次上分析数据,OLAP 与数据仓库技术相结合将是岩土工程安全风险管理的利器, 并提出了 OLAP 技术在地下工程监测中进一步应用的方向关键词 : 地下工程 ; 监测 ; 数据仓库 ;OLAP; 多维数据分析中图分类号 :TP 311 文献标识码 :A Basic application of OLAP to safety monitoring in underground engineering WANG Hao, GE Xiu-run (State Key Laboratory of Geomechanics and Geotechnical Engineering, Institute of Rock and Soil Mechanics, Chinese Academy of Sciences, Wuhan , China) Abstract: As a type of multi-dimensional data analytical tool, OLAP (on-line analytical processing) and data warehouse have got a lot of uses in finance and business but had few uses in underground engineering. Some of these applications made a good profit for enterprises. The conception, function, features of data warehouse and OLAP are introduced briefly. A basic OLAP application was built for Xiaowan hydropower plant underground powerhouse. The example shows that OLAP can provide quick, easy and visualized queries from multi-viewpoint, such as observed time, measure point types and construction types, and different stages for top managers. Combining with data warehouse, OLAP will be very useful in safety management for geotechnical engineering. And the future direction of OLAP application to underground engineering is discussed. Key words: underground engineering; monitoring; data warehouse; OLAP; multi-dimensional data analyses 1 引言重大的岩土工程项目在施工中都要求建立安全监测系统, 对施工期间工程本身和周边环境的安全状况进行动态监控, 并根据监控信息进行信息化施工, 以便确保工程和环境安全如深圳地铁 1 号线土建施工第 3 方监测 I 标总长 4.32 km, 各类测点超过 890 个 ; 小湾水电站地下引水发电建筑物群的监测系统布置了总数超过支仪器, 共计 14 类观测项目因此, 如何高效地对施工和运行期间产生的大量监测数据进行管理分析, 挖掘有用的信息使管理人员能评估工程和环境的安全, 成为一项十分迫切的任务目前, 已出现一批用于边坡隧道基坑和大坝的监测软件系统 [1-3], 这些软件基于各类数据库 ( 如 FoxPro,Access,SQL Server), 主要面向监测内业处理人员, 重点是监测数据的存储管理分析处理报表制作信息查询基本的数据建模和预测预警发布等功能对于着眼于安全风险评估的管理人员来说, 这些着重于事务性数据操作的监测系统在使用上过于复杂, 并且分析功能比较欠缺风险管理人员需要的是从错综复杂的信息中及时发现危及工程风险的问题, 而这些信息往往具有不同来源 ( 甚至源于异构平台的不同数据库中 ), 可以是勘察设计施工监理和监测信息, 并且信息格式多种多样, 有文本格式电子表格和各类数据库格式等限于技术原因, 目前的监测软件还难以进行统一存储管理收稿日期 : 第一作者简介 : 王浩, 男,1972 年生, 博士, 副研究员, 主要从事岩土工程监测风险评估方面的研究工作 wanghao325@263.net

2 566 岩土力学 2010 年数据仓库 (data warehouse) 是各种跨平台数据经过重新组合和加工构成的大批量数据存储管理和应用系统, 它是数据库技术的一种全新的应用范畴 OLAP(on-line analytical processing) 即联机分析处理, 它是针对数据仓库的一种多维数据分析工具在金融业和商业管理中, 已开始用多维数据分析人工智能的方法来分析数据仓库中的数据, 挖掘大量数据背后的知识 [5], 这两者的结合促成了数据库中的知识发现 (knowledge discovery in databases) 技术的产生和蓬勃发展 [5-7] 一般来说, 在科研领域中称为 KDD, 而在工程领域则称为数据挖掘 (data mining, 即 DM) 目前, 数据仓库技术在岩土工程领域主要应用 [8] 在大坝安全监测中黄红女研究了小浪底大坝安 [9] 全监测数据仓库设计舒云星认为, 在三峡工程安全监测中, 采用数据仓库技术能够满足数据量庞大分析评价必须快速高效的目的, 在地下工程中未见应用 2 数据仓库和 OLAP 简介 [10] 2.1 数据仓库和 OLAP 的基本功能和特点数据仓库的特点是面向决策支持和主题, 基于历史数据以查询为主, 要求系统对数据查询能快速响应用户可以在数据仓库的基础上进行数据的深层挖掘多维数据分析动态查询和动态提供报表等, 为企业决策提供有效的方法多维数据分析技术已经在决策支持系统中获得了成功的应用, 如著名的 SAS 数据分析软件包 Business Object 公司的决策支持系统以及 IBM 公司的决策分析工具 Microsoft 的 Analysis Services 都使用了多维数据分析技术作为一种多维数据分析工具,OLAP 技术使数据仓库能够快速响应复杂的分析查询, 它的多维数据模型和数据聚合技术可以组织并汇总大量的数据, 并利用联机分析和图形工具迅速对数据进行评估, 对分析人员的归纳分析和决策提供实时支持 OLAP 应用一般是数据仓库应用的前端工具, 同时还可以同数据挖掘工具统计分析工具配合使用, 增强决策分析功能 OLAP 的概念最早是由关系数据库之父 E. F. Codd 于 1993 年提出的当今的数据处理可以分成两大类 : 联机事务处理 OLTP(on-line transaction processing) 联机分析处理 OLAP OLAP 与 OLTP 有明显区别 OLTP 是传统的关系型数据库的主要应用, 面向基本的日常的事务处理, 例如银行交易 OLAP 是数据仓库系统的主要应用, 是被设计用来完成探索性的查询, 而不是更新操作, 通过将数据存储在以分析为目标的优化过的结构中,OLAP 支持复杂的分析操作, 侧重决策支持, 并且提供快速直观易懂的查询结果表 1 列出了 OLTP 与 OLAP 之间的比较表 1 OLTP 与 OLAP 之间的区别 Table 1 Differences between OLTP and OLAP OLTP OLAP 用户操作人员, 低层管理人员决策人员, 高级管理人员功能日常操作处理, 用于事务和查询分析决策, 用于数据分析 DB 设计面向应用, 联系 ER 模型面向主题, 采用星型或雪花模型数据存取当前的最新的细节的二维的分立的读 / 写数十条记录, 短的原子事务组成, 需要并行和恢复机制工作性质简单的事务复杂的查询用户数上千个上百个历史的聚集的多维的集成的统一的, 提供汇总和聚集机制读上百万条记录, 只读操作 DB 大小 100 MB~100 GB 100 GB~100 TB OLAP 的功能是面向数据的查询分析归纳和总结, 用于决策支持和知识发现, 或者满足多维环境下特定的查询和报表需求 OLAP 的基本特征就是支持数据立方体 (data cube) 的概念及其相关的数据分析功能, 它以多维数据结构规范存储数据, 本身并不要求具体的数据对象的底层存储结构, 但查询之前实现了预先的汇总计算 OLAP 能够从多角度多侧面对信息进行快速一致交互地存取, 从而获得对数据的更深入了解, 其技术核心是维的概念维是人们观察客观世界的角度, 维一般包含着复杂的层次关系, 通过把一个实体的多项重要的属性定义为多个维, 使用户能对不同维上的数据进行比较与维度相关联的事实, 也称为度量, 是数据仓库中的信息单元, 可以将其看成是多维空间中多个维交叉点上的值从系统需求分析和确定的主题可以确定需要的维度 OLAP 的基本操作有钻取切片 (slice) 切块 (dice) 以及旋转 (pivot) 等钻取是改变维的层次, 变换分析的粒度, 是用户获得不同层次的详细数据的手段它包括向上钻取 (roll up) 和向下钻取 (drill down) 向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据, 或者减少维数 ; 而向下钻取则相反, 它从汇总数据深入到细节

3 第 12 期王浩等 :OLAP 在地下工程监测中的初步应用 567 数据进行观察或增加新维切片和切块是做投影, 在一部分维上选定值后, 关心度量数据在剩余维上的分布如果剩余的维只有 2 个, 则是切片 ; 如果有 3 个, 则是切块旋转是变换维的方向, 即在表格中重新安排维的放置 ( 例如行列互换 ), 通过旋转可以得到不同视角的数据在数据仓库建立之后, 即可利用 OLAP 复杂的数据查询数据对比数据抽取和报表生成等功能来进行探测式数据分析如在用户选择相关数据后, 通过跨维度在不同层次之间跨成员的计算和建模 ; 进行时间序列上的趋势分析预测分析 ; 切片和切块, 并在屏幕上显示, 从宏观到微观, 对数据进行深入分析 ; 通过上钻下钻可查询到底层的细节数据 ; 在观察区域中旋转, 进行不同维间的比较等, 从而在不同的粒度上对数据进行分析, 得到不同形式的知识和结果它可以根据分析人员的要求, 迅速灵活地对大量资料进行复杂的查询处理, 并以直观的容易理解的形式将查询结果提供给各种决策人员, 使他们能迅速准确地掌握企业的运营情况 2.2 OLAP 的实现方法 OLAP 有多种实现方法, 根据存储数据的方式不同可以分为 ROLAP MOLAP HOLAP [10] ROLAP 表示基于关系数据库的 OLAP 实现 (relational OLAP) 以关系数据库为核心, 以关系型结构进行多维数据的表示和存储 ROLAP 将多维数据库的多维结构划分为两类表 : 一类是事实表, 用来存储数据 ( 事实的度量值 ) 和维关键字 ; 另一类是维表, 即对每个维至少使用一个表来存放维的层次成员类别等维的描述信息维表和事实表通过主关键字和外关键字联系在一起, 形成了星型模式对于层次复杂的维, 为避免冗余数据占用过大的存储空间, 可以使用多个表来描述, 这种星型模式的扩展称为雪花模式 MOLAP 表示基于多维数据组织的 OLAP 实现 (multidimensional OLAP) 以多维数据组织方式为核心, 也就是说,MOLAP 使用多维数组存储数据多维数据在存储中将形成立方块 (cube) 的结构, 在 MOLAP 中对立方块的旋转切块切片是产生多维数据报表的主要技术 HOLAP 表示基于混合数据组织的 OLAP 实现 (hybrid OLAP) 如低层是关系型的, 高层是多维矩阵型的, 这种方式具有更好的灵活性还有其他的一些实现 OLAP 的方法, 如提供一个专用的 SQL server, 对某些存储模式 ( 如星型雪片型 ) 提供对 SQL 查询的特殊支持 3 OLAP 技术在小湾监测中的应用 3.1 OLAP 技术在地下工程监测中应用的必要性作为业主及监理等安全风险管理层, 一方面, 希望得到一种直观的易于使用的查询方法, 从监测数据库中进行灵活的查询, 如 1 数据查询 : 某天某标段超限的监测项目, 某时间段某建筑物某仪器的数据,2 工作量查询 : 某天某标段完成了多少监测工作,3 属性查询 : 某标段有多少建筑物, 共有多少某仪器埋设在某建筑物中等 ; 另一方面, 更重要的是从大量的监测数据中发掘出各种观测量之间原因量和效应量之间观测量与施工过程之间的相关关系和突变性由于岩土介质的复杂性以及目前岩土力学理论的不成熟, 这些关系是很难用理论来表达, 必须依靠监测资料的综合查询分析得到当前一般是通过手工检索和分析达到, 费时费力, 显然需要提高上述过程的自动化水平, 才能更好地为信息化施工服务从技术上讲, 这些分析的基础是一个针对监测数据库的多表即时查询系统对于技术人员而言, 多表查询本身并不太困难, 使用 SQL 或编写程序都能完成然而, 对于更需要这个功能的管理人员和分析人员就不容易了, 一个两层嵌套的三表叉乘 SQL 或一段十行以上带有条件跳转的代码都是他们难以完成的事情因此, 需要在不编程的前提下, 让不懂技术的管理人员能够用某种手段自由地完成自己想做的各种查询, 特别是多表查询由于 OLAP 通过将数据存储在以分析为目标的优化过的结构中, 利用数据聚合技术可以组织并汇总大量的数据, 应用 OLAP 支持复杂的查询操作并且提供快速直观易懂的结果因此, 采用 OLAP 进行监测数据的多维分析就具有技术上的优势, 以多维方式建立数据模型可简化联机业务分析, 将存储在关系数据库中的数据转换为具有实际含义并且易于查询的业务信息, 提高查询性能, 使管理人员更加方便深入地从各个维度了解监测情况下面以小湾引水发电系统监测数据为例介绍 OLAP 在地下监测中的应用 3.2 多维数据集的设计采用 Microsoft Analysis Service 提供的 OLAP 功能对文献 [1] 中的 SQL Server 2000 数据库进行分析, 利用 ROLAP 方式建立了一个简单模型用于小湾引水发电系统施工期监测数据分析具体说, 在地下工程监测中, 时间测点类型

4 568 岩土力学 2010 年测点所属建筑物可以作为 3 个维, 基本上囊括了所需要的 3 种查询 ( 工作量属性和数据 ) 如时间可以有年季度月周天 5 个层次 ; 测点类型包括地下工程中常用的各种仪器 ( 如收敛计多点位移计锚杆应力计等 ), 它可以分内观外观 2 个层次, 也可以按变形应力分, 也可以不分层 ; 建筑物维可以是广义的, 包含了文献 [1] 中提出的 7 种属性对象中的标段 / 单元工程 / 断面 / 组 / 测点, 而事实表存放了具体的监测数据图 1 为笔者所构建的多维数据集的架构图, 包括一个事实表和三个维度表的星型连接其中, 事实表包含了原始数据观测时间 ID 标段 ID 单元工程 ID 断面 ID 组 ID 测点类型 ID, 度量值就是各种原始数据 ; 观测时间维度表包括组 ID 观测时间观测时间 ID 年季度月周天 ; 测点类型维度表包括测点类型 ID 测点类型名 ; 建筑物维度表包括标段 ID 单元工程 ID 断面 ID 组 ID 及各自的命名各维度表通过主键和事实表相关联, 事实数据表和维度表之间的连接采用星型架构图 1 多维数据集的架构图 Fig.1 Framework of multi-dimensional dataset 文献 [1] 中建立的数据库不能用来直接进行 OLAP 分析, 还必须按 OLAP 的要求对数据库进行规则化, 这可以编写 SQL 语句, 利用查询分析器进行处理, 形成 OLAP 分析所需要的事实表和维度表建立好数据库结构和实际的数据库表后, 就可以按步骤建立多维数据集, 包括其中的角色数据源共享维度等与早期在 ODBC 数据源管理器中建立的数据源连接, 并经聚合计算处理后, 就形成可供进行 OLAP 分析的多维数据集了这一步系统会自动进行, 定义好多维数据结构后, 不需要用户过多的参与, 只要 OLAP 数据库中的数据是经过校验完整一致就能通过 OLAP 引擎正确生成具体步骤请参见 Analysis Service 的帮助教程 [10] 3.3 OLAP 的具体实现图 2 为多维数据集的数据, 在建筑物和观测时间维度上展开可见建筑物维度可以从标段 - 单元工程 - 断面 - 组逐层次展开, 时间维度同样可以从年 - 季度 - 月 - 天这样, 无须编程, 从中可以非常简单直观地查看测点和建筑物之间的层次关系以及某段时间内的累计位移, 并且系统的反映速度非常快在 OLAP 中, 只需要通过简单地点击鼠标, 就可以对各个维度进行显示层次的限定图 3 为对某只多点位移计进行钻取后的实际数据可见, 通过 OLAP, 观察可以很方便地从总体深入到细节对钻取出来的数据, 可以结合统计分析软件做更进一步的分析图 4 为对观测时间维度和度量值进行交换后的显示结果, 可见通过分析服务器的可视化操作界面, 用户可以将不同的维度进行旋转后交换行列, 或者对多个度量值的情况下进行限定 3.4 OLAP 的应用体会以上只是 OLAP 用于地下工程监测数据多维分析的一种简单探索, 虽然完成的功能比较单一和有限, 但从中可以发现,OLAP 技术用于地下工程监测数据分析是可行的, 它能够在不需要管理人员了解技术细节的情况下仅仅通过简单的鼠标操作就能很好地对时间进行智能管理, 从而使不同年份的同期比较和同一年份的期间比较等变得十分容易 ; 能提供非常直观的查询, 能从各个侧面层次上展示数据, 但具体应用还需要做更进一步探讨 (1)OLAP 的编程显然, 要达到符合监测实用的程度, 仍然需要进行编程实现,ADOMD 是对 ADO(activeX data objects) 的扩展, 它包含了访问 OLAP 数据库的接口, 多维表达式 MDX(multi-dimensional expression) 是 OLAP 多维数据集的查询语言, 在功能上类似于关系数据库查询语言 SQL, 是 OLAP 服务器与外界交互的专用语言, 因此, 通过 ADOMD 和 MDX 编程, 可以实现功能更强大的 OLAP 分析另外, 对分析过程来说, 需要对数据进行深入的加工, 把数据简单陈列给管理人员是不够的 OLAP 系统能够提供丰富多样功能强大的计算工具, 但同时方法又简单明了, 今后需要加强这方面的应用, 包括

5 第 12 期王浩等 :OLAP 在地下工程监测中的初步应用 569 OLAP 数据查询结果可视化方面的应用 (2) 多主题分析 OLAP 分析是需要围绕中心主题进行组织的, 上述所讨论的只是一个单一的主题 ( 测试数据 ), 对于安全风险管理需求的具体主题, 以及多主题混合分析的情形还需要进一步研究 (3) 与数据挖掘技术的集成 OLAP 和数据挖掘相辅相成, 但侧重点不同 OLAP 侧重于与用户的交互快速的响应速度及提供数据的多维视图, 数据挖掘则能自动发现隐藏在数据中的模式和有用信息 OLAP 的分析结果可作为数据挖掘的基础数据, 数据挖掘可以拓展 OLAP 分析的深度, 发现 OLAP 所不能发现的更为复杂细致的知识随着社会对 OLAP 需求的增长和计算机网络的发展, 与数据挖掘 Web 集成将是 OLAP 技术发展的一个新方向, 也称为基于 Web 的联机分析挖掘 (OLAM),OLAM 是 OLAP 与数据挖掘相结合的产物, 它兼有 OLAP 多维分析的在线性灵活性和数据挖掘对数据处理的深入性, 是数据库和数据仓库未来发展的方向 [11] 图 2 多维数据集的数据 Fig.2 Data in multi-dimensional dataset 图 3 实施钻取操作后的实际数据 Fig.3 Factual data after drill down

6 570 岩土力学 2010 年图 4 观测时间维度和度量值交换 Fig.4 Exchange the time dimension with measure values 4 结语介绍了数据仓库和 OLAP 技术的基本概念, 并以小湾引水发电系统监测数据为例建立了一个简单的 OLAP 分析模型, 它能够很好地对时间进行智能管理, 从而使得不同年份的同期比较和同一年份的期间比较等十分容易 ; 对同一断面下不同的监测类型的比较也很容易 ; 能提供非常直观的查询, 从各个角度层次上提取及展示数据结合统计分析软件, 可以方便地分析各监测量的相关关系为管理人员进行安全风险管理, 促进信息化施工提供了方便需要指出的是, 今后要加强 OLAP 的编程多主题分析自动化数据挖掘方面的应用参考文献 [1] 王浩, 吴振君, 汤华, 等. 地下厂房监测信息管理预测系统的设计与应用 [J]. 岩土力学, 2006, 27(1): WANG Hao, WU Zhen-jun, TANG Hua, et al. Development and application of monitoring information management and prediction software system for underground powerhouse[j]. Rock and Soil Mechanics, 2006, 27(1): [2] 李元海, 朱合华. 岩土工程施工监测信息系统初探 [J]. 岩土力学, 2002, 23(1): LI Yuan-hai, ZHU He-hua. Development of monitoring information system software for geotechnical engineering[j]. Rock and Soil Mechanics, 2002, 23(1): [3] 吴中如. 中国大坝的安全和管理 [J]. 中国工程科学, 2000, 2(6): WU Zhong-ru. Overview on safty and management of dams in China[J]. Engineering Sciences, 2000, 2(6): [4] 于蕾, 张景, 李朋. OLAP 技术及其在 SQL SERVER 2000 中的实现 [J]. 微机发展, 2003, 13(10): YU Lei, ZHANG Jing, LI Peng. OLAP technology and its application to SQL SERVER 2000[J]. Microcomputer Development, 2003, 13(10): [5] 邱怀姗, 朱群雄. 基于 MS Analysis Services 的 OLAP 分析系统的设计与实现 [J]. 北京化工大学学报, 2004, 31(1): QIU Huai-shan, ZHU Qun-xiong. Design and implement of OLAP system based on MS analysis services[j]. Journal of Beijing University of Chemical Technology, 2004, 31(1): [6] 王军, 朱群雄. OLAP 研究及其在现代企业中的应用 [J]. 计算机应用, 2001, 21(5): 下转第 576 页

7 第 12 期王浩等 :OLAP 在地下工程监测中的初步应用 WANG Jun, ZHU Qun-xiong. OLAP reasearch and application to modern enterprise[j]. Computer Applications, 2001, 21(5): [7] 孟海洋, 薛红. 基于数据仓库和 Web 技术的超市决策系统 [J]. 沈阳大学学报, 2008, 20(2): MENG Hai-yang, XUE Hong. Decision support system of supermarket based on data warehouse and Web[J]. Journal of Shenyang University, 2008, 20(2): [8] 黄红女, 华锡生, 宋小刚. 大坝安全监测数据仓库的设计与构建以小浪底大坝为例 [J]. 水利水电科技进展, 2005, 25(4): HUANG Hong-nü, HUA Xi-sheng, SONG Xiao-gang. Design and construction of dam safety monitoring data warehouse: with Xiaolangdi Dam taken as an example[j]. Advances in Science and Technology of Water Resources, 2005, 25(4): [9] 舒云星, 李晶, 贺贵明. 三峡工程安全监测信息系统决策支持数据仓库技术 [J]. 计算机工程, 2002, 28(11): SHU Yun-xing, LI Jing, HE Gui-ming. Data warehouse technology of DSS of Three Gorges Project safe monitor and control system[j]. Computer Engineering, 2002, 28(11): [10] Microsoft Cooperation. Microsoft SQL Server 2000 Analysis Service Online Help[R]. Redmond: Microsoft Cooperation, [11] 高居泰, 左映华, 李晋宏. OLAP 与数据挖掘一体化的研究与应用 [J]. 北方工业大学学报, 2005, 17(1): GAO Ju-tai, ZUO Ying-hua, LI Jing-hong. Research and application on OLAP with data mining[j]. Journal of North China University of Technology, 2005, 17(1):

第 05 期董房等 : 一种卫星遥测在线状态监测及分析系统的设计 WEB 1 2 总体功能及组成 2.1 总体功能 1 2 3Web 2.2 结构组成 Web WEB WEB 2.3 系统各模块接口关系

第 05 期董房等 : 一种卫星遥测在线状态监测及分析系统的设计 WEB 1 2 总体功能及组成 2.1 总体功能 1 2 3Web 2.2 结构组成 Web WEB WEB 2.3 系统各模块接口关系电子科学技术 Electronic Science & Technology 电子科学技术第 02 卷第 05 期 2015 年 9 月 Electronic Science & Technology Vol.02 No.05 Sep.2015 年一种卫星遥测在线状态监测及分析系统的设计董房 1,2, 刘洋 2, 王储 2 2, 刘赞 (1. 上海交通大学, 上海,200240; 2. 上海卫星工程研究所,