74 BIG DATA RESEARCH 大数据 1 引言 2 相关技术简介在全球大数据蓬勃发展的大背景下, 我国也紧抓发展机遇 2015 年中国大数据技术大会发布了 2016 年大数据技术发展趋

Size: px

Start display at page:

Download "74 BIG DATA RESEARCH 大数据 1 引言 2 相关技术简介在全球大数据蓬勃发展的大背景下, 我国也紧抓发展机遇 2015 年中国大数据技术大会发布了 2016 年大数据技术发展趋"

梗危
7 years ago
Views:

1 TOPIC 专题 73 基于 HBase 的海量 GIS 数据分布式处理实践 1. 烟台中科网络技术研究所, 山东烟台 ;2. 中国科学院计算技术研究所, 北京摘要关键词 doi: /j.issn Distributed processing practice of the massive GIS data based on HBase LI Xuemei 1, XING Junfeng 1, LIU Dawei 1, WANG Haiyang 1,2, LIU Wei 1,2 1. Institute of Network Technology, ICT(YANTAI), Yantai , China 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing , China Abstract Based on the distributed database HBase, a kind of GIS data management system was designed. The system optimized the generated and stored procedures of raster data, which could be directly written into the storage and indexing of the HBase. At the same time, in view of the storing, indexing and retrieval of the vector spatial data, a new design for rowkey was proposed that considering both the latitude and longitude, and the spatial data types and attributes. So that the data needed to be returned could be quickly located by rowkey of the HBase, when retrieving vector geographic information according to the spatial location. The above methods had been verified on the HBase cluster environment with real GIS data. The results show that the proposed system has high performance for storage and retrieval of mass data, and realizes the efficient storage and real-time high-speed retrieval of the vast geographic information data. Key words big data, HBase, raster data, vector data, rowkey

Institute of Network Technology, ICT(YANTAI), Yantai 264003, China 2.

2 74 BIG DATA RESEARCH 大数据 1 引言 2 相关技术简介在全球大数据蓬勃发展的大背景下, 我国也紧抓发展机遇 2015 年中国大数据技术大会发布了 2016 年大数据技术发展趋势, 指出 : 可视化推动大数据平民化多学科融合与数据科学的兴起大数据提升社会治理和民生领域应用等将成 [1] 为未来大数据的发展趋势本文顺应大数据发展趋势, 在大数据平民化大数据民生应用等方面进行研究传统地理数据处理与存储主要使用 Oracle 与 PostgreSQL 的扩展 PostGIS 等关系型数据库, 但关系型数据库在针对海量数据的管理高并发读写难扩展对非结构化数据处理等方面已经开始制约地理信息系统的发展而 HBase 采用的基于列的存储技术以及高可用高可靠高性能可扩展的特点在处理非结构化地理栅格数据和具有离散稀疏特性地理矢量数据时有着天然的优势本文已经成功地将栅格数据与地理数据中的矢量数据加载到 HBase, 并进行了检索测试, 其检索响应时间可达到毫秒级本文的创新点在于当生成栅格数据时在 mapnik 切片的基础上做了优化, 使栅格数据不经过磁盘直接写入 HBase, 并设计了栅格数据在 HBase 中存储的 rowkey 以及 GIS(geographic information system, 地理信息系统 ) 矢量空间数据在 HBase 中存储的 rowkey 2.1 GIS 数据 GIS 数据包括两种最基本的组织方式 : 栅格数据和矢量空间数据栅格数据是以二维矩阵的形式表示空间地物或现象分布的数据组织方式, 每个矩阵单位称为一个栅格单元 (cell), 在各个栅格单元上给出相应的属性值来表示地理实体栅格数据有属性明显定位隐含的特点随着数据压缩技术和计算机性能的提高, 栅格数据量大的缺点不再突出, 栅格数据在地图分析中的作用越来越明显栅格数据可以是数字航空照片卫星影像数据图片, 甚至可以是扫描的地图本文所提到的栅格数据即对开放街道地图 (OpenStreetMap, OSM) 进行切片获得的栅格数据矢量空间数据利用点线面及其组合体的形式表达现实世界, 具有定位明显属性隐含的特点同时, 矢量空间数据具有数据结构紧凑冗余度低表达精度高图形显示质量好有利于索引和检索分析等优点, 在 GIS 中得到广泛的应用, 特别在小区域 ( 大比例尺 ) 制图中充分体现了其精度高的优点本文所提到的矢量数据是指由政府提供的路网数据管网数据农村地块数据及部分城市的天地图矢量空间数据 2.2 HBase HBase 是一个基于分布式的面向列的可伸缩的主要用于非结构化数据存储用途的开源数据库 HBase 是 Google Bigtable [2] 的开源实现其中,Hadoop [3] HDFS 为 HBase 提供文件存储功能 ;

PostGIS 等关系型数据库, 但关系型数据库在针对海量数据的管理高并发读写难扩展对非结构化数据处理等方面已经开始制约地理信息系统的发展而 HBase 采用的基于列的存储技术以及高可用高可靠高性能可扩展的特点在处理非

3 TOPIC 专题 75 MapReduce 为其提供海量数据计算能力 ; ZooKeeper 为其提供协调服务 ;Pig 和 Hive 为其提供高层语言支持, 使其可以进行数据统计 ;Sqoop 为其提供 RDBMS 数据导入功能 ETL 工具也能为其提供高速的数据导入 / 导出功能 HBase 支持按照主键 rowkey 和主键的 range 查询, 可以通过 HBase 提供的 API (application programming interface, 应用程序编程接口 ) 进行条件过滤查询, 也可以通过编写 MapReduce 程序, 实现表数据的访问和分析 HBase 有如下特点 : 对于数据类型,HBase 可以存储动态灵活的数据模型, 并不限制存储数据的种类, 可以存储结构化半结构化和非结构化数据 ; HBase 不使用 SQL 语言, 也不强调数据之间的关系 ; 存储灵活, 可以在一行的某一列存储一个整数, 而在另一行的同一列存储字符串, 对于空的列不占用存储空间, 适合存储稀疏数据 ; 在集群上运行, 可存储海量数据 3.1 栅格数据栅格数据获取本文栅格数据获取写入流程如图 1 所示传统的栅格数据的存储方式主要有两种 : 以文件目录的形式存储和存储在传统数据库中若栅格数据以文件目录形式存储, 其目录结构为 zoom_level/x_coordinate/y_ coordinate.png 图 2 展示的是对北京市切片获得的第 9 层栅格数据如果栅格数据以文件目录形式存储在本地磁盘, 对大范围地图切片会产生海量 3 GIS 数据在 HBase 中的应用图 1 栅格数据获取流程传统的 GIS 数据存储大多是关系型数据库, 但关系型数据库在海量数据的管理中面临许多问题, 包括高并发读写难扩展等, 已经成为制约 GIS 发展的瓶颈同时, GIS 数据中的图片影像数据等都是非结构化的, 关系型数据库不能合理地处理非结构化数据而 H B a s e 以其高可靠性高扩展性高容错性高效性以及适用于海量非结构化数据存储处理分析的优势在处理 GIS 数据方面提供了另一种思路, 即解决 HBase 应对 GIS 中的两大挑战 : 大规模数据处理的时延和空间位置建模 [4] 图 2 栅格数据存储形式和目录结构

HBase 有如下特点 : 对于数据类型,HBase 可以存储动态灵活的数据模型, 并不限制存储数据的种类, 可以存储结构化半结构化和非结构化数据 ; HBase 不使用 SQL 语言, 也不强调数据之间的关系 ; 存储灵活, 可以在一行的某一列存储

4 76 BIG DATA RESEARCH 大数据栅格数据在生成栅格数据时速率逐步降低, 影响切片性能本文对切片脚本做了修改, 略去文件写磁盘步骤, 将栅格数据文件进行 base64 转码后直接存至 HBase 如果海量栅格数据存储在传统数据库 ( 如 MySQL Oracle 等 ), 主键和索引问题会导致读写速度越来越慢, 并且存储量有所限制基于以上原因, 结合 HBase 在大数据存储方面的优势, 本文研究了栅格数据在 HBase 上的存储和索引, 在 HBase 的集群环境上对栅格数据进行了验证, 该方法具有较高的存储能力和检索能力栅格数据的索引如上所述, 层级编码 X 坐标与 Y 坐标表示的不仅是一个瓦片数据的索引, 同时还是瓦片数据的地理位置标志, 通过数学公式在查询和检索时, 行列编码和经纬度之间可以实现相互转换本文中栅格数据存于 HBase,rowkey 的表示方式为 zoom_ level x_coordinate y_coordinate, 列簇 (column family) 为 i, 列 (c o l u m n) 为 png_info 栅格数据在系统中的展示形式如图 3 图 4 所示图 3 栅格数据存储方式栅格数据的检索栅格数据的检索主要是返回指定区域的所有栅格信息, 以编排好的一张地图的形式返回栅格数据的索引方式使得需要先确定 X Y 坐标的范围, 再在返回的结果上进行筛选, 编排出符合条件的所有切片合成一张地图本文栅格数据的检索是以服务形式提供, 若检索第 9 层,X 坐标为 421,Y 坐标为 194 的栅格数据如图 5 所示在栅格数据服务上, 通过 OpenLayers 可将栅格数据以地图的形式返回图 6 展示的是切片数据第 12 层拼接的地图 3.2 矢量空间数据矢量空间数据的组织形式比栅格数据复杂得多, 不仅有点 (point) 线 (line s t r i n g) 面 (p o l yg o n) 多点 (m u l t i - point) 多线 (multi-line string) 多面 (multi-polygon) 等不同的矢量空间数据 [5,6] 格式以及图层和复杂的拓扑关系信息图 4 栅格数据展示为了使用 HBase 方便高效地管理矢量空

5 TOPIC 专题 77 间数据, 并且使地理位置相邻的空间对象尽可能地在逻辑存储上也相邻, 需要设计出合理的 rowkey 来提高检索效率矢量空间数据的索引无论是点线面等何种矢量空间数据格式, 都是由一个个二维 ( 经度和纬度 ) 的点组成, 其中, 点的表示为 (x,y); 线的表示为 (x 1,y 1 ),( x 2,y 2 ),,( x n,y n ); 面的表示为 (x 1,y 1 ),( x 2,y 2 ),,( x 1,y 1 ) 不同于一维数据可以通过排序方式创建索引, 在检索时可考虑二分查找法进行快速查找在对矢量空间数据进行存储时主要考虑如何将二维数据转换成一维数据, 进而作为 HBase 的 rowkey 索引与检索二维或多维空间坐标降维至一维字符 [7-9] 串的方法有很多, 如 Hilbert 空间降维法, 该方法能够通过数学模型最大限度地保证空间对象之间的逻辑相关性, 无较大突变 ; 图 5 切片服务缺点是数学模型较复杂, 降维过程中运算 [10] 量较大四叉树也是一种有效的空间降维方法, 四叉树其实是一种字典树, 因为树节点的值不依赖于插入的数据, 在进行数据降维时需要先建好树, 再将需要降维的数据划分到适当的区间即可, 但算法相对复杂本文使用 G e ohash 1 方法降维 1 wikipedia. eohash 图 6 栅格数据拼接地图

x 1,y 1 ) 不同于一维数据可以通过排序方式创建索引, 在检索时可考虑二分查找法进行快速查找在对矢量空间数据进行存储时主要考虑如何将二维数据转换成一维数据, 进而作为 HBase 的 rowkey 索引与检索二维或多维空间坐标

6 78 BIG DATA RESEARCH 大数据 2 apache.org/0.94/ book/rowkey. design.html# keysize Geohash 即将一个经纬度信息转换成一个既可以排序又可以比较的字符串编码具体操作步骤如下步骤 1 将纬度范围 (-90,90) 平分成两个区间 (-90,0) (0,90), 如果目标纬度位于前一个区间, 则编码为 0, 否则编码为 1 步骤 2 若步骤 1 编码为 0, 将纬度范围 (-9 0,0) 平分成两个区间 (-9 0,-45) (- 4 5,0), 如果目标纬度位于前一个区间, 则编码为 0, 否则编码为 1 步骤 3 若步骤 1 编码为 1, 同步骤 2, 将纬度范围 (0,9 0) 平均分区步骤 4 依据步骤 2 和步骤 3 对纬度进行划分, 直到精度符合要求为止, 得到纬度编码步骤 5 经度编码同纬度算法, 对 (-18 0, 1 8 0) 依次细分, 直到精度符合要求为止, 得到经度编码步骤 6 将经度和纬度的编码合并, 奇数位是纬度, 偶数位是精度步骤 7 对步骤 6 合并的编码进行 base 32 编码 [11] 为了使得 Geohash 具有可比性, 在进行 base32 编码时需参考字符在 ASCⅡ 码表的顺序用 0 ~ 9 b ~ z( 去掉 a,i,l,o)3 2 个字符进行 base32 编码, 具体的码表见表 1 例如, 纬度为的编码是 , 经度为的编码为 , 经纬度合并编码为 ,base32 转码后编码为 wx4g0ec1 资料显示 base32 编码长度为 8 时, 精度在 19 m 左右, 具体的编码长度需要根据数据情况进行选择, 为了既可以定位到某个位置, 又保护隐私性, 并且考虑到 HBase 的 r o w key 选择遵循越短越好的原则, 本文规定 base32 的长度最长为 8 对经纬度进行 Geohash 降维后, 不仅大大缩短了 rowkey 的长度, 对大部分而言, 编码相似的距离也相近, 见表 2 实际编码实例中的前两行但该算法的缺点是有数据突变, 有些 Geohash 值相差很远, 但实际位置很近, 如图 7 中的 WX4G08 和 WX4FBX 解决这一问题可使用扩大返回结果的方式, 如在查询时, 除了返回与 Geohash 值匹配的区域, 同时返回其周围的 8 个区域针对在 HBase 上的多条件查询, 一般是将所有可能作为查询条件的字段一一拼接到 rowkey 中, 这种拼接的 rowkey 使得在查询时排序越靠前的字段越有优势为了提高空间查询的效率, 本文除了考虑经纬度信息, 又要考虑空间数据组织形式和图层属性, 为了保证线和其经过的区域以及面和其包含的区域表达出来, 需要在 rowkey 上拼接网格 ID 本文的 rowkey 拼接顺序为 : 表名 ; 空间数据类型 ; 经纬度 Geohash 编码 ; 网格 ID, 如 : line;l;wx51053b; 列的设计即将源数据表中所有的列信息一一写入 HBase, 为了加快检索速率, 添加一列图层属性信息空间数据类型可在源数据中获取, 在第 3.2 节介绍了空间数据组织形式有 6 种, 为了遵循 rowkey 的越短越好原则 2, 将组织形式进行了映射, 见表 2 若将线或面上的标记点及整条线或整个面的信息一一写入 HBase, 当要展示某个区域的地理信息时, 若一条线穿过这个表 1 base32 码表十进制 base b c d e f g h j k m n p q r s t u v w x y z

为 1 步骤 2 若步骤 1 编码为 0, 将纬度范围 (-9 0,0) 平分成两个区间 (-9 0,-45) (- 4 5,0), 如果目标纬度位于前一个区间, 则编码为 0, 否则编码为 1 步骤 3 若步骤 1 编码为 1, 同步骤 2, 将纬度范围 (0,9 0) 平均分区步骤 4 依据

7 TOPIC 专题 79 区域, 但线上的标记点都没落在该区域, 那么这条线就不能正常地显示出来, 如图 8 空间组织形式表 2 空间数据组织形式映射映射所示同理, 若一个面的边界在这个区域之外, 面上的标记点也都没落在该区域, 也会出现面不能正常显示的问题, 如图 9 所示网格 ID 的设计是为了解决该类问题对于网格 ID 设计的步骤如下步骤 1 获取数据库对象的边界步骤 2 对步骤 1 的边界进行四叉树划分, 直至预先设定的地理位置精度本文规定划分后的每个单元格使用 6 位 base32 表示即可步骤 3 将每个单元格的经纬度信息转换成 Google 的类型几何值步骤 4 在将 GIS 数据写入 HBase 前与单元格几何值进行相交, 得到每条记录与网格相交的信息步骤 5 对于线数据表或面数据表中的每一条记录, 除了本身的信息 ( 标记点及整条线或整个面的信息 ) 之外, 相交信息也需一同写入 HBase 相应数据库矢量空间数据的检索对矢量空间数据的检索主要有以下 3 种返回指定区域的点线面等信息, POINT P MULTIPOINT MP LINESTRNG L MULTILINESTRING ML POLYGON PY MULTIPOLYGON MPY WX4G09 WX4G0C WX4G11 WX4G08 WX4G0B WX4G10 WX4FBX WX4FBZ WX4FCP 图 7 编码实例图 8 线穿过区域该种情况需要遍历 rowkey 的前缀为 : 表名 ; 空间数据类型的各种情况, 返回 base32 值小于或等于指定区域的所有数据返回整条线或整个面的信息, 该种情况只需指定 rowkey 的前缀, 返回整条线或整个面的边界信息返回指定图层的信息, 该种情况若直接通过检索 rowkey 的方式获取需要遍历的整个 HBase 表, 为了加快该种情况的检索速度, 本文在列的设计方面增加了一项 f l i t e r, 用来存储从矢量信息中获取的图层信息检索时只需返回指定列信息即可 4 实验与结果分析图 9 面包含区域 4.1 实验环境本文的实验环境为 3 台服务器搭建的集群环境服务器的相关配置见表

使用 6 位 base32 表示即可步骤 3 将每个单元格的经纬度信息转换成 Google 的 900913 类型几何值步骤 4 在将 GIS 数据写入 HBase 前与单元格几何值进行相交, 得到每条记录与网格相交的信息步骤 5 对于线数据表或面数据表中的每

8 80 BIG DATA RESEARCH 大数据名称操作系统 CPU 内存硬盘表 3 服务器配置配置 CentOS release 6.4 (final) x 8 6 _ 6 4,6 核心 16 GB GB 4.2 栅格数据写 HBase 本文在栅格数据切片及写 HBase 上主要是略去了磁盘写步骤, 默认的栅格数据获取是以文件形式存储在本地磁盘, 再通过读磁盘文件写入 H B a s e 对北京市分别切片至 16 层 18 层, 并将栅格数据写入 HBase 测试结果, 见表 4 从表 4 可以看出, 改进后略去磁盘写操作, 在栅格数据量较少时性能反而下降但在处理数据规模较大 ( 如对中国地图或世界地图进行切片 ) 时, 会因持续写磁盘操作, 生成文件夹及切片文件数太多导致 inode( 索引节点 ) 耗尽经过约 24 h 的持续切片, 生成海量切片小文件, 导致服务器 inode 用尽, 即使硬盘空间仍有空余, 也无法在硬盘上创建新文件, 进而切片工作无法正常完成若将切片直接写入传统数据库 ( 如 MySQL Oracle PostgreSQL 等 ), 写入速度不断降低, 导致写入时间不可接受, 后期的检索时间也较慢另外, 海量切片小文件写入传统数据库会对数据库造成较高的负载, 系统的稳定性和扩展性难以控制经过改进测试, 对世界地图连续切片一个月, 形成 83 GB 的栅格数据, 未经过磁盘写操作直接写入 HBase, 未出现任何异常情况本文对栅格数据的检索也进行了验证, 在条记录的 HBase 表上检索指定切片的响应时间为毫秒级 (0.004 s) 同时,HBase 也支持指定范围检索, 一次返回万级别切片的响应时间为秒级 (5.077 s) 4.3 矢量空间数据写 HBase 为了对海量矢量空间数据进行高效存储管理与检索, 本文设计了矢量空间数据的 rowkey, 并将数据存储于 HBase 实验结果显示, 对中国地图的矢量空间数据在条记录的 Hbase 表上检索指定空间矢量点的响应时间为毫秒级 ( s) 检索线或面的响应时间为秒级, 若返回一个面上的千级别的坐标点时间约为 s 5 结束语本文针对智慧城市建设中的数据管理问题, 利用 HBase 分布式数据库的列存储模型特点, 设计了一种基于 HBase 的 GIS 数据管理系统, 实现了对矢量空间数据与栅格数据的高效存储索引与检索 GIS 矢量空间数据在 HBase 中存储, 首先确定 rowkey 的设计, 使得在检索空间位置时返回尽可能少的数据请求, 即在检索时既考表 4 栅格数据写 HBase 切片层数切片数 / 张切片 + 写 HBase 耗时 /s 16 层磁盘写 182 略去磁盘写层磁盘写略去磁盘写

试结果, 见表 4 从表 4 可以看出, 改进后略去磁盘写操作, 在栅格数据量较少时性能反而下降但在处理数据规模较大 ( 如对中国地图或世界地图进行切片 ) 时, 会因持续写磁盘操作, 生成文件夹及切片文件数太多导致 inode( 索引节点

9 TOPIC 专题 81 虑经度与纬度, 又考虑空间数据类型和图层属性设计了基于表名空间数据类型经纬度 Geohash 编码网格 ID 的 rowkey 方法为了加快切片效率和减少存储成本, 本文在生成栅格数据时在 mapnik 切片的基础上做了优化, 使栅格数据不经过磁盘写操作, 直接写入 HBase 设计了栅格数据在 HBase 中存储的 rowkey 最后, 在 HBase 的集群环境上对上述方法进行了验证实验表明, 本文提出的方法具有较好的可行性和执行效率参考文献 : [1] 潘柱延, 程学旗, 袁晓如, 等. CCF 大专委 2016 年大数据发展趋势预测解读和行动建议 [J]. 大数据, 2016, 2(1): PAN Z Y, CHENG X Q, YUAN X R, et al. Developing trend forecasting of big data in 2016 from CCF TFBD: interpretation and proposals [J]. Big Data Research, 2016, 2(1): [2] CHANG F, DEAN J, GHEMAWA S, et al. Bigyable: a distributed storage system for structured data[c]//the 7th USENIX Symposium on Operating Systems Design and Implementation, November 6-8, 2006, Seattle, WA, USA. New York: ACM Press, 2006: [3] 陈嘉恒. Hadoop 实战 [M]. 北京 : 机械工业出版社, 2011: 1-2, CHEN J H. Hadoop in action[m]. Beijing: China Machine Press, 2011: 1-2, [4] 陈崇成, 林剑峰, 吴小竹, 等. 基于 NoSQL 的海量空间数据云存储与服务方法 [J]. 地球信息科学学报, 2013, 15(2): CHEN C C, LIN J F, WU X Z, et al. Massive geo-spatial data cloud storage and services based on NoSQL database technique[j]. Journal of Geo-Information Science, 2013, 15(2): [5] 范建永, 龙明, 熊伟. 基于 HBase 的矢量空间数据分布式存储研究 [J]. 地理信息与地理信息科学, 2012, 28(5): FAN J L, LONG M, XIONG W. Research of vector spatial data distributed storage based on HBase[J]. Geography and Geo- Information Science, 2012, 28(5): [6] 张叶, 许国艳, 花青. 基于 HBase 的矢量空间数据存储与访问优化 [J]. 计算机应用, 2015, 35(11): ZHANG Y, XU G Y, HUA Q. Storage and access optimization of vector space data based on HBase[J]. Journal of Computer Applications, 2015, 35(11): [7] WANG L, CHEN B, LIU Y. Distributed storage and index of vector spatial data based on HBase[C]//The st International Conference on Geoinformatics, June 20-22, 2013, Kaifeng, China. New Jersey: IEEE Press, 2013:1-5. [8] 陆锋, 周成虎. 一种基于 Hilbert 排列编码的 GIS 空间索引方法 [J]. 计算机辅助设计与图形学学报, 2001, 13(5): LU F, ZHOU C H. A GIS spatial indexing approach based on Hilbert ordering code[j]. Journal of Computer-Aided Design and Computer Graphics, 2001, 13(5): [9] SHEKHAR S, CHAWLA S. 空间数据库 [M]. 谢昆青, 译. 北京 : 机械工业出版社, 2004: SHEKHAR S, CHAWLA S. Spatial database[m]. Translated by XIE K Q. Beijing: China Machine Press, 2004: [10] 滕连泽, 刘洪斌, 武伟. 基于空间数据不同索引方法的比较 [J]. 计算机与现代化, 2006(1): TENG L Z, LIU H B, WU W. Comparison of indexes based on spatial data[j]. Computer and Modernization, 2006(1): [11] HSU Y T, PAN Y C, WEI L, et al. Key formulation schemes for spatial index in cloud data managements[c]// The 2012 IEEE 13th International Conference on Mobile Data Management, July 23-26, 2012, Bengaluru, India. New Jersey: IEEE Press, 2012:

袁晓如, 等. CCF 大专委 2016 年大数据发展趋势预测解读和行动建议 [J]. 大数据, 2016, 2(1): 105-113. PAN Z Y, CHENG X Q, YUAN X R, et al.

10 82 BIG DATA RESEARCH 大数据作者简介李雪梅 (1984-), 女, 烟台中科网络技术研究所研发工程师, 主要研究方向为数据挖掘与分析自然语言处理大数据存储管理与挖掘等邢俊峰 (1985-), 男, 烟台中科网络技术研究所研发工程师, 主要研究方向为数据存储检索和展现等刘大伟 (1984-), 男, 博士, 烟台中科网络技术研究所助理研究员, 主要研究方向为海量数据检索多媒体内容分析社交网络分析等王海洋 (1980-), 男, 中国科学院计算技术研究所网络数据科学与技术重点实验室烟台中科网络技术研究所工程师, 主要研究方向为数据采集存储检索大数据存储管理等刘玮 (1977-), 男, 中国科学院计算技术研究所网络数据中心烟台中科网络技术研究所工程师历任中国科学院计算技术研究所项目负责人, 北京中科天玑信息技术有限公司总经理助理, 北京中科智源育成信息技术有限公司事业部经理以项目负责人或核心骨干成员承担和参与了国家信息关防与网络安全保障持续发展计划国家信息安全专项国家 242 信息安全计划发展和改革委员会产业化项目等 10 余项国家重大项目的组织实施收稿日期 : 基金项目 : 山东省自主创新及成果转化专项基金资助项目 (No.2014XGA06014); 山东省科技发展计划基金资助项目 (No.2015GGX106001); 烟台市科技发展计划基金资助项目 (No.2014LGS005) Foundation Items: Technology Innovation Program of Shandong Province of China (No. 2014XGA06014), Shandong Technology Research and Development Program (No.2015GGX106001), Yantai Technology Research and Development Program (No. 2014LGS005)

技术重点实验室烟台中科网络技术研究所工程师, 主要研究方向为数据采集存储检索大数据存储管理等刘玮 (1977-), 男, 中国科学院计算技术研究所网络数据中心烟台中科网络技术研究所工程师历任中国科学院计算技术研究所项

说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度, 对 2015 年春季期教运行基

说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度, 对 2015 年春季期教运行基内部资料东北师范大教运行基本状态据报告 2015 年春季期教务处 2015 年 10 月 27 日说明为了反映教运行的基本状态, 为校和院制定相关政策和进行教建设与改革提供据依据, 校从程资源 ( 开类别开量规模 ) 教师结构程考核等维度,

74 BIG DATA RESEARCH 大 数 据 1 引 言 2 相 关 技 术 简 介 在 全 球 大 数 据 蓬 勃 发 展 的 大 背 景 下, 我 国 也 紧 抓 发 展 机 遇 2015 年 中 国 大 数 据 技 术 大 会 发 布 了 2016 年 大 数 据 技 术 发 展 趋

74 BIG DATA RESEARCH 大数据 1 引言 2 相关技术简介在全球大数据蓬勃发展的大背景下, 我国也紧抓发展机遇 2015 年中国大数据技术大会发布了 2016 年大数据技术发展趋