大数据技术原理与应用

Size: px

Start display at page:

Download "大数据技术原理与应用"

帚艰封
5 years ago
Views:

大数据技术原理与应用 ( 第 2 版 ) http://dblab.xmu.edu.

(PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

1 大数据技术原理与应用 ( 第 2 版 ) 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 4 章分布式数据库 HBase (PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 : 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn

2 本章配套教学视频大数据技术原理与应用 ( 第 2 版 ) 第 4 章分布式数据库 HBase 在线视频观看地址

3 提纲 4.1 概述 4.2 HBase 访问接口 4.3 HBase 数据模型 4.4 HBase 的实现原理 4.5 HBase 运行机制 4.6 HBase 应用方案 4.7 HBase 编程实践本 PPT 是如下教材的配套讲义 : 大数据技术原理与应用概念存储处理分析与应用 (2017 年 2 月第 2 版 ) ISBN: 厦门大学林子雨编著, 人民邮电出版社欢迎访问大数据技术原理与应用教材官方网站 :

4 4.1 概述从 BigTable 说起 HBase 简介 HBase 与传统关系数据库的对比分析大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

5 4.1.1 从 BigTable 说起 BigTable 是一个分布式存储系统 BigTable 起初用于解决典型的互联网搜索问题建立互联网索引 1 爬虫持续不断地抓取新页面, 这些页面每页一行地存储到 BigTable 里 2 MapReduce 计算作业运行在整张表上, 生成索引, 为网络搜索应用做准备搜索互联网 3 用户发起网络搜索请求 4 网络搜索应用查询建立好的索引, 从 BigTable 得到网页 5 搜索结果提交给用户网页在 BigTable 中的存储样例

6 4.1.1 从 BigTable 说起 BigTable 是一个分布式存储系统利用谷歌提出的 MapReduce 分布式并行计算模型来处理海量数据使用谷歌分布式文件系统 GFS 作为底层数据存储采用 Chubby 提供协同服务管理可以扩展到 PB 级别的数据和上千台机器, 具备广泛应用性可扩展性高性能和高可用性等特点谷歌的许多项目都存储在 BigTable 中, 包括搜索地图财经打印社交网站 Orkut 视频共享网站 YouTube 和博客网站 Blogger 等

7 Zookeeper 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn Avro HBase 简介 HBase 是一个高可靠高性能面向列可伸缩的分布式数据库, 是谷歌 BigTable 的开源实现, 主要用来存储非结构化和半结构化的松散数据 HBase 的目标是处理非常庞大的表, 可以通过水平扩展的方式, 利用廉价计算机集群处理由超过 10 亿行数据和数百万列元素组成的数据表 Hadoop 生态系统 ETL 工具 BI 报表 RDBMS Pig Hive Sqoop MapReduce HBase HDFS (Hadoop Distributed File System) 图 4-1 Hadoop 生态系统中 HBase 与其他部分的关系

8 4.1.2 HBase 简介表 4-1 HBase 和 BigTable 的底层技术对应关系 BigTable HBase 文件存储系统 GFS HDFS 海量数据处理 MapReduce Hadoop MapReduce 协同服务管理 Chubby Zookeeper

9 4.1.2 HBase 简介关系数据库已经流行很多年, 并且 Hadoop 已经有了 HDFS 和 MapReduce, 为什么需要 HBase? Hadoop 可以很好地解决大规模数据的离线批量处理问题, 但是, 受限于 Hadoop MapReduce 编程框架的高延迟数据处理机制, 使得 Hadoop 无法满足大规模数据实时处理应用的需求 HDFS 面向批量访问模式, 不是随机访问模式传统的通用关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题 ( 分库分表也不能很好解决 ) 传统关系数据库在数据结构变化时一般需要停机维护 ; 空列浪费存储空间因此, 业界出现了一类面向半结构化数据存储和处理的高可扩展低写入 / 查询延迟的系统, 例如, 键值数据库文档数据库和列族数据库 ( 如 BigTable 和 HBase 等 ) HBase 已经成功应用于互联网服务领域和传统行业的众多在线式数据分析处理系统中

10 4.1.3 HBase 与传统关系数据库的对比分析 HBase 与传统的关系数据库的区别主要体现在以下几个方面 : (1) 数据类型 : 关系数据库采用关系模型, 具有丰富的数据类型和存储方式,HBase 则采用了更加简单的数据模型, 它把数据存储为未经解释的字符串 (2) 数据操作 : 关系数据库中包含了丰富的操作, 其中会涉及复杂的多表连接 HBase 操作则不存在复杂的表与表之间的关系, 只有简单的插入查询删除清空等, 因为 HBase 在设计上就避免了复杂的表和表之间的关系 (3) 存储模式 : 关系数据库是基于行模式存储的 HBase 是基于列存储的, 每个列族都由几个文件保存, 不同列族的文件是分离的

11 4.1.3 HBase 与传统关系数据库的对比分析 HBase 与传统的关系数据库的区别主要体现在以下几个方面 : (4) 数据索引 : 关系数据库通常可以针对不同列构建复杂的多个索引, 以提高数据访问性能 HBase 只有一个索引行键, 通过巧妙的设计,HBase 中的所有访问方法, 或者通过行键访问, 或者通过行键扫描, 从而使得整个系统不会慢下来 (5) 数据维护 : 在关系数据库中, 更新操作会用最新的当前值去替换记录中原来的旧值, 旧值被覆盖后就不会存在而在 HBase 中执行更新操作时, 并不会删除数据旧的版本, 而是生成一个新的版本, 旧有的版本仍然保留 (6) 可伸缩性 : 关系数据库很难实现横向扩展, 纵向扩展的空间也比较有限相反,HBase 和 BigTable 这些分布式数据库就是为了实现灵活的水平扩展而开发的, 能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩

12 4.2 HBase 访问接口表 4-2 HBase 访问接口类型特点场合 Native Java API HBase Shell 最常规和高效的访问方式适合 Hadoop MapReduce 作业并行批处理 HBase 表数据 HBase 的命令行工具, 最简单的接口 Thrift Gateway 利用 Thrift 序列化技术, 支持 C++ PHP Python 等多种语言适合 HBase 管理使用适合其他异构系统在线访问 HBase 表数据 REST Gateway 解除了语言限制支持 REST 风格的 Http API 访问 HBase Pig 使用 Pig Latin 流式编程语言来处理 HBase 中的数据适合做数据统计 Hive 简单当需要以类似 SQL 语言方式来访问 HBase 的时候

13 4.3 HBase 数据模型数据模型概述数据模型相关概念数据坐标概念视图物理视图面向列的存储大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

14 4.3.1 数据模型概述 HBase 是一个稀疏多维度排序的映射表, 这张表的索引是行键列族列限定符和时间戳每个值是一个未经解释的字符串, 没有数据类型用户在表中存储数据, 每一行都有一个可排序的行键和任意多的列表在水平方向由一个或者多个列族组成, 一个列族中可以包含任意多个列, 同一个列族里面的数据存储在一起列族支持动态扩展, 可以很轻松地添加一个列族或列, 无需预先定义列的数量以及类型, 所有列均以字符串形式存储, 用户需要自行进行数据类型转换 HBase 中执行更新操作时, 并不会删除数据旧的版本, 而是生成一个新的版本, 旧有的版本仍然保留 ( 这是和 HDFS 只允许追加不允许修改的特性相关的 )

15 4.3.2 数据模型相关概念表 :HBase 采用表来组织数据, 表由行和列组成, 列划分为若干个列族行 : 每个 HBase 表都由若干行组成, 每个行由行键 (row key) 来标识列族 : 一个 HBase 表被分组成许多列族 (Column Family) 的集合, 它是基本的访问控制单元列限定符 : 列族里的数据通过列限定符 ( 或列 ) 来定位单元格 : 在 HBase 表中, 通过行列族和列限定符确定一个单元格 (cell ), 单元格中存储的数据没有数据类型, 总被视为字节数组 byte[] 时间戳 : 每个单元格都保存着同一份数据的多个版本, 这些版本采用时间戳进行索引

201505003, Info, email, 1174184619081] [

16 4.3.3 数据坐标 HBase 中需要根据行键列族列限定符和时间戳来确定一个单元格, 因此, 可以视为一个四维坐标, 即 [ 行键, 列族, 列限定符, 时间戳 ] 键 [ , Info, , ] [ , Info, , ] 值 xie@qq.com you@163.com

17 4.3.4 概念视图表 4-4 HBase 数据的概念视图行键时间戳列族 contents 列族 anchor t5 anchor:cnnsi.com= CNN t4 anchor:my.look.ca="cnn.com" "com.cnn.www" t3 t2 contents:html="< html>" contents:html="< html>" t1 contents:html="< html>"

18 4.3.5 物理视图行键 "com.cnn.www" 表 4-5 HBase 数据的物理视图列族 contents 时间戳 t3 t2 t1 列族 anchor 列族 contents contents:html="<html>" contents:html="<html>" contents:html="<html>" 行键 "com.cnn.www" 时间戳 t5 t4 列族 anchor anchor:cnnsi.com= CNN anchor:my.look.ca="cnn.com"

19 4.3.6 面向列的存储图 4-3 行式数据库和列式数据库示意图

20 SQL 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn 行 3 3 Tom 38 M Logout 面向列的存储 SQL 模式采用面向行的存储 Log 模式 Log_id user Marry Bob Tom Linda age sex F M M F ip action Logout New_tweet Logout Logout 图 4-4 行式存储结构和列式存储结构采用面向列的存储

21 4.3.6 面向列的存储行式存储行 1 行 2 行 3 1 Marry 34 F Logout 2 Bob 18 M New_tweet 3 Tom 38 M Logout

22 4.3.6 面向列的存储.252 采用面向列的存储列式存储列 1:user 列 2:age 列 3:sex 列 4:ip 列 5:action Marry Bob Tom Linda F M M F Logout New_tweet Logout Logout

23 4.4 HBase 的实现原理 HBase 功能组件表和 Region Region 的定位大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

24 4.4.1 HBase 功能组件 HBase 的实现包括三个主要的功能组件 : (1) 库函数 : 链接到每个客户端 (2) 一个 Master 主服务器 (3) 许多个 Region 服务器主服务器 Master 负责管理和维护 HBase 表的分区信息, 维护 Region 服务器列表, 分配 Region, 负载均衡 Region 服务器负责存储和维护分配给自己的 Region, 处理来自客户端的读写请求客户端并不是直接从 Master 主服务器上读取数据, 而是在获得 Region 的存储位置信息后, 直接从 Region 服务器上读取数据客户端并不依赖 Master, 而是通过 Zookeeper 来获得 Region 位置信息, 大多数客户端甚至从来不和 Master 通信, 这种设计方式使得 Master 负载很小大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

25 4.4.2 表和 Region 按照行键字典序表 Region Region... Region 开始只有一个 Region, 后来不断分裂 Region 拆分操作非常快, 接近瞬间, 因为拆分之后的 Region 读取的仍然是原存储文件, 直到合并过程把存储文件异步地写到独立的文件之后, 才会读取新文件表 Region 分裂表 Region Region Region 图 4-5 一个 HBase 表被划分成多个 Region Region Region Region 图 4-6 一个 Region 会分裂成多个新的 Region

26 4.4.2 表和 Region 每个 Region 默认大小是 100MB 到 200MB(2006 年以前的硬件配置 ) 每个 Region 的最佳大小取决于单台服务器的有效处理能力目前每个 Region 最佳大小建议 1GB-2GB(2013 年以后的硬件配置 ) 同一个 Region 不会被分拆到多个 Region 服务器每个 Region 服务器存储个 Region 表 1 Region Region Region 表 2 Region Region Region Region 服务器 Region Region 图 4-7 不同的 Region 可以分布在不同的 Region 服务器上大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

27 4.4.3 Region 的定位元数据表, 又名.META. 表, 存储了 Region 和 Region 服务器的映射关系当 HBase 表很大时,.META. 表也会被分裂成多个 Region 根数据表, 又名 -ROOT- 表, 记录所有元数据的具体位置 -ROOT- 表只有唯一一个 Region, 名字是在程序中被写死的 Zookeeper 文件记录了 -ROOT- 表的位置 ZooKeeper 文件 -ROOT- 表.META. 表用户数据表用户数据表图 4-8 HBase 的三层结构

28 4.4.3 Region 的定位表 4-6 HBase 的三层结构中各层次的名称和作用层次名称作用第一层 Zookeeper 文件第二层 -ROOT- 表记录了 -ROOT- 表的位置信息记录了.META. 表的 Region 位置信息 -ROOT- 表只能有一个 Region 通过 -ROOT- 表, 就可以访问.META. 表中的数据第三层.META. 表记录了用户数据表的 Region 位置信息,.META. 表可以有多个 Region, 保存了 HBase 中所有用户数据表的 Region 位置信息

29 4.4.3 Region 的定位为了加快访问速度,.META. 表的全部 Region 都会被保存在内存中假设.META. 表的每行 ( 一个映射条目 ) 在内存中大约占用 1KB, 并且每个 Region 限制为 128MB, 那么, 上面的三层结构可以保存的用户数据表的 Region 数目的计算方法是 : (-ROOT- 表能够寻址的.META. 表的 Region 个数 ) ( 每个.META. 表的 Region 可以寻址的用户数据表的 Region 个数 ) 一个 -ROOT- 表最多只能有一个 Region, 也就是最多只能有 128MB, 按照每行 ( 一个映射条目 ) 占用 1KB 内存计算,128MB 空间可以容纳 128MB/1KB=2 17 行, 也就是说, 一个 -ROOT- 表可以寻址 2 17 个.META. 表的 Region 同理, 每个.META. 表的 Region 可以寻址的用户数据表的 Region 个数是 128MB/1KB=2 17 最终, 三层结构可以保存的 Region 数目是 (128MB/1KB) (128MB/1KB) = 2 34 个 Region ZooKeeper 文件 -ROOT- 表.META. 表用户数据表用户数据表

30 4.4.3 Region 的定位客户端访问数据时的三级寻址为了加速寻址, 客户端会缓存位置信息, 同时, 需要解决缓存失效问题寻址过程客户端只需要询问 Zookeeper 服务器, 不需要连接 Master 服务器 ZooKeeper 文件 -ROOT- 表.META. 表用户数据表用户数据表大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

31 4.5 HBase 运行机制 HBase 系统架构 Region 服务器工作原理 Store 工作原理 HLog 工作原理大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

32 4.5.1 HBase 系统架构客户端 Zookeeper Master Region 服务器 Region 服务器 HBase Region Region Region Region Region Region HDFS Hadoop 数据节点数据节点数据节点数据节点图 4-9 HBase 的系统架构

33 4.5.1 HBase 系统架构 1. 客户端客户端包含访问 HBase 的接口, 同时在缓存中维护着已经访问过的 Region 位置信息, 用来加快后续数据访问过程 2. Zookeeper 服务器 Zookeeper 可以帮助选举出一个 Master 作为集群的总管, 并保证在任何时刻总有唯一一个 Master 在运行, 这就避免了 Master 的单点失效问题 Zookeeper 是一个很好的集群管理工具, 被大量用于分布式计算, 提供配置维护域名服务分布式同步组服务等大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

34 4.5.1 HBase 系统架构 3. Master 主服务器 Master 主要负责表和 Region 的管理工作 : 管理用户对表的增加删除修改查询等操作实现不同 Region 服务器之间的负载均衡在 Region 分裂或合并后, 负责重新调整 Region 的分布对发生故障失效的 Region 服务器上的 Region 进行迁移 4. Region 服务器 Region 服务器是 HBase 中最核心的模块, 负责维护分配给自己的 Region, 并响应用户的读写请求

35 4.5.2 Region 服务器工作原理 Region 服务器集群 Region 服务器 Region 服务器 Region 服务器 Region Region Region 1. 用户读写数据过程 2. 缓存的刷新 3. StoreFile 的合并 Store Store Store MemStore MemStore MemStore HLog StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile StoreFile HFile HFile HFile HFile HFile 图 4-10 Region 服务器向 HDFS 文件系统中读写数据大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

36 4.5.2 Region 服务器工作原理 1. 用户读写数据过程用户写入数据时, 被分配到相应 Region 服务器去执行用户数据首先被写入到 MemStore 和 Hlog 中只有当操作写入 Hlog 之后,commit() 调用才会将其返回给客户端当用户读取数据时,Region 服务器会首先访问 MemStore 缓存, 如果找不到, 再去磁盘上面的 StoreFile 中寻找

37 4.5.2 Region 服务器工作原理 2. 缓存的刷新系统会周期性地把 MemStore 缓存里的内容刷写到磁盘的 StoreFile 文件中, 清空缓存, 并在 Hlog 里面写入一个标记每次刷写都生成一个新的 StoreFile 文件, 因此, 每个 Store 包含多个 StoreFile 文件每个 Region 服务器都有一个自己的 HLog 文件, 每次启动都检查该文件, 确认最近一次执行缓存刷新操作之后是否发生新的写入操作 ; 如果发现更新, 则先写入 MemStore, 再刷写到 StoreFile, 最后删除旧的 Hlog 文件, 开始为用户提供服务

38 4.5.2 Region 服务器工作原理 3. StoreFile 的合并每次刷写都生成一个新的 StoreFile, 数量太多, 影响查找速度调用 Store.compact() 把多个合并成一个合并操作比较耗费资源, 只有数量达到一个阈值才启动合并

39 4.5.3 Store 工作原理 Store 是 Region 服务器的核心多个 StoreFile 合并成一个单个 StoreFile 过大时, 又触发分裂操作,1 个父 Region 被分裂成两个子 Region StoreFile1:64M StoreFile2:64M StoreFile3:64M 合并 StoreFile5:256M 分裂 StoreFile5A:128M StoreFile5B:128M StoreFile6:128M StoreFile7:128M StoreFile4:64M 图 4-11 StoreFile 的合并和分裂过程

40 4.5.4 HLog 工作原理分布式环境必须要考虑系统出错 HBase 采用 HLog 保证系统恢复 HBase 系统为每个 Region 服务器配置了一个 HLog 文件, 它是一种预写式日志 (Write Ahead Log) 用户更新数据必须首先写入日志后, 才能写入 MemStore 缓存, 并且, 直到 MemStore 缓存内容对应的日志已经写入磁盘, 该缓存内容才能被刷写到磁盘

41 4.5.4 HLog 工作原理 Zookeeper 会实时监测每个 Region 服务器的状态, 当某个 Region 服务器发生故障时,Zookeeper 会通知 Master Master 首先会处理该故障 Region 服务器上面遗留的 HLog 文件, 这个遗留的 HLog 文件中包含了来自多个 Region 对象的日志记录系统会根据每条日志记录所属的 Region 对象对 HLog 数据进行拆分, 分别放到相应 Region 对象的目录下, 然后, 再将失效的 Region 重新分配到可用的 Region 服务器中, 并把与该 Region 对象相关的 HLog 日志记录也发送给相应的 Region 服务器 Region 服务器领取到分配给自己的 Region 对象以及与之相关的 HLog 日志记录以后, 会重新做一遍日志记录中的各种操作, 把日志记录中的数据写入到 MemStore 缓存中, 然后, 刷新到磁盘的 StoreFile 文件中, 完成数据恢复共用日志优点 : 提高对表的写操作性能 ; 缺点 : 恢复时需要分拆日志

42 4.6 HBase 应用方案 HBase 实际应用中的性能优化方法 HBase 性能监视在 HBase 之上构建 SQL 引擎构建 HBase 二级索引

43 4.6.1 HBase 实际应用中的性能优化方法行键 (Row Key) 行键是按照字典序存储, 因此, 设计行键时, 要充分利用这个排序特点, 将经常一起读取的数据存储到一块, 将最近可能会被访问的数据放在一块举个例子 : 如果最近写入 HBase 表中的数据是最可能被访问的, 可以考虑将时间戳作为行键的一部分, 由于是字典序排序, 所以可以使用 Long.MAX_VALUE - timestamp 作为行键, 这样能保证新写入的数据在读取时可以被快速命中

44 4.6.1 HBase 实际应用中的性能优化方法 InMemory 创建表的时候, 可以通过 HColumnDescriptor.setInMemory(true) 将表放到 Region 服务器的缓存中, 保证在读取的时候被 cache 命中 Max Version 创建表的时候, 可以通过 HColumnDescriptor.setMaxVersions(int maxversions) 设置表中数据的最大版本, 如果只需要保存最新版本的数据, 那么可以设置 setmaxversions(1) Time To Live 创建表的时候, 可以通过 HColumnDescriptor.setTimeToLive(int timetolive) 设置表中数据的存储生命期, 过期数据将自动被删除, 例如如果只需要存储最近两天的数据, 那么可以设置 settimetolive(2 * 24 * 60 * 60)

45 4.6.2 HBase 性能监视 Master-status( 自带 ) Ganglia OpenTSDB Ambari

Master-status HBase Master 默认基于 Web 的 UI 服务端口为 60010,HBase region 服务器默认基于 Web 的 UI 服务端口为 60030.

46 Master-status HBase Master 默认基于 Web 的 UI 服务端口为 60010,HBase region 服务器默认基于 Web 的 UI 服务端口为如果 master 运行在名为 master.foo.com 的主机中, mater 的主页地址就是用户可以通过 Web 浏览器输入这个地址查看该页面可以查看 HBase 集群的当前状态

47 Ganglia Ganglia 是 UC Berkeley 发起的一个开源集群监视项目, 用于监控系统性能

48 OpenTSDB OpenTSDB 可以从大规模的集群 ( 包括集群中的网络设备操作系统应用程序 ) 中获取相应的 metrics 并进行存储索引以及服务, 从而使得这些数据更容易让人理解, 如 web 化, 图形化等

49 Ambari Ambari 的作用就是创建管理监视 Hadoop 的集群

50 4.6.3 在 HBase 之上构建 SQL 引擎 NoSQL 区别于关系型数据库的一点就是 NoSQL 不使用 SQL 作为查询语言, 至于为何在 NoSQL 数据存储 HBase 上提供 SQL 接口, 有如下原因 : 1. 易使用使用诸如 SQL 这样易于理解的语言, 使人们能够更加轻松地使用 HBase 2. 减少编码使用诸如 SQL 这样更高层次的语言来编写, 减少了编写的代码量方案 : 1.Hive 整合 HBase 2.Phoenix

51 4.6.3 在 HBase 之上构建 SQL 引擎 1.Hive 整合 HBase Hive 与 HBase 的整合功能从 Hive0.6.0 版本已经开始出现, 利用两者对外的 API 接口互相通信, 通信主要依靠 hive_hbase-handler.jar 工具包 (Hive Storage Handlers) 由于 HBase 有一次比较大的版本变动, 所以并不是每个版本的 Hive 都能和现有的 HBase 版本进行整合, 所以在使用过程中特别注意的就是两者版本的一致性 2.Phoenix Phoenix 由 Salesforce.com 开源, 是构建在 Apache HBase 之上的一个 SQL 中间层, 可以让开发者在 HBase 上执行 SQL 查询

52 4.6.4 构建 HBase 二级索引 HBase 只有一个针对行健的索引访问 HBase 表中的行, 只有三种方式 : 通过单个行健访问通过一个行健的区间来访问全表扫描使用其他产品为 HBase 行健提供索引功能 : Hindex 二级索引 HBase+Redis HBase+solr 原理 : 采用 HBase0.92 版本之后引入的 Coprocessor 特性

4.6.4 构建 HBase 二级索引 Coprocessor 构建二级索引 Coprocessor 提供了两个实现 :endpoint 和 observer,endpoint 相当于关系型数据库的存储过程, 而 observer 则相当于触发器 observer 允许我们在记录 put

53 4.6.4 构建 HBase 二级索引 Coprocessor 构建二级索引 Coprocessor 提供了两个实现 :endpoint 和 observer,endpoint 相当于关系型数据库的存储过程, 而 observer 则相当于触发器 observer 允许我们在记录 put 前后做一些处理, 因此, 而我们可以在插入数据时同步写入索引表优点 : 非侵入性 : 引擎构建在 HBase 之上, 既没有对 HBase 进行任何改动, 也不需要上层应用做任何妥协缺点 : 每插入一条数据需要向索引表插入数据, 即耗时是双倍的, 对 HBase 的集群的压力也是双倍的

54 Hindex 二级索引 Hindex 是华为公司开发的纯 Java 编写的 HBase 二级索引, 兼容 Apache HBase 当前的特性如下 : 多个表索引多个列索引基于部分列值的索引

55 HBase+Redis Redis+HBase 方案 Coprocessor 构建二级索引 Redis 做客户端缓存将索引实时更新到 Redis 等 KV 系统中, 定时从 KV 更新索引到 HBase 的索引表中

56 Solr+HBase Solr 是一个高性能, 采用 Java5 开发, 基于 Lucene 的全文搜索服务器同时对其进行了扩展, 提供了比 Lucene 更为丰富的查询语言, 同时实现了可配置可扩展并对查询性能进行了优化, 并且提供了一个完善的功能管理界面, 是一款非常优秀的全文搜索引擎 Solr+HBase Solr 保存索引根据 RowKey 查询

57 4.7 HBase 编程实践 HBase 的安装与配置 HBase 常用 Shell 命令 HBase 常用 Java API 及应用实例 HBase 上机实践, 请参考厦门大学数据库实验室建设的中国高校大数据课程公共服务平台的技术文章 : 大数据原理与应用第四章分布式数据库 HBase 学习指南

58 4.7.1 HBase 的安装与配置 1. HBase 安装下载安装包 hbase bin.tar.gz 解压安装包 hbase bin.tar.gz 至路径 /usr/local 配置系统环境, 将 hbase 下的 bin 目录添加到系统的 path 中备注 : 第 2 章安装完 Hadoop 时, 只包含 HDFS 和 MapReduce 等核心组件, 并不包含 HBase, 因此,HBase 需要单独安装 2. HBase 配置 HBase 有三种运行模式, 单机模式伪分布式模式分布式模式以下先决条件很重要, 比如没有配置 JAVA_HOME 环境变量, 就会报错 JDK Hadoop( 单机模式不需要, 伪分布式模式和分布式模式需要 ) SSH 启动关闭 Hadoop 和 HBase 的顺序一定是 : 启动 Hadoop > 启动 HBase > 关闭 HBase > 关闭 Hadoop HBASE_MANAGES_ZK=true, 则由 HBase 自己管理 Zookeeper 否则, 启动独立的 Zookeeper 建议 : 单机版 HBase, 使用自带 Zookeeper; 集群安装 HBase 则采用单独 Zookeeper 集群

59 4.7.2 HBase 常用 Shell 命令 create: 创建表 list: 列出 HBase 中所有的表信息例子 1: 创建一个表, 该表名称为 temptable, 包含 3 个列族 f1,f2 和 f3 备注 : 后面的例子都在此基础上继续操作

60 4.7.2 HBase 常用 Shell 命令 put: 向表行列指定的单元格添加数据一次只能为一个表的一行数据的一个列添加一个数据 scan: 浏览表的相关信息例子 2: 继续向表 temptable 中的第 r1 行第 f1:c1 列, 添加数据值为 hello,dblab 在添加数据时,HBase 会自动为添加的数据添加一个时间戳, 当然, 也可以在添加数据时人工指定时间戳的值

61 4.7.2 HBase 常用 Shell 命令 get: 通过表名行列时间戳时间范围和版本号来获得相应单元格的值例子 3: (1) 从 temptable 中, 获取第 r1 行第 f1:c1 列的值 (2) 从 temptable 中, 获取第 r1 行第 f1:c3 列的值备注 :f1 是列族,c1 和 c3 都是列从运行结果可以看出 : temptable 中第 r1 行第 f1:c3 列的值当前不存在

62 4.7.2 HBase 常用 Shell 命令 enable/disable: 使表有效或无效 drop: 删除表例子 4: 使表 temptable 无效删除该表

63 4.7.3 HBase 常用 Java API 及应用实例 HBase 是 Java 编写的, 它的原生的 API 也是 Java 开发的, 不过, 可以使用 Java 或其他语言调用 API 来访问 HBase 首先要在工程中导入一下 jar 包 : 这里只需要导入 hbase 安装目录中的 lib 文件中的所有 jar 包, 此处不用再导入第三章 Hadoop 中的 jar 包, 避免由于 Hadoop 和 HBase 的版本冲突引起错误备注 : 使用的 HBase 版本号为 1.1.2

64 4.7.3 HBase 常用 Java API 及应用实例任务要求 : 创建表插入数据浏览数据创建一个学生信息表, 用来存储学生姓名 ( 姓名作为行键, 并且假设姓名不会重复 ) 以及考试成绩, 其中, 考试成绩是一个列族, 分别存储了各个科目的考试成绩逻辑视图如表 4-18 所示 name 表 4-18 学生信息表的表结构 score English Math Computer 表 4-19 需要添加的数据 name score English Math Computer zhangsan lisi

65 4.7.3 HBase 常用 Java API 及应用实例 import org.apache.hadoop.conf.configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.util.bytes; import java.io.ioexception; public class Chapter4{ public static Configuration configuration; public static Connection connection; public static Admin admin; public static void main(string[] args)throws IOException{ createtable( student,new String[]{ score }); insertdata( student, zhangsan, score, English, 69 ); insertdata( student, zhangsan, score, Math, 86 ); insertdata( student, zhangsan, score, Computer, 77 ); getdata( student, zhangsan, score, English ); } public static void init(){ }// 建立连接 public static void close(){ }// 关闭连接 public static void createtable(){ }// 创建表 public static void insertdata() { }// 插入数据 public static void getdata{ }// 浏览数据 }

66 4.7.3 HBase 常用 Java API 及应用实例建立连接, 关闭连接 // 建立连接 public static void init(){ configuration = HBaseConfiguration.create(); configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase"); try{ connection = ConnectionFactory.createConnection(configuration); admin = connection.getadmin(); }catch (IOException e){ e.printstacktrace(); } } 备注 : hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> </configuration> ( 单机版 )file:///directory/hbase

67 4.7.3 HBase 常用 Java API 及应用实例建立连接, 关闭连接 // 关闭连接 public static void close(){ try{ if(admin!= null){ admin.close(); } if(null!= connection){ connection.close(); } }catch (IOException e){ e.printstacktrace(); } }

68 4.7.3 HBase 常用 Java API 及应用实例 1 创建表创建一个学生信息表, 用来存储学生姓名 ( 姓名作为行键, 并且假设姓名不会重复 ) 以及考试成绩, 其中, 考试成绩是一个列族, 分别存储了各个科目的考试成绩逻辑视图如表 4-18 所示 name 表 4-18 学生信息表的表结构 score English Math Computer

69 4.7.3 HBase 常用 Java API 及应用实例在运行程序时, 需要指定参数 mytablename 为 student,colfamily 为 { score } 程序的运行效果与如下 HBase Shell 命令等效 : create student, score /* 创建表 */ /** mytablename 表名 colfamily 列族数组 Exception */ public static void createtable(string mytablename,string[] colfamily) throws IOException { } TableName tablename = TableName.valueOf(myTableName); if(admin.tableexists(tablename)){ System.out.println("table exists!"); }else { HTableDescriptor htabledescriptor = new HTableDescriptor(tableName); for(string str: colfamily){ HColumnDescriptor hcolumndescriptor = new HColumnDescriptor(str); htabledescriptor.addfamily(hcolumndescriptor); } admin.createtable(htabledescriptor); }

70 4.7.3 HBase 常用 Java API 及应用实例 2 添加数据现在向表 student 中添加如表 4-19 所示的数据表 4-19 需要添加的数据表 4-19 需要添加的数据 name score English Math Computer zhangsan lisi

71 4.7.3 HBase 常用 Java API 及应用实例 /* 添加数据 */ /** tablename 表名 rowkey 行键 colfamily 列族 col 列限定符 val 数据 Exception */ public static void insertdata(string tablename, String rowkey, String colfamily, String col, String val) throws IOException { Table table = connection.gettable(tablename.valueof(tablename)); Put put = new Put(Bytes.toBytes(rowkey)); put.addcolumn(bytes.tobytes(colfamily), Bytes.toBytes(col), Bytes.toBytes(val)); table.put(put); table.close(); }

72 4.7.3 HBase 常用 Java API 及应用实例添加数据时, 需要分别设置参数 mytablename rowkey colfamily col val 的值, 然后运行上述代码例如添加表 4-19 第一行数据时, 为 insertdata() 方法指定相应参数, 并运行如下 3 行代码 : insertdata("student","zhangsan","score","english","69"); insertdata("student","zhangsan","score","math","86"); insertdata("student","zhangsan","score","computer","77"); 上述代码与如下 HBase Shell 命令等效 : put 'student', zhangsan, score:english, 69 ; put 'student', zhangsan, score:math, 86 ; put 'student', zhangsan, score:computer, 77 ;

73 3 浏览数据 HBase 常用 Java API 及应用实例 /* 获取某单元格数据 */ /** tablename 表名 rowkey 行键 colfamily 列族 col 列限定符 IOException */ public static void getdata(string tablename,string rowkey,string colfamily,string col)throws IOException{ Table table = connection.gettable(tablename.valueof(tablename)); Get get = new Get(Bytes.toBytes(rowkey)); get.addcolumn(bytes.tobytes(colfamily),bytes.tobytes(col)); // 获取的 result 数据是结果集, 还需要格式化输出想要的数据才行 Result result = table.get(get); System.out.println(new String(result.getValue(colFamily.getBytes(),col==null?null:col.getBytes()))); table.close(); }

74 4.7.3 HBase 常用 Java API 及应用实例比如, 现在要获取姓名为 zhangsan 在 English 上的数据, 就可以在运行上述代码时, 指定参数 tablename 为 student rowkey 为 zhangsan colfamily 为 score col 为 English getdata("student", "zhangsan", "score", "English"); 上述代码与如下 HBase Shell 命令等效 : get student','zhangsan',{column=>'score:english'}

75 本章小结本章详细介绍了 HBase 数据库的知识 HBase 数据库是 BigTable 的开源实现, 和 BigTable 一样, 支持大规模海量数据, 分布式并发数据处理效率极高, 易于扩展且支持动态伸缩, 适用于廉价设备 HBase 可以支持 Native Java API HBase Shell Thrift Gateway REST Gateway Pig Hive 等多种访问接口, 可以根据具体应用场合选择相应访问方式 HBase 实际上就是一个稀疏多维持久化存储的映射表, 它采用行键列键和时间戳进行索引, 每个值都是未经解释的字符串本章介绍了 HBase 数据在概念视图和物理视图中的差别 HBase 采用分区存储, 一个大的表会被分拆许多个 Region, 这些 Region 会被分发到不同的服务器上实现分布式存储 HBase 的系统架构包括客户端 Zookeeper 服务器 Master 主服务器 Region 服务器客户端包含访问 HBase 的接口 ;Zookeeper 服务器负责提供稳定可靠的协同服务 ;Master 主服务器主要负责表和 Region 的管理工作 ; Region 服务器负责维护分配给自己的 Region, 并响应用户的读写请求本章最后详细介绍了 HBase 运行机制和编程实践的知识

76 3.1.1 计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上, 成千上万的计算机节点构成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是, 目前的分布式文件系统所采用的计算机集群, 都是由普通硬件构成的, 这就大大降低了硬件上的开销交换机网络互联节点 x Node 节点 y Node Node x Node y Node x Node y 机架 1 机架 2 机架 n 图 3-1 计算机集群的基本架构

附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.

77 附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理晋江市发展和改革局副局长中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员, 荣获 2016 中国大数据创新百人称号中国高校首个数字教师提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度厦门大学奖教金获得者主要研究方向为数据库数据仓库数据挖掘大数据云计算和物联网, 并以第一作者身份在软件学报计算机学报和计算机研究与发展等国家重点期刊以及国际学术会议上发表多篇学术论文作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 同时, 作为课题负责人完成了国家发改委城市信息化重大课题国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题中国高校首个数字教师提出者和建设者,2009 年至今, 数字教师大平台累计向网络免费发布超过 100 万字高价值的研究和教学资料, 累计网络访问量超过 100 万次打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材大数据技术原理与应用, 并成为京东当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位一站式服务, 年访问量超过 50 万次具有丰富的政府和企业信息化培训经验, 厦门大学管理学院 EDP 中心浙江大学管理学院 EDP 中心厦门大学继续教育学院泉州市科技培训中心特邀培训讲师, 曾给中国移动通信集团公司福州马尾区政府福建龙岩卷烟厂福建省物联网科学研究院石狮市物流协会厦门市物流协会浙江省中小企业家四川泸州企业家江苏沛县企业家等开展信息化培训, 累计培训人数达 3000 人以上

附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著,

分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算

安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材,

78 附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是中国高校第一本系统介绍大数据知识的专业教材扫一扫访问教材官网全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考学习培训之用欢迎访问大数据技术原理与应用概念存储处理分析与应用教材官方网站 :

79 附录 : 中国高校大数据课程公共服务平台扫一扫访问平台主页扫一扫观看 3 分钟 FLASH 动画宣传片

80 Department of Computer Science, Xiamen University, 2017 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

大数据技术原理与应用

大数据技术原理与应用分布式数据库厦门大学云计算与大数据研究中心 HBase 厦门大学云计算与大数据研究中心林子雨 2015 ziyulin@xmu.edu.cn 年版大数据技术公开课大数据概念技术与应用 2015 年 10 月 13 日山东大学第 4 讲分布式数据库 HBase 林子雨博士 / 助理教授厦门大学计算机科学系厦门大学云计算与大数据研究中心 E-mail: ziyulin@xmu.edu.cn 山东大学公开课主页