HBase_train_Stark

Size: px

Start display at page:

Download "HBase_train_Stark"

闰积蒙
5 years ago
Views:

1 大数据快速入门培训 08/13/2016

2 HBase 大纲 HBase 介绍及特点 HBase 系统架构 HBase 集群搭建 HBase 存储结构 HBase 关键流程 HBase 使用及开发

3 HBase 起源 Google 三大论文中的 BigTable 2007 年 Powerset 上最早应用 2008 年成为 Hadoop 的一个子项目, 放于 contrib 目录下 Top-level-project

4 HBase 简介 Nosql 数据库, 面向半结构化数据的存储和处理, 低写入 / 查询延迟的系统高可靠性高性能的列式存储的, 可伸缩的, 分布式系统基于 row 的强一致性访问存储依赖于 HDFS 表可以上亿行, 百万列

5 RDBMS VS HBase

6 HBase 系统架构

7 HBase 系统架构 Client 包含访问 HBase 的接口,client 维护着一些 cache 来加快对 HBase 的访问, 比如 region 的位置信息

8 HBase 系统架构 Zookeeper 保证任何时候, 集群中只有一个 master 存储所有 Region 的寻址入口实时监控 Region Server 的状态, 将 Region server 的上线和下线信息实时通知给 Master 存储 HBase 的 schema, 包括有哪些 table, 每个 table 有哪些 column family

9 HBase 系统架构 Master 为 Region server 分配 region 负责 region server 的负载均衡发现失效的 region server 并重新分配其上的 region HDFS 上的垃圾文件回收处理 schema 更新请求

10 HBase 系统架构 RegionServer RegionServer 维护 Master 分配给它的 region, 处理对这些 region 的 IO 请求 RegionServer 负责切分在运行过程中变得过大的 region

11 HBase 集群搭建准备程序包, 包括 jdk hadoop hbase, 兼容关系参看官网完成相关配置启动进程并验证集群状态

12 HBase 程序包准备安装 JDK 1.7 以上版本, 配好环境变量下载稳定版本的 hbase bin.tar.gz 或 src.tar.gz(tar xzvf 解压 ) ( 可选 ) 下载的 src, 解压后手动编译下载并安装 mvn tar xzvf hbase-<version>-src.tar.gz;cd hbase-<version> 修改 pom 中 <hadoop-two.version> 中 hadoop 版本为当前 hbase 依赖的 hdfs 版本执行 mvn DskipTests package assembly:single install 在./hbase-assembly/target/ 下有 hbase-<version>-bin.tar.gz

13 Hadoop 程序包准备下载稳定版本的 hadoop src.tar.gz 手动编译 (native) 安装 protobuf (rpc, 序列化 ) 需要安装 libtool,autoconf 工具 :gcc,cmake,ant,git,findbugs 等等 Lzo 和 snappy 压缩包 mvn package Pdist,native DskipTests Dtar Drequire.snappy Dbundle.snappy Dsnappy.lib=/usr/local/lib./hadoop-dist/target/hadoop-<version>.tar.gz

15 HBase 环境配置主节点无秘钥登录, 为了执行总控脚本 start_hbase.sh, stop_hbase.sh 主节点 ~/.ssh/id_rsa.pub >> 到从节点及主节点的 ~/.ssh/authorized_keys 配置集群所有节点 host /etc/hosts ip hostname 系统环境 /etc/security/limits.conf 修改启动用户的 nofile 和 nproc 值可为 65535

16 HBase 参数配置 hbase-env.sh JAVA_HOME, HBASE_LOG_DIR, HBASE_PID_DIR, HBASE_CONF_PATH, HBASE_HOME HBASE_LIBRARY_PATH(native 位置 ) export HBASE_MANAGES_ZK=false 内存配置 HBASE_HEAPSIZE HBASE_MASTER_OPTS HBASE_REGIONSERVER_OPTS

17 HBase 参数样例 #!/usr/bin/env bash export JAVA_HOME=/usr/jdk export HBASE_LOG_DIR=/data/hbase/logs export HBASE_PID_DIR=/data/hbase/pids export HBASE_CONF_PATH=/usr/local/hbase/conf export HBASE_HOME=/usr/local/hbase export HADOOP_HOME=/usr/local/hadoop export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$JAVA_LIBRARY_PATH export HBASE_MANAGES_ZK=false export HBASE_HEAPSIZE=4G export HBASE_REGIONSERVER_OPTS="-Xmx4096m -Xms4096m -Xmn128m - XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70 -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -Xloggc:$HBASE_LOG_DIR/gcregionserver.log

18 HBase 参数配置 hbase-site.xml hbase.cluster.distributed true hbase.rootdir hdfs://namenode:9000/hbase hbase.zookeeper.quorum zookeeper.znode.parent /hbase/hbs-nxwk31gl zookeeper.session.timout hbase.regionserver.codecs snappy,lzo regionservers 配置要启动 regionserver 服务器 ip backup-masters 配置 backup master

19 HDFS 启动配置参照 hadoop, 主要是 fs.defaultfs 配好配置 etc/hadoop/slaves 将 datanode 节点写入 bin/hadoop namenode -format 格式化 HDFS 执行 sbin/start-dfs.sh 启动所有进程 namenode, secondarynamenode,datanode 验证启动成功 bin/hadoop dfsadmin -report 停止 :sbin/stop-dfs.sh

20 HBase 服务先启动 zookeeper 和 hdfs bin/start-hbase.sh bin/stop-hbase.sh bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver 检查集群状态, 可通过主节点端口查看 bin/hbase hbck

21 HBase 存储结构 HBase 表结构 HBase 物理存储

22 HBase 表结构 SortedMap(RowKey, List(SortedMap(Column, List(Value,Timestamp)) ) )

23 HBase 表结构 Row key 用来检索记录的主键, 访问 table 中的行方式 : 通过单个 row key 访问通过 row key 的 range 进行 scan 全表扫描可以是任意字符串 ( 字节数组 ), 存储时, 数据按照 row key 字典序排序存储, 设计 key 时应将经常读取的行存储到一起

24 HBase 表结构列族和列列族是表的 scheme 的一部分 ( 而列不是 ), 必须在使用表之前定义, 列名是以列族为前缀的列可动态扩展, 无需预先定义

25 HBase 表结构 Cell 和 Timestamp Cell: 通过 rowkey 和 column(family+label) 确定的叫做 cell, 每个 cell 保存多个 version,version 通过 timestamp 来做索引 Timestamp:64 位整型, 默认是写入时的系统时间 ( 精确到毫秒 ), 也可以自己生成, 时间倒叙排序回收方式最新的 n 个 version 最近一段时间的 version

26 HBase 表操作 $ cd /usr/local/hbase $ bin/hbase shell hbase(main):001:0> create 'test', 'cf' 0 row(s) in seconds => Hbase::Table - test hbase(main):002:0> list 'test' TABLE test 1 row(s) in seconds => ["test"]

27 HBase 表操作 hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1' 0 row(s) in seconds hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2' 0 row(s) in seconds hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3' 0 row(s) in seconds hbase(main):006:0> scan 'test' ROW COLUMN+CELL row1 column=cf:a, timestamp= , value=value1 row2 column=cf:b, timestamp= , value=value2 row3 column=cf:c, timestamp= , value=value3 3 row(s) in seconds

28 HBase 表操作 hbase(main):007:0> get 'test', 'row1' COLUMN CELL cf:a timestamp= , value=value1 1 row(s) in seconds hbase(main):008:0> disable 'test' 0 row(s) in seconds hbase(main):009:0> drop 'test' 0 row(s) in seconds

29 HBase Table 设计原则 region 大小介于 10G-50G cell 大小不要超过 10M, 否则可以考虑数据存储在 HDFS 上, 而在 HBase 上存储指针一个 table 的 column family 不宜过多, 在 1 到 3 个之间一个 table 的 region 数目在个比较好特例 : 有大量冷数据 column family 名字越短越好

30 HBase 物理存储 Table 所有行按照 row key 字典序排列, 在行的方向上分割为多个 Region

31 HBase 物理存储一个表最开始只有一个 region, 随着数据增多,region 不断增大, 达到一定阀值时, 会 split 为 2 个 region

32 HBase 物理存储 Region 是 HBase 中负载均衡的最小单元

33 HBase 物理存储

34 HBase 物理存储 Table Region Store MemStore StoreFile Block /hbase /<Table> /<Region> <ColumnFamily> <StoreFile>

35 HBase 物理存储 Region 并不是存储的最小单元事实上,Region 由一个或者多个 Store 组成, 每个 store 保存一个 columns family 每个 Store 又由一个 memstore 和 0 至多个 StoreFile 组成 StoreFile 以 Hfile 格式保存在 HDFS 上 Hlog(Write ahead log) 用做灾难恢复, 每个 regionserver 维护一个 BlockCache 读缓存, 默认是 LRU 策略, 一个 regionserver 一个

36 HBase 关键流程 Region 定位

37 HBase 关键流程 Region 定位目的是找到 rowkey( 或者 rowkey range) 所在的 region 三层 : zookeeper 中保存 -root- region 所在的 regionserver -root- region 中保存.Meta. Region 所在的 regionserver.meta. Region 保存了 HBase 中所有 region 的位置信息

38 HBase 关键流程写操作

39 HBase 关键流程写操作定位 regionserver, 先写 WAL, 根据 tablename 和 rowkey 定位 region, 根据列族定位 Store, 写 memstore, 随写随排序, 达到阀值, 创建一个新的 memstore, 同时将老得 memstore 放到队列,flush 到硬盘形成 StoreFile StoreFile 是只读的, 多个小的 storefile 进行 minor compact,storefile 数量达到阀值会进行 major compact 形成一个大的 StoreFile, 当 StoreFile 过大, 又会进行 region 的 split

40 HBase 关键流程 Memstore Flush 最小 flush 单元是 region, 而不是 memstore, 触发条件 : 一个 MemStore 达到 hbase.hregion.memstore.flush.size 全部 MemStore 内存大小达到 hbase.regionserver.global.memstore.size, flush 按照由达到小的顺序进行, 直到小于 hbase.regionserver.global.memstore.size.lower.limit WAL 达到 hbase.regionserver.max.logs, 按时间由老到新顺序 flush memstore

41 HBase 关键流程读操作

42 HBase 关键流程读操作定位 Regionserver, 根据 tablename 和 rowkey 定位 region, 根据列族定位 Store, 优先 memstore, 再找 blockcache, 最后是全部 storefile(hfile) 如果到了 Hfile( 分为多个块, 默认 64k), 则会整块读到 BlockCache 中 ( 连续的 rowkey) 将结果合并

43 HBase 关键流程删除操作删除 version 数据加墓碑标记确保读取时不读取出来, 直到下次 major compact 时真正删除

44 HBase 操作优化 Put 操作如果追求效率可以关闭 WAL Put 操作关掉 autoflush, 提高插入性能离线 Major Compact 启用压缩 HBase> create 'test2', { NAME => 'cf2', COMPRESSION => 'SNAPPY' } HBase> disable 'test' HBase> alter 'test', {NAME => 'cf', COMPRESSION => 'GZ'} HBase> enable 'test

45 HBase 开发建立连接, 增删改查提供了大量的内置 filter(rowkey,prefix 等 ), 过滤掉的数据不会被传回客户端协处理器 coprocessor 触发器 :preget,preput 服务器端的 avg,count,min,max 等

46 HBase 开发自带的性能测试 PerformanceEvaluation: 随机写顺序写 increment append 随机读顺序读 scan 等 $ bin/hbase pe --nomapred --rows= presplit=10 randomwrite 10 $ bin/hbase pe --nomapred --rows= presplit=10 sequentialwrite 10 YCSB

47 HBase 开发使用 MapReduce 导入数据有三种方案 : MapReduce 使用 HBase 提供的 JAVA API 从 HDFS 导入到 HBase $ bin/hadoop jar $APP_HOME/hbase-tools jar com.qingcloud.hbase.importbymr /user/inputpath MapReduce 将 HDFS 中数据转化为 HFile 格式, 再 BulkLoad 到 HBase $ bin/hadoop jar test_hbase/hbase_tools jar com.qingcloud.hbase.importbybulkload /user/inputpath /user/outputp ath $ bin/hadoop jar /usr/local/hbase/lib/hbase-server- <VERSION>.jar completebulkload /user/outputpath test_import 使用 HBase ImportTsv 工具将格式化的 HDFS 数据导入到 HBase bin/hbase org.apache.hadoop.hbase.mapreduce.importtsv - Dimporttsv.columns=HBASE_ROW_KEY,content:a - Dimporttsv.bulk.output=/user/outputPath test_import /user/inputpath

48 HBase 开发 $ cd /usr/local/hbase $ bin/hbase shell hbase(main):001:0> create movie_rating', a $ cat ratings.csv awk -F, {print $2} sort uniq wc l $ bin/hadoop fs -put /usr/local/ml-latest/ratings.csv /inputpath $ bin/hadoop jar../hbase/hbase_tools jar com.qingcloud.hbase.importbybulkload /inputpath /outputpath $ bin/hadoop jar /usr/local/hbase/lib/hbase-server jar completebulkload /outputpath movie_rating hbase(main):002:0> get 'movie_rating, 1 hbase(main):003:0> scan 'movie_rating',{ LIMIT => 10} hbase(main):004:0> count 'movie_rating', CACHE => 1000 hbase(main):005:0> scan 'movie_rating',{filter => "(PrefixFilter ('199')" }

49 HBase 使用场景业务场景简单, 不需要关系型数据库中的很多特性对行的一致性有要求, 并发能力以及吞吐量响应延迟有较高需求有数据分析需求, 和 MapReduce 良好的兼容性写入性能好, 性能不随数据增长而下降, 随机访问良好服务能力随服务器增长而线性增长, 读写无单点问题范围扫描需求

50 关注我们 QingCloud-IaaS 青云 QingCloud

51 Thank you.

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生态技术在阿里全网商品搜索实战阿里巴巴 - 王峰自我介绍真名 : 王峰淘宝花名 : 莫问微博 : 淘莫问 2006 年硕士毕业后加入阿里巴巴集团淘及搜索事业部 ( 高级技术与家 ) 目前负责搜索离线系统团队技术方向 : 分布式计算