提纲 2 / 1

Size: px

Start display at page:

Download "提纲 2 / 1"

辰饶
5 years ago
Views:

1 小米 HBase 实践刘绍辉小米云存储组 China Hadoop Summit 2013

2 提纲 2 / 1

3 提纲 3 / 1

4 HBase 是什么? Google Bigtable 系统的开源实现分布式的, 可扩展的, 一致性的, 半结构化数据存储系统稀疏的, 一致性的, 分布式的, 多维有序的映射表 4 / 1

5 数据模型表行列簇列版本 ( 时间戳 ) 多维映射表 : ( 行 key, 列簇, 列, 版本 ) 值 5 / 1

6 逻辑架构参考 : 6 / 1

7 系统架构 HMaster 负责控制流 HRegionServer 负责数据流 7 / 1

8 提纲 8 / 1

9 支持的业务米聊消息全存储 MiCloud: 短信, 通话记录同步小米 Push 服务其他一些离线分析业务 9 / 1

10 典型的 HBase 集群配置节点类型数量 CPU Memory Disk 控制节点核 64G 6 * 600G SAS, RAID10 数据节点 5 - N 16 核 64G 12 * 2T SATA/SAS 10 / 1

11 典型的 HBase 集群控制节点 :ZooKeeper, NameNode/ZKFC/JournalNode, HMaster 数据节点 : DataNode, RegionServer 11 / 1

12 Minos: 自动化部署命令行工具初始化 : deploy.py install/bootstrap hbase bjsrv-test 启 / 停 : deploy.py start/stop hbase bjsrv-test 展示 : deploy.py show hbase bjsrv-test 升级 : deploy.py restart/rolling update hbase bjsrv-test 删除 : deploy.py cleanup hbase bjsrv-test 12 / 1

13 Minos: 监控和报警 Dashboard 13 / 1

14 Minos: 监控和报警 Dashboard 14 / 1

15 Minos: 监控和报警性能指标 : 分类展示基于 OpenTSDB: 15 / 1

16 Minos 开源 16 / 1

17 最佳实践 HBase Client 封装线程安全自动添加性能指标跨表跨集群对用户透明动态更新客户端配置 17 / 1

18 最佳实践跨机房 : 双主复制中途添加一个复制 add peer + CopyTable 复制数据一致性验证 VerifyReplication 18 / 1

19 最佳实践主备集群自动切换 19 / 1

20 最佳实践平滑升级基于 move region 脚本, 减少不可用时间 Full GC 每天低峰期触发 Full GC: jmap -histo:live $pid Compaction hbase.offpeak.start/end.hour Shortcircuit Read dfs.client.read.shortcircuit 安全 Kerberos + HBase ACL 20 / 1

21 提纲 21 / 1

22 反向 scan 正向 scan 的基本过程 eg: scan [r1, r3] 1. 顺序读取当前行数据后, 自然读到下一行开头 2. 选取最小行作当前行的下一个行, 重复上述过程 22 / 1

23 反向 scan 正向 scan 的基本过程 eg: scan [r1, r3] 1. 顺序读取当前行数据后, 自然读到下一行开头 2. 选取最小行作当前行的下一个行, 重复上述过程 22 / 1

24 反向 scan 正向 scan 的基本过程 eg: scan [r1, r3] 1. 顺序读取当前行数据后, 自然读到下一行开头 2. 选取最小行作当前行的下一个行, 重复上述过程 22 / 1

25 反向 scan 正向 scan 的基本过程 eg: scan [r1, r3] 1. 顺序读取当前行数据后, 自然读到下一行开头 2. 选取最小行作当前行的下一个行, 重复上述过程 22 / 1

26 反向 scan 基本过程 : eg: 反向 scan [r2, r0] 1. 顺序读取完当前行数据后, 2. 构造当前行的最小 kv, 对每个 HFile, SeekBefore 获取这个最小 kv 的上一个 kv 3. 选取所有 kv 中最大行作为当前行的上一个行, 构造并 seek 到上一个行的最小 kv 位置 23 / 1

27 反向 scan 基本过程 : eg: 反向 scan [r2, r0] 1. 顺序读取完当前行数据后, 2. 构造当前行的最小 kv, 对每个 HFile, SeekBefore 获取这个最小 kv 的上一个 kv 3. 选取所有 kv 中最大行作为当前行的上一个行, 构造并 seek 到上一个行的最小 kv 位置 23 / 1

28 反向 scan 基本过程 : eg: 反向 scan [r2, r0] 1. 顺序读取完当前行数据后, 2. 构造当前行的最小 kv, 对每个 HFile, SeekBefore 获取这个最小 kv 的上一个 kv 3. 选取所有 kv 中最大行作为当前行的上一个行, 构造并 seek 到上一个行的最小 kv 位置 23 / 1

29 反向 scan 基本过程 : eg: 反向 scan [r2, r0] 1. 顺序读取完当前行数据后, 2. 构造当前行的最小 kv, 对每个 HFile, SeekBefore 获取这个最小 kv 的上一个 kv 3. 选取所有 kv 中最大行作为当前行的上一个行, 构造并 seek 到上一个行的最小 kv 位置 23 / 1

30 对比相同点 : 读取每一行内数据过程, 正 / 反向 scan 是一致的区别 : 如何当前行的下一行正向 scan 自然的滑到下一行的开头反向 scan 需要多一次 seekbefore 和一次 seek 操作, 才能定位到上一行开头性能损失大约在 30% 左右 24 / 1

31 新写模型现在的写线程模型问题 : handler 线程对 sync 操作前的锁竞争严重 25 / 1

32 新写模型参见 :JIRA HBASE-8755 单独的 Write/Sync/Notify 线程, 消除锁竞争 26 / 1

33 新写模型性能对比 27 / 1

34 表 / 列族级别复制参见 : jira HBASE-8751 add peer 时指定表名和列族名 eg: add peer 1, peer addr, tablea:cf1 28 / 1

35 局部二级索引 1. HBase 只支持行 Key 上的的索引 2. 其他的索引需要用户自己建 3. 怎么保证数据和索引之间的一致性? 29 / 1

36 局部二级索引场景 : 用户为中心的数据, 只需要局部二级索引. 类型行列族列版本值数据行 UserId-xxx data c... value 索引行 UserId-value c-index UserId-xxx 索引建立 : 客户端建索引, 将数据行和索引行作为一个批量写, 写入 HBase 查询 : 先查询索引行获取数据行的 Row Key, 在根据 Row Key 查询实际数据 30 / 1

37 局部二级索引怎么保证数据和索引一致性? Region 分割策略前缀分割策略 (KeyDelimiterPrefixRegionSplitPolicy) 保证同一个用户数据不会被分割在不同的 region 上 Region 内批量写的原子性修改 multi 操作, 对特定的表的 multi 操作, 取到所有 Row 的行锁后才能继续, 保证所有操作有相同的 mvcc, 并且写在 hlog 里面在同一个记录里面 JIRA 状态 : 即将提交 31 / 1

38 名字服务 HBase 集群的标识 : zkquorum:zkclientport:hbaseznodeparent 例如 : bjsrv-test 集群 bjsrv.hadoop.srv:2181:/hbase/bjsrv-test 32 / 1

39 名字服务扩展集群标识 : hbase://$zkname-$hbasename:$zkport 映射规则例如 : hbase://bjsrv-test:2181/testtable bjsrv bjsrv.hadoop.srv , 默认是 2181 bjsrv-test /hbase/bjsrv-test 使用 HTable table = new HTable(conf, hbase://bjsrv-test/testtable ); 优势简化客户端配置, 集群配置对业务透明 33 / 1

40 名字服务其他支持 HBase Shell eg: bin/hbase-cluster hbase://bjsrv-test shell Replication eg: add peer 1, hbase://bjsrv-test, TestTable:CF Mapreduce eg:./hbase CopyTable peer.adr=hbase://bjsrv-test TestTable JIRA 状态 : 即将提交 34 / 1

41 提纲 35 / 1

42 开发计划同步复制跨行跨表的原子性 ( 参考 :Google Percolator) 全局二级索引 Compaction 优化. 参见 : JIRA HBASE-9528 Failover 相关的优化. 参见 :JIRA HBASE-9873 多租户共享集群与共有云 HMaster 重构. 参见 :JIRA HBASE / 1

43 与社区共同发展 HBase 修改反馈回社区 ( 问题抽象 / 可配置 ) 紧跟社区最新进展积极参与社区方案设计和讨论 37 / 1

44 谢谢! 问题? 邮箱 : liushaohui@xiaomi.com 微博 : lshmouse

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生态技术在阿里全网商品搜索实战阿里巴巴 - 王峰自我介绍真名 : 王峰淘宝花名 : 莫问微博 : 淘莫问 2006 年硕士毕业后加入阿里巴巴集团淘及搜索事业部 ( 高级技术与家 ) 目前负责搜索离线系统团队技术方向 : 分布式计算