PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

位意林
5 years ago
Views:

1 从 Pegasus 看分布式系统设计覃左言小米工程师一个分布式 KV 系统的建造过程

3 关于我姓名 : 覃左言经历 : 腾讯 / 百度 / 小米关注 : 基础架构分布式系统爱好 : 开源个人微信号 : 开发过微服务框架写过 RPC 框架 : 参与过分布式框架 : 正在做 KV 存储系统 :

4 大纲背景设计性能总结

5 背景

6 Storage Service in Xiaomi FDS 对象存储服务 SDS 结构化存储服务 EMQ 消息队列服务 HBase Pegasus HDFS ZooKeeper

7 Storage Service Storage In Service Xiaomin Xiaomi 10PB 级上百个业务 >99.95% 4 HBase Committers 数百 TB/day 数万亿行千万级 QPS

8 HBase Is Good, but Not Enough Layered Structure Weak Data Locality Longtime Recovery JVM Garbage Collection 可用性性能

9 What We Want 高可用高性能强一致易使用目标用户对延迟较敏感的在线业务 : 广告支付对可用性要求很高希望提供强一致性的语义

10 What We Did Pegasus 一个高可用高性能强一致的轻量级分布式 KV 存储系统

11 设计

12 Many Choices 数据视图 :KV 系统还是表格系统? 数据分布 :Hash 还是 Range? 系统架构 :Centralized 还是 De-Centralized? 实现语言 :C++ Java 还是 Go? 存储介质 :HDD SSD 还是 Memory? 一致性协议 :Paxos Raft 还是其他? 围绕需求先做容易的选择不要太纠结留有切换的余地

13 Basic Choices 实现语言 :C++ Java Java 有 GC 问题 C++ 性能高, 风险小存储介质 :SSD HDD 性能成本 Memory 性能开发难度风险单机引擎 :RocksDB BDB LevelDB LSMT(Log Structured Merge Tree) 保证写性能针对 SSD 和多核优化

14 Model Choices 数据视图 :KV 系统 Tabular 系统关注点在架构可行性 KV 系统更易实现将来可改造为 Tabular 系统数据分布 : 固定 Hash 分片一致性 Hash Range 分片实现简单数据倾斜 : 合理设计 Hash 键和 Hash 函数可伸缩性 : 预设 Partition Count 远大于 Server Count 热点问题 :Hash 分片和 Range 分片都不易解决

15 数据模型 Key 组合主键 :HashKey + SortKey 用户数据 : HashKey hash SortKey Value HashKey 用于 Hash 分片 Partition ID 同一个分片 (Partition) 中的数据按照 [HashKey + SortKey] 排序 Partition #0 Partition #1 Partition #2 利用 Table 进行空间隔离 route 随着业务需求增加功能简单灵活 Replica Server Replica Server Replica Server

16 HashKey SortKey Value UserID_1 AttrName_1 Value1 get/set/del AttrName_2 AttrName_3 Value2 Value3 multi_get/ multi_set/ scan scan_all UserID_2 AttrName_1 AttrName_2 AttrName_3 Value1 Value2 Value3

17 数据接口 get(hashkey, SortKey) Value set(hashkey, SortKey, Value, TTL) Bool del(hashkey, SortKey) Bool multi_get(hashkey, SortKey[]) Value[] multi_set(hashkey, SortKey[], Value[]) Bool scan(hashkey, SortKeyBegin, SortKeyEnd) Iterator scan_all() Iterator 读单条数据写单条数据删单条数据读相同 HashKey 的多条数据写相同 HashKey 的多条数据扫描相同 HashKey 的数据扫描全部数据 Redis 适配 SET SETEX GET DEL INCR INCRBY DECR DECRBY TTL 易使用

18 Consensus Algorithm Choices Paxos (1990) Raft (2013) PacificA (2008) Replicated State Machine Architecture

19 Configuration Replica group Secondary Client query/update response Primary replica replicate replicate replica Secondary replica Primary/Backup Paradigm of PacificA

20 Secondary DB Client request response Primary DB Log apply prepare ack ack prepare Log Secondary DB 强一致 Log Two-Phrase Commit of PacificA

21 Architecture Choices Centralized Vs. Decentralized Layered Vs. Integrated

22 Pegasus Architecture

23 ReplicaServer Design Choices ReplicaServer ReplicaManager ReplicaServer ReplicaManager Replica Replica Replica VS Replica Replica Replica RocksDB RocksDB RocksDB RocksDB 避免不同 Table/Partition 的数据相互影响更容易实现 Load Balance 和 Drop Table 方便将数据分散到多个 SSD 盘, 提高并发能力

24 Make commit log shared by all replicas - 减少 write compete - 适合 batch write RocksDB: Log-Based Storage System

25 RPC ReplicaServer ReplicaManager Replica Replica Replica Commit Log RocksDB RocksDB RocksDB ReplicaServer 管理多个 Replica 每个 Replica 独享 RocksDB 所有 Replica 共享 Commit Log Architecture of ReplicaServer

26 Considering Catch-Up... How to catch up: Learn checkpoint Learn commit log Commit Log is Shared Split ReplicaServer Write Replica RocksDB memtable sstable Shared Log + Private Log Commit Shared Log Private Log Checkpoint 用于 Recovery 实时追加用于 Learning 批量缓存 & 异步写 Learner

27 RPC ReplicaServer ReplicaManager Replica Replica Replica Shared Log Private Log Private Log Private Log RocksDB RocksDB RocksDB Shared Log for Recovery Private Log for Learning Improved Architecture of ReplicaServer

28 RocksDB as Storage Engine 只使用 Default Column Family 禁用 WAL(Write Ahead Log) 并发控制 : 写操作在单线程中串行执行, 读操作允许多线程并发执行数据扩展 : 写操作会传入在 Log 中的序号 (Decree) 优化快照 : 同步异步, 避免同步过程阻塞写操作 Write RocksDB memtable Read Commit Log sstable

29 Failover MetaServer 和所有的 ReplicaServer 维持心跳 Meta Server ZooKeeper Failure Detection 通过心跳来实现 heartbeat heartbeat Failover 有三种类型 : Replica Server heartbeat Replica Server Primary Failover log + db log + db Secondary Failover MetaServer Failover Replica Server log + db

30 Primary Failover 1. 正常读写 2. Primary 挂了 3. MetaServer 选择一个 Secondary 成为新的 Primary 4. 补充 Secondary Meta Server ZooKeeper Client Primary Secondary log + db log + db 高可用 Secondary Primary log + db Secondary log + db

31 Secondary Failover 1. 正常读写 2. 某个 Secondary 挂了 3. Primary 在一主一备状态下继续提供服务 4. 补充 Secondary Meta Server ZooKeeper Client Primary Secondary log + db log + db 高可用 Secondary log + db Secondary log + db

32 MetaServer Failover 1. 主 MetaServer 和所有的 ReplicaServer 维持心跳 2. 主 MetaServer 挂了 3. 某个备 MetaServer 通过 ZooKeeper 抢主成为新的主 MetaServer 4. 从 ZooKeeper 恢复状态 5. 重新和所有 ReplicaServer 建立心跳 Meta Server heartbeat Meta Server heartbeat Meta Server heartbeat recover ZooKeeper 高可用 Replica Server log + db Replica Server log + db Replica Server log + db

Engineering Built on rdsn (Robust Distributed System Nucleus) framework https://github.

33 Engineering Built on rdsn (Robust Distributed System Nucleus) framework Microkernel Architecture Most Things Are Pluggable Lock RPC AIO Timer Logging Replication Friendly for Testing, Debugging and Monitoring

34 How to Test Unit Test 设置属性 Integration Test Simulation Test Simulate cluster in single process Processing can be replayed 等待状态发起动作注入错误等待状态 Scenario Test Declarative language Construct different scenarios (executing paths / corner cases)

35 性能

36 Pegasus 写性能单机 QPS 可达 1.5w+ 单机 QPS<1w 时, 平均延迟 <5ms 单机 QPS<1w 时,P99 延迟 <20ms 注 :X 轴 T n 为单 Client 线程数,Y 轴 C n 为 Client 进程数,Z 轴延迟单位为微妙, 集群使用 5 个数据节点

37 Pegasus 读性能单机 QPS 可达 10w+ 单机 QPS<5w 时, 平均延迟 <1ms 单机 QPS<5w 时,P99 延迟 <5ms 注 :X 轴 T n 为单 Client 线程数,Y 轴 C n 为 Client 进程数,Z 轴延迟单位为微妙, 集群使用 5 个数据节点

38 对比 HBase 读性能优势明显写性能略差注 : 蓝色曲线为 Pegasus, 红色曲线为 HBase, 延迟单位为微妙, 集群使用 10 个数据节点

39 总结

40 Why How What Many choices Fit is the best Pegasus 是对 HBase 的有力补充更优异的性能 :C++ No GC Data Locality 更高的可用性 :No GC Faster Failover 更轻量的部署 :No HDFS No ZooKeeper (in the future) 更简单的接口 :Key-Value

41 Future Work PacificA Raft Key-Value Tabular Remove ZooKeeper Dependency Performance Tuning Improve Load Balance Cross Row Transaction Open Source soon

42 欢迎交流

43 附录

44 五个保证 : Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety 两个多数 : 多数投票多数复制两个过程 : Leader 选举日志复制三个限制 : 投票限制复制限制提交限制三种角色 : Leader Follower Candidate Raft Algorithm

Raft PacificA Replicated State Machine Strong Leader Two-Phrase Commit Decomposition Logical Time Heartbeat Log-Based Storage System Leader Election

45 Raft PacificA Replicated State Machine Strong Leader Two-Phrase Commit Decomposition Logical Time Heartbeat Log-Based Storage System Leader Election Majority Vote First Come First Served Commit Condition Majority Replication Fully Replication Safety Guarantee Additional Restriction Fully Replication

46 租户房主 Lease-Based Failure Detection

47 RocksDB supports async-checkpoint RocksDB 本身支持 Sync-Checkpoint : RocksDB 记录最后一次 Write 的 lastdecree 在 Sync-Checkpoint 时, 需先 dump memtable, 然后同步等待 dump 完成 Dump 完成后, 将元数据和 sstable 拷贝至 Checkpoint, 然后使用 lastdecree 进行标记在整个过程中需阻塞写操作, 降低可用性 Write RocksDB memtable lastdecree checkpoint Prepare Log sstable sstable

48 RocksDB supports async-checkpoint 改进的 RocksDB 支持 Async-Checkpoint : RocksDB 的 memtable/sstable 都会记录自己当前的 lastdecree 在 Async-Checkpoint 时, 直接忽略 memtable 的数据, 将元数据和 sstable 拷贝至 Checkpoint, 并使用所有 sstable 的最大 lastdecree 作为 Checkpoint 的 decree 标记在整个过程中无需阻塞写操作, 保证可用性 lastdecree Write RocksDB memtable Prepare Log sstable checkpoint

49 Components/Libs/C++11 used in Pegasus boost asio RocksDB libaio thrift protobuf ConcurrentQueue gtest zookeeper readline 右值引用 auto std::thread 变长参数模板 decltype lambda override nullptr std::atomic std::bind memory order

50 参考 PacificA Algorithm Raft Algorithm rdsn Framework Pegasus System (coming soon)

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生态技术在阿里全网商品搜索实战阿里巴巴 - 王峰自我介绍真名 : 王峰淘宝花名 : 莫问微博 : 淘莫问 2006 年硕士毕业后加入阿里巴巴集团淘及搜索事业部 ( 高级技术与家 ) 目前负责搜索离线系统团队技术方向 : 分布式计算