PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

椅祝
4 years ago
Views:

1 SOFAJRaft 蚂蚁金服基于 RAFT 一致性算法的生产级高性能 Java 实现力鲲蚂蚁金服 SOFAJRaft 核心成员 0/ 总页数

2 目录目录 contents Part 1 - Raft 算法 Part 2 SOFAJRaft 介绍 Part 3 SOFAJRaft 优化 1/25

3 Part 1-Raft 算法 Part 1 - Raft 算法 2/25

4 Part 1-Raft 算法 Consensus algorithms 共识算法 : 多个参与者针对某一件事达成完全一致 : 一件事, 一个结论已达成一致的结论, 不可推翻 Raft 特性 : Strong leader Leader election Membership changes 3/25

5 Part 1-Raft 算法复制状态机典型应用场景 : 复制状态机保证被复制日志的内容一致 ; 保证被复制日志的顺序一致 4/25

6 Part 1-Raft 算法 Leader election 5/25

7 Part 1-Raft 算法 Log replication Log replication 日志格式 TermId LogIndex LogValue 6/25

8 Part 1-Raft 算法业内 Raft 实现 braft 介绍 :An industrial-grade C++ implementation of RAFT consensus algorithm based on brpc, widely used inside Baidu to build highly-available distributed systems. GitHub: Language:C++ etcd 介绍 : Distributed reliable key-value store for the most critical data of a distributed system. GitHub: Language:Go TiKV 介绍 : Distributed transactional key-value database, originally created to complement TiDB. GitHub: Language:Rust 7/25

9 Part 1-Raft 算法 Raft 的 Java 实现部分现有 Raft Java 实现 Name License Leader Election + Log Replication? Membership Changes? Log Compaction? copycat Apache2 Yes Yes Yes OpenDaylight Eclipse Yes No Yes Ratis Apache2 Permazen/RaftKVDatabase Apache2 Yes Yes Yes xraft MIT Yes Yes Yes barge Apache2 Yes No No tetrapods/raft Apache2 Yes Yes Raft-JVM No No No Raft4WS Apache2 Yes No No 8/25

10 Part 2-SOFAJRaft 介绍 Part 2 - SOFAJRaft 介绍 9/25

11 Part 2-SOFAJRaft 介绍 SOFAJRaft 概况 SOFAJRaft: 基于 Raft 算法的生产级高性能 Java 实现, 支持 MULTI-RAFT-GROUP 开发时间 : 2018 年 3 月 2019 年 2 月 GitHub: 应用场景 : Leader 选举分布式锁服务高可靠的元信息管理分布式存储系统使用案例 RheaKV SOFA 服务注册中心元信息管理模块 10/25

12 Part 2-SOFAJRaft 介绍 SOFAJRaft 设计 Log 存储 Log Storage Log Manager 状态机 StateMachine 用户核心逻辑的实现 Raft Metadata 存储元信息存储 FSMCaller 封装对 StateMachine 的调用 Snapshot 存储 Snapshot Storage Snapshot Executor 复制 Replicator: 用于 Leader 向 Followers 复制 Log ReplicatorGroup 11/25

13 Part 2-SOFAJRaft 介绍三副本 SOFAJRaft 集群部署 12/25

14 Part 2-SOFAJRaft 介绍 Multi-Raft-Group 13/25

15 Part 2-SOFAJRaft 介绍 SOFAJRaft 支持特性 14/25

16 Part 2-SOFAJRaft 介绍 Jepsen Jepsen: 分布式验证和故障注入测试框架, 模拟验证多种情况 : 随机分区, 一大一小两个网络分区随机增加和移除节点随机停止和启动节点随机 kill -9 和启动节点随机划分为两组, 互通一个中间节点, 模拟分区情况随机划分为不同的 majority 分组 15/25

17 Part 2-SOFAJRaft 介绍网络分区容忍性 Symmetric network partition tolerance: 对称网络分区容忍性 pre-vote(currentterm + 1, lastlogindex, lastlogterm) Asymmetric network partition tolerance: 非对称网络分区容忍性 Follower 维护一个时间戳记录收到 leader 上数据更新的时间 16/25

18 Part 3-SOFAJRaft 优化 Part 3 - SOFAJRaft 优化 17/25

19 Part 3-SOFAJRaft 优化 SOFAJRaft 优化 Batch Replication pipeline 线性一致性读 18/25

20 Part 3-SOFAJRaft 优化 Batch Batch: 批量提交 task 批量网络发送本地 IO batch 写入状态机批量应用 Disruptor: 并发 ring buffer GitHub: Exchange/disruptor 19/25

21 Part 3-SOFAJRaft 优化 Replication pipeline: 流水线复制 20/25

22 Part 3-SOFAJRaft 优化 Linearizable read 线性一致读 : 分布式的 volatile 语义 Client 发起读请求 ; Leader 确认最新复制到多数派的 LogIndex; Leader 确认身份 ; 在 LogIndex apply 后执行读操作租约读 : 省去 Leader 和 Followers 额外的网络交互给 Leader 一段租期, 期间身份不会被剥夺 ; 依赖机器时钟的准确性 21/25

23 Part 3-SOFAJRaft 优化 Benchmark 性能测试环境 & 条件 : Server:3 台 16C 20G 内存 ; Client:2-8 台 8C; Multi-Raft-Group:24 个 Raft 复制组更多详情 : 数据 Client 数量 Client-Batching Server Load, CPU Storage Type 写读比例 key, value 大小 Replicator- Pipeline Result 2 关闭接近 20, over 50 % MemoryDB 9:1 均为 16 字节关闭共 7.5w ops 2 关闭接近 20, over 50 % MemoryDB 9:1 均为 16 字节开启共 10w+ ops 8 开启接近 15, 40 % MemoryDB 9:1 均为 16 字节开启共 40w+ ops 8 开启接近 10, 30 % RocksDB 9:1 均为 16 字节开启共 25w+ ops 22/25

总结现状 Latest version:v1.2.4 ( 2019.03.24 ) Wiki:https://github.

24 总结现状 Latest version:v1.2.4 ( ) Wiki: Example 详解 : 例子详解公众号文章 : 蚂蚁金服开源 SOFAJRaft: 生产级 Java Raft 算法库 23/25

25 24/ 总页数

2 自序小, 印象中只有西醫, 因為每次生病都是去看西醫吃西藥從大學, 也是陽明大學物理治療學系畢業, 就是一般人所說的復健物理治療師這個階段, 所有的治病以及保健觀念

2 自序小, 印象中只有西醫, 因為每次生病都是去看西醫吃西藥從大學, 也是陽明大學物理治療學系畢業, 就是一般人所說的復健物理治療師這個階段, 所有的治病以及保健觀念晨星出版吳建隆著 2 自序小, 印象中只有西醫, 因為每次生病都是去看西醫吃西藥從大學, 也是陽明大學物理治療學系畢業, 就是一般人所說的復健物理治療師這個階段, 所有的治病以及保健觀念, 都是現代醫學的理論退伍後, 考進台中