幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

旨口邬
5 years ago
Views:

1 百度对 Elasticsearch 的优化改进百度大数据部高攀 2016 年 12 月 10 日

2 功能改进分布式 SQL 查询层权限管理 Online schema change DistributedLog 数据一致性多集群数据同步多租户资源隔离

3 分布式 SQL 查询层提供标准 SQL 接口, 方便使用, 降低学习成本支持复合数据类型, 如 Array Map 等支持通过 SQL 全文检索支持 Join 分布式 SQL 聚合兼容 MySQL 协议, 原 MySQL DDBS 业务无缝迁移 MySQL Client,JDBC,ODBC 兼容原始 HTTP 协议保留原始 HTTP 接口支持 MySQL 发送 HTTP 请求支持 HTTP 发送 SQL 请求

4 分布式 SQL 查询层 HTTP Client MySQL Client JDBC,ODBC HTTP Server Protocol ES Engine Index Module SQL HTTP MySQL Server Protocol SQL Engine Analyzer ES Node Planner Search Module Lucene Executor ES Node

5 分布式 SQL 查询层

6 分布式 SQL 查询层

7 权限管理系统需求背景业务方对数据安全性敏感, 不同角色只能访问自己的表要求支持读写权限分离, 支持动态修改权限, 各节点自动同步更新要求支持 IP 白名单 & BNS 白名单,BNS 自动更新 HTTP MySQL 两种访问接口都需要进行权限控制设计实现兼容 ES 和 MySQL, 增加 database 逻辑层,db.table 权限级别 :db,table 用户级别 :root,superuser,user superuser 可以创建用户并分配权限但不能修改集群配置, 用于用户自己管理权限类型 :read_only,read_write 白名单 :IP( 通配符 ),hostname (BNS)

8 权限管理系统 HTTP Client MySQL Client JDBC,ODBC HTTP Server Protocol ClusterState MetaData MySQL Server Protocol ES Engine Index Module Search Module ActionFilter AuthService authentication authorization SQL Engine Analyzer Planner Executor Lucene

9 权限管理系统

10 Online schema change 需求背景业务需要在线动态增加字段增加索引删除索引修改分词器等要求对业务透明, 不能影响在线服务社区 reindex 新创建一个 index,scroll then bulk 无法对在线业务透明, 必须双写两个 index, 不能 update 大量额外的网络 IO 和磁盘空间

11 Online schema change Baidu-ES reindex 每个分片内部本地 reindex 增加 mapping version, 插入时使用最新 mapping, 并使用 internal version, 防止覆盖后台线程定期检测,Mapping version 增加, 自动 reindex 动态调整 reindex 速度节点宕机分片迁移 reindex 自动恢复无需新建 index, 无需额外网络 IO 和磁盘空间支持在线服务, 支持 update 查看每个分片 reindex 进度

12 DistributedLog 数据一致性需求背景糯米钱包等业务对 ES 服务可靠性要求很高不能容忍脑裂数据不一致丢数据等情况的发生需解决的问题元数据一致性 ( 脑裂 ) 强一致写强一致读解决方案 :DistributedLog Twitter 开源分布式日志服务高可用, 高性能, 强一致, 可扩展

DistributedLog 数据一致性 ( 元数据 ) 元数据当前问题 : 排序选主, 可能脑裂, 元数据不一致 Elect Master Service 实现简单的类 Raft 选主协议本地的 cluster state 必须是最新的每个节点一段时间内只能投票一次各 Master Node 竞争式的抢占选举, 获取

13 DistributedLog 数据一致性 ( 元数据 ) 元数据当前问题 : 排序选主, 可能脑裂, 元数据不一致 Elect Master Service 实现简单的类 Raft 选主协议本地的 cluster state 必须是最新的每个节点一段时间内只能投票一次各 Master Node 竞争式的抢占选举, 获取 Quorum 票数当选 Cluster State Synchronizer 从 DL 中 Pull 元数据变更, 向本地 Cluster State Apply 总体流程 Master Leader 向 DL 中写入 Cluster State 变更其余的 Master 节点和所有的 DataNode 节点从 DL 中获取变更并向本地 Apply

14 DistributedLog 数据一致性 ( 元数据 ) Elect Master Service Elect Master Service Cluster State Synchronizer Master Node Cluster State Synchronizer Master Node Elect Master Service Cluster State Synchronizer Master Node n Cluster State Distributed Log Cluster State Synchr onizer ES Engine Cluster State Synchr onizer ES Engine Lucene Storage Engine Lucene Storage Engine Data Node Data Node

15 DistributedLog 数据一致性 ( 一致写 ) 强一致写当前问题没有较好的一致性算法 Primary 分发到多个 Replica, 各 replica 数据可能不一致 ( 已写成功的无法回退 ) Primary 挂掉, 随机选择 replica 成为 primary, 数据可能丢失基本思路 Master 指定 Primary Primary 将日志写入 DL Replica 从 DL 中读取日志并回放 Translog 必须在 Lucene 引擎内部实现为原子操作如果先写 log,lucene 可能写入不成功如果先写 Lucene,log 有可能写入不成功

16 DistributedLog 数据一致性 ( 一致写 ) 强一致写 3. 返回成功 Replica Primary Lucene 2. 数据写入 lucene Replica Lucene Translog 1. 数据写入 lucene 1. 从 DL 中读取增量日志 n 2. 数据写入 DL Distributed Log Service

17 DistributedLog 数据一致性 ( 一致读 ) 强一致读当前问题 Master 检测到原 primary 异常, 选出新 primary 元数据未及时同步到 client, 查询被转发到旧 primary 旧 primary 同样未意识到自己已经不是 primary, 执行查询 Lease 机制 Primary 需要定时从 Master 获取 Lease 读取时首先检查 Lease, 当 Lease Expire 时不再提供读取服务查询只查 primary

18 DistributedLog 数据一致性 ( 一致读 ) 强一致读 ---Lease 机制 Master Node 1. Get lease 2.Search request 2. Search request Client Primary Replica Client 4. return 3. Check lease 4. Reject request

19 多集群数据同步需求背景业务要求高可用, 两地三中心部署北京上海广州, 多个主备集群需实时同步增量数据主备切换后的冲突处理设计实现每个 Doc 都有修改的 timestmap 和 version 信息 Mirror Maker 根据 timestamp 获取 index 修改的增量信息 Mirror Maker 将增量的更新发往目标集群的 Index 中冲突时根据 version 来判断是否覆盖目标集群里的 Doc 默认 version 使用 timestmap 实现方案二 :DL

20 多集群数据同步 ES Mirror Maker Config Loader Index Mirror Maker Index Mirror Maker Config File Cluster A Cluster B Meta Index User Index User Index Meta Index User Index User Index

21 多租户资源隔离需求背景多个业务使用公共集群,CPU 内存 IO JVM 等相互影响云化部署设计实现每台物理机启动多个 ES 进程组成大集群 cgroup 对每个 ES 进程进行 CPU 内存 IO 等隔离引入 tenement 概念, 分配不同的 ES 节点为每个租户创建自己的虚拟集群 Allocation filter 限制租户的 index 只能创建在自己的节点上每个租户分配不同 DB, 隔离访问权限租户命名空间隔离租户信息根据租户 ID 隔离 settings,templates nodes 等

22 多租户资源隔离

23 Baidu-ES 整体架构 HTTP Client MySQL Client JDBC HTTP MySQL HTTP MySQL HTTP MySQL Cluster State Synchr onizer ES Engine SQL Engine Cluster State Synchr onizer ES Engine SQL Engine Cluster State Synchr onizer ES Engine SQL Engine Lucene Storage Engine Data Node Lucene Storage Engine Data Node Lucene Storage Engine Data Node Distributed Log Service Cluster State Synchronizer Elect Master Service Master Node Cluster State Synchronizer Elect Master Service Master Node Cluster State Synchronizer Elect Master Service Master Node

24 Baidu-ES 规模覆盖百度内部 50+ 业务线包括凤巢糯米金融钱包网盟手百地图贴吧移动风控预测云分析用户画像等共部署 500+ 机器, 启动 800+ES 节点单集群最大 100 台机器, 启动 200 个 ES 节点单集群最大每天导入 60TB+, 总共每天 100TB+ ES 云服务多个付费用户, 如大秦铁路光明网等

25 Baidu-ES 云服务需求合作, 请联系团队邮箱

26 结束谢谢!

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与多数据源的结合田毅 @ 目录为什么会用到多个数据源 Spark 的多数据源方案有哪些已有的数据源支持 Spark 在 GrowingIO 的实践分享为什么会用到多个数据源从数据本身来看大数据的特性之一 :Variety 数据的多样