幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

敷解
5 years ago
Views:

1 淘宝消息中间件技术演变张乐伟 ( 韩彰 )

2 消息中间件技术演变消息系统应用场景及现状消息系统问题分析 Metaq1.0 的提出及存在的问题 Metaq2.0 的产生及相关功能介绍 Metaq3.0 功能特点

3 消息系统应用场景异步解耦排队模型流计算流控型重复消费事务消息顺序消息定时投递广播消息

4 消息系统应用场景浏览器 http 请求消息业务层消息服务层消息 DB 层

5 现状接入系统 500 多个每天消息量 :30 多亿接收,100 多亿投递 12 年双 11, 消息量 5 倍 13 年双 11? 堆积常发生性能需要提升接收投递比很多 (1:15)

6 消息系统概述基于 pub-sub 模型消息系统路由模块订阅关系管理模块 4 subscriber producer 通信层 1 消息接收模块 2 内部消息队列 6 db 存储 7 3 消息投递模块 Recover 模块 5 通信层 subscriber

7 存在的问题堆积堆积的产生 : 发送方 ( 上游 ) 与接收方 ( 下游 ) 能力不匹配, 或者接收方 ( 下游 ) 异常堆积对自身的影响 : 堆积将导致存储数据积压, 整个集群性能严重下降堆积对业务方的影响 : 由于某个或者某几个接收方堆积, 将影响其他接收方消息的实时性性能

8 堆积对业务方影响本质基于 topic 的模型, 非 queue 模型, 即整个系统共享一个 queue 基于 queue 模型消息系统 2 订阅关系管理模块 sender 通信层 1 消息接收模块内部消息 queue2 内部消息 3 4 queue1 db 存储 6 消息投递模块 Recover 模块 5 通信层 subscriber subscriber

9 性能消息系统特点存储 + 推送 ( 拉取 ) 消息存储时间短存储 Insert Delete Update Select 大部分情况下只是使用了数据库机器的内存 Mysql 是否适合做消息系统的存储?

10 存储模型 :B+ 树随机写 ( 分裂, 合并 ) 随机读适合于读多, 写少特别适合于范围查找存储类型 Undolog Data 数据索引 Redolog Insert,delete 等 Binlog( 可以关闭 ) Innodb 特点

11 顺序写? 顺序读? 消息系统存储 producer consumer 问题 : Server 文件存储多个 topic,consumer group 如何处理一对多消息如何处理记录每个 consumer 消息到的位置

12 metaq1.0 存储模型 Topic1 分区 1 System A consumer1 producer Topic1 分区 2 Topic1 分区 3 System A consumer2 Topic2 分区 1 Topic2 分区 2 System B consumer1

13 metaq1.0 整体结构基于 queue 模型消息系统 zk 3 producer 通信层 1 2 消息接收模块 Topic1 分区 1 Topic1 分区 2 Topic2 分区 1 4 通信层 5 consumer1 consumer2 Topic2 分区 2

14 推模型优势推拉模型区别 Consumer 扩容方便, 不受分区数限制支持复杂的过滤 ( 因为订阅关系在 server 端 ) 一个分区可以为多个 consumer 服务, 分区数不会是瓶颈拉模型优势 Consumer 端控制方便, 便于业务方根据自己需要去获取消息顺序消息支持方便允许长时间消费一条消息

15 解决问题 Metaq 1.0 特点性能顺序消息不同 consumer group 互相影响问题堆积能力内存瓶颈 :sendfile

16 Read, write zero-copy 技术用户空间 User buffer CPU copy 内核空间 Kernel buffer CPU copy Socket buffer DMA copy DMA copy 硬盘驱动网卡引擎 Sendfile 用户空间内核空间 DMA copy Kernel buffer 硬盘驱动 Append dscr Socket buffer DMA copy 网卡引擎

17 Mmap, write zero-copy 技术用户空间 shared User buffer 内核空间 Kernel buffer CPU copy Socket buffer DMA copy DMA copy 硬盘驱动网卡引擎消息系统中使用优势减少上下文切换减少 jvm 内存使用 ( 再也不怕投递比了 ) 缺点需要指定待传输消息在文件中的位置及长度等 ( 即无法将消息反序列化到 jvm 中进行查找过滤 )

18 metaq1.0 存在的问题分区瓶颈性能分区数即可支持消费方集群的规模, 与 consumer 机器数对应不同 topic 需要不同分区分区数增加 ( 文件数 ): 顺序写, 顺序读 ---- 随机写, 随机读分区数超过 30, 性能直线下降 Client 复杂过滤依赖 zk, 争抢分区, 复杂, 经常出各种问题, 大量消费者场景无法支持, 如 forest,6000 个消费者针对某个 topic 下的消息过滤比较困难, 因为利用了 sendfile, 无法反序列化到 JVM 中过滤

19 metaq1.0 存在的问题内存内存无法完全利用无法获取落后 ( 等待 ) 的消息数由于消息大小不确定, 无法获取落后消息数 ( 某些场景下需要 )

20 存储模型 Metaq 2.0 producer System A Consumer1 Commitlog, 存储物理消息, 所有 topic 共享 index 文件, 存储消息在 commitlog 中的位置, 消息长度, 及过滤信息的 hashcode System A Consumer2

21 Metaq2.0 目录结构 Topic A Index file1 分区 Commitlog Index file2 分区 Topic B Index file1 分区 Index file2 分区文件目录 Commitlog, 所有 topic 一个 commitlog 文件, 一个文件 1G 分割文件 Index 文件, 一个 topic 一个或多个 index 文件 ( 分区数 ), 不同 topic 不同 index 文件, 且 index 文件数 ( 分区数 ) 大于等于 consumer 机器数

22 刷盘模式 metaq2.0 Commitlog 同步刷盘,groupcommit 方式顺序刷盘 Index file 异步循环刷盘内存模型利用 mmap, 映射到 pagecache, 充分利用内存消息读取从 index file 中获取消息的位置, 长度信息, 然后从 commitlog 中读取, 不需要再到 JVM 中分区数单机可以支持上万分区数消息过滤在 index file 中对过滤的消息比较 hashcode, 存在误差获取落后 ( 等待 ) 的消息数由于 index file 每条消息定长, 所以能计算消息数, 及落后消息数可以支持消息回溯, 用于消费已经消费过的消息

23 Metaq 2.0 数据流动消息如何在 JVM 堆, 内存, 磁盘上流动 producer Consumer1 Consumer2 1 JVM 堆 4 6 拉取消息落后, 消息已经不在内存中 2 内存 page cache 虚拟内存 3 5 硬盘

24 metaq 2.0 整体结构 nameserver master 分发模块 producer 通信层 slave 接收模块主备同步模块存储模块物理分区存储模块模块物理存储模块存储模块分区模块通信层 consumer 接收模块分发模块

25 metaq2.0 功能特点高性能支持大量分区支持消息过滤支持消息堆积消息堆积下会有性能下降天然具有限流功能顺序消息支持 Client 简化分区根据一定的算法分配, 同时考虑机房优先, 不再依赖于 zk 的争抢

26 metaq2.0 性能数据以下表格场景基于这个前提 : 1 CPU 16Core Intel(R) Xeon(R) CPU 2.13GHz 2 Memory 24G 3 Disk RAID SAS T 4 Linux ext4 磁盘类型刷盘策略分区数消息大小发送耗时发送消息 TPS 订阅消息 TPS LOAD IOWAIT NETIN NETOUT RAID SAS 异步万 5.3 万 M 27M RAID SAS 异步万 4.6 万 M 28M RAID SAS 异步 k 万 3.3 万 M 75M RAID SAS 异步 k 万 2.9 万 M 122M RAID SAS 异步万 3.6 万 M 18M RAID SAS 同步万 3.9 万 M 11M RAID SAS 同步万 3.8 万 M 16M RAID SAS 同步 k 万 2.7 万 M 58M RAID SAS 同步 k 万 5.8 万 M 122M RAID SAS 同步 k 万 2.2 万 M 94M RAID SAS 同步 k 万 3.2 万 M 125M RAID SAS 同步万 2.8 万 M 16M RAID SAS 同步 k 万 0.15 万 M 7M 堆积压测先堆积 500G 数据, 确保 1024 个分区全部有 consumer 拉取,consumer 起 1024 个线程拉取, 且全部拉到磁盘上

27 linux IO 调度 CFQ,noop,deadline,anticipatory CFQ Cfq insert request queue1 queue2... queue1 queuen R R Cfq dispatch request Red black tree(sorted by sector) Read FIFO list(sorted by time) Write FIFO list(sorted by time) queue1

28 deadline linux IO 调度 Read RB tree(sorted by sector) deadline insert request Read FIFO list(sorted by time) deadline dispatch request write RB tree (sorted by sector) write FIFO list(sorted by time) deadline RAID SAS 同步 k 万 1 万 M 45M

29 支持事务 metaq3.0 功能特点最终一致,client 需要 check 接口消息实时性推拉结合主备同步双写主备同时写, 写完返回, 主写存储, 备写失败, 用户自己选择主备自动切换主不可用, 自动切换到备定时延迟消息单队列并行消费消费失败延时重试

30 淘宝中间件期待各路英雄加盟! 微博淘宝韩彰