Taobao海量图片存储与CDN系统

Size: px

Start display at page:

Download "Taobao海量图片存储与CDN系统"

仁湫蒙
5 years ago
Views:

1 Taobao 海量图片存储与 CDN 系统章文嵩 ( 正明 ) 淘宝核心系统部系统架构师大会 1

2 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 2

3 图片存储与 CDN 系统全貌 Global Load Balancing L1-Cache Cache Cluster Cache Cluster Cache Cluster Cache Cluster ~40T L2-Cache Cache Cluster Cache Cluster Cache Cluster ~80T Application Image Server Cluster Image Server Cluster ~200 Servers Storage TFS Cluster TFS Cluster 995T Used / 1800T Deployed 3

4 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 4

SnapShot FAS980C SnapShot A: Online Image B: Online Image 杭州网通 IDC C: Online

5 2007 年之前的图片存储系统 Upload Server Admin Server Image Server 滨江联通备份中心 SnapMirror SnapMirror SnapVault 远程数据冗灾 NearStore R200 DR: A+B+C+D SnapShot FAS980C SnapShot SnapShot FAS980C SnapShot A: Online Image B: Online Image 杭州网通 IDC C: Online Image D: Online Image 注 : 红框中设备是 2006 年的新增设备, 明年还得在原有的 NetApp 980C/R200 5 存储上增加 20TB 左右新的硬盘容量

6 商用产品无法满足需求系统需求淘宝的影响越来越大, 数据的安全也更加重要数据存储量以每年二倍的速度增长 ( 即原来的三倍 ) 商用存储产品对小文件的存储无法优化文件数量大, 网络存储设备无法支撑连接的服务器越来越多, 网络连接数已经到达了网络存储设备的极限扩容成本高,10T 的存储容量需要几百万单点, 容灾和安全性无法得到很好的保证 6

7 TFS 年 6 月淘宝自主开发的分布式的文件系统 TFS(Taobao File System)1.0 上线运行主要解决海量小文件的分布式存储集群规模 :200 台 PC Server(146G*6 SAS 15K Raid5) 文件数量 : 亿级别系统部署存储容量 : 140 TB 实际使用存储容量 : 50 TB 单台支持随机 IOPS 200+, 流量 3MBps 7

8 TFS 1.0 的逻辑结构 8

9 TFS1.0 的特性集群由一对 Name Server 和多台 Data Server 构成每个 Data Server 运行在一台普通的 Linux 主机上以 block 文件的形式存放数据文件 ( 一般 64M 一个 block) block 存多份保证数据安全利用 ext3 文件系统存放数据文件磁盘 raid5 做数据冗余文件名内置元数据信息, 用户自己保存 TFS 文件名与实际文件的对照关系使得元数据量特别小 9

10 TFS 年 6 月 TFS(Taobao File System)1.3 上线运行集群规模 ( ) 440 台 PC Server (300G*12 SAS 15K RPM) + 30 台 PC Server (600G*12 SAS 15K RPM) 文件数量 : 百亿级别系统部署存储容量 : 1800 TB 当前实际存储容量 : 995TB 单台 Data Server 支持随机 IOPS 900+, 流量 15MB+ 目前 Name Server 运行的物理内存是 217MB( 服务器使用千兆网卡 ) 10

TFS1.3 的逻辑结构 Application/Client Mysql Dup Store filename refcount crc,size Data block id, file id/ allocate NameServer HA heartbeat NameServer dataserver

11 TFS1.3 的逻辑结构 Application/Client Mysql Dup Store filename refcount crc,size Data block id, file id/ allocate NameServer HA heartbeat NameServer dataserver id (block id, file id) heartbeat message control message heartbeat message DataServer DataServer dsp1 dsp2 dsp3 dsp1 dsp2 dsp3 hda hda hda hda hda hda 11

12 TFS1.3 的特性 TFS1.3 提供了一些重要的功能特性所有的元数据全部都内存化清理磁盘空洞容量和负载的均衡策略平滑的扩容数据安全性的冗余保证几秒内完成 Name Server 故障自动切换容灾策略性能大幅提升 12

13 TFS 的发展 TFS2.0 正在开发中大小文件的共存, 大文件的分片存储分级存储机制 (SSD/SAS/SATA) 的建立, 针对访问特性的文件迁移 TFS 将在 9 月开源, 希望更多人来使用和改进 TFS 13

14 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 14

15 图片处理与缓存现状有 200 多台服务器 Image Server, 在 Apache 上实现的, 从 TFS 取原图生产相应的缩略图改进目的图片访问的热点一定存在, 在 Image Server 实现 Cache, 提高响应速度, 也减轻对后端 TFS 的压力 Image Server 上处理方式若请求图片在 Cache 中, 直接发送没命中, 若本地有原图, 则根据原图做处理并缓存没命中, 从 TFS 读取原图并添加到缓存, 处理并缓存

16 系统实现将图片处理与缓存编写成基于 Nginx 的模块 Nginx 是目前性能最高的 HTTP 服务器 ( 用户空间 ) 代码清晰模块化非常好使用 GraphicsMagick 进行图片处理比 ImageMagick 性能更好面向小对象的缓存文件系统前端有 LVS+Haproxy 将原图和其所有缩略图请求都调度到同一台 Image Server

17 图片处理从 TFS 存储中读取文件将文件根据需要的尺寸进行缩放灵活, 应用可以制定一些尺寸规则决定动态计算的成本大概是存储缩略图的十分之一可根据需要将缩略图按一定质量压缩保存 (75% ~94%) 和锐化处理, 通过配置文件设定权衡图片的效果与 CDN 传输的带宽低损压缩降低缩略图的体积 (30~70%)

18 本地缓存对象文件系统文件定位内存 hash 做索引最多一次读盘写盘方式 Append 方式写淘汰策略 FIFO, 主要考虑降低硬盘的写操作, 没有必要进一步提高 Cache 命中率, 因为 Image Server 和 TFS 在同一个数据中心

19 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 19

20 淘宝 CDN 系统 CDN 服务的图片规模约 250T 容量的原图 + 250T 容量的缩略图约 286 亿左右的图片数, 平均图片大小是 17.45K 8K 以下图片占图片数总量的 61%, 占存储容量的 11% CDN 部署规模 22 个节点, 部署在网民相当密集的中心城市 (7 月初 ) 每个节点目前处理能力在 10G 或以上 CDN 部署的总处理能力已到 220G 以上目前承载淘宝流量高峰时 119G, 含一些集团子公司的流量 20

21 淘宝 CDN 系统的研发主要解决现有的问题商用产品的性能瓶颈功能欠缺, 以及不稳定性整个系统的规模性能可用性和可管理性开发完全自主的 CDN 系统 CDN 节点的新架构和优化 CDN 监控平台全局流量调度系统支持基于节点负载状态调度和基于链路状态调度 CDN 实时图片删除 CDN 访问日志过滤系统配置管理平台 21

22 client CDN 节点的架构对比 - 老架构 VIP1 NetScaler(7LB) VIP2 NetScaler(7LB) 频道 1 频道 2 频道频道 n squid squid squid squid 源站 22

23 client CDN 节点的架构对比 - 新架构 VIP1 LVS(L4) 心跳 VIP2 LVS (L4) Haproxy(L7) haproxy(l7) Haproxy(L7) 所有频道统一调度 squid squid squid squid 源站 23

24 CDN 节点的架构对比对比项 \ 节点新架构老架构流量分布均匀性可维护性抗攻击能力自主控制能力价格扩展能力灵活性流量分布均匀性 : 所有的频道统一调度到 128 台 squid, 而不是将 squid 按频道分组, 可提高命中率 2% 以上扩展能力 : 在一个 VIP 上新架构可以扩展到近 100G 的流量 ( 当然要用万兆网卡 ) 灵活性 : 一致性 Hash 调度方法使得增加和删除服务器非常方便, 只有 1/(n+1) 的对象需要迁移

25 Squid 改进和优化在 COSS 存储系统基础上实现了 TCOSS,FIFO 加上按一定比例保留热点对象, 支持 1T 大小的文件 Squid 内存优化, 一台 Squid 服务器若有一千万对象, 大约节省 1250M 内存, 更多的内存可以用作 memory cache 用 sendfile 来发送缓存在硬盘上的对象, 加上 page cache, 充分利用操作系统的特性针对 SSD 硬盘, 可以采用 DIRECT_IO 方式访问, 将内存省给 SAS/SATA 硬盘做 page cache 在 Squid 服务器上使用 SSD+SAS+SATA 混合存储, 实现了类似 GDSF 算法, 图片随着热点变化而迁移 25

26 热点迁移的数据对比 (1) 简单按对象大小划分 : 小的进 SSD, 中的放 SAS, 大的存 SATA SSD + 4 * SAS + SATA 上的访问负载如下 : [root@cache161 ~]# iostat -x -k 60 egrep -v -e sd.[1-9] avg-cpu: %user %nice %system %iowait %steal %idle Device: rrqm/s wrqm/s r/s w/s rkb/s wkb/s avgrq-sz avgqu-sz await svctm %util sda sdb sdc sdd sde sdf 其中 : 黑色为 SATA, 绿色为 SSD, 红色为 SAS 4 块 SAS 硬盘上的访问量和超过 SSD 硬盘上的访问量 26

27 热点迁移的数据对比 (2) 按对象访问热点进行迁移 : 最热的进 SSD, 中等热度的放 SAS, 轻热度的存 SATA SSD + 4 * SAS + SATA 上的访问负载如下 : [root@cache161 ~]# iostat -x -k 60 egrep -v -e sd.[1-9] avg-cpu: %user %nice %system %iowait %steal %idle Device: rrqm/s wrqm/s r/s w/s rkb/s wkb/s avgrq-sz avgqu-sz await svctm %util sda sdb sdc sdd sde sdf 其中 : 黑色为 SATA, 绿色为 SSD, 红色为 SAS SSD 硬盘上的访问量是 4 块 SAS 硬盘上访问量之和的 5 倍以上,SAS 和 SATA 的硬盘利用率低了很多 27

28 节点运行情况 (1) 节点规模 :32 台 DELL R710 服务器逻辑结构 :2 LVS + 32 Haproxy + 64 Squid 时间 :12 月 21 日上线运行当前最大服务流量 :10.58 Gbps 理论最大负载能力 :15Gbps 以上单台 R710 服务器可到 500Mbps 以上的吞吐率单 squid 最大 object 数目 :1800 万 Cache 请求命中率 :97% Cache 字节命中率 :97% 最重要的是命中率提高, 大大改善用户的访问体验 28

29 节点运行情况 (2) 节点规模 :30 台 DELL PowerEdge 2950 服务器逻辑结构 :2 LVS + 30 Haproxy + 60 Squid 时间 :2010 年 5 月上线运行理论最大负载能力 :12Gbps 单台 2950 服务器可到 400Mbps 的吞吐率单台存储 :160G SSD + 143G SAS * 4 + 1T SATA 单 squid 最大 object 数目 :3000 万 Cache 请求命中率 :97.5% Cache 字节命中率 :97.5% 最重要的是命中率提高, 大大改善用户的访问体验 29

30 CDN 系统的发展 CDN 系统的研发与运维针对教育网的 CDN 解决方案动态页面加速, 节点间应用级路由持续提高节点性能 ( 应用软件操作系统等 ) 优化 GTM 全局调度系统持续提高 CDN 系统可运维性, 完善 CDN 内容管理系统 CDN 系统的建设思路正在转向部署更多的小节点, 尽可能离用户近一些定制化和快速部署 30

31 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 31

32 低功耗硬件平台低功耗硬件平台低功耗的 CPU, 如 Intel ATOM, VIA Nano 等低功耗的 Chipset;SSD 或低功耗的 SATA 硬盘关闭 GPU 和 USB Controller 等适用不需要太多 CPU 计算的 I/O 类型应用例如 CDN Cache Server memory cache 存储节点静态文件 Web Server 等好处 ( 大大降低成本 ): 降低电力消耗, 减少碳排放单位空间 ( 机柜 ) 下有更高的 I/O 吞吐率降低硬件购置成本和运营成本 32

33 单机柜方案 : 节点网络结构 LVS 服务器 LVS 服务器交换机 Rack 低功耗刀片出口路由器 6Gbps Internet

34 单机柜 (6Gbps) 方案 : 节点机架布局 5U 低功耗服务器 1U 交换机 5U 低功耗服务器 42U 1U 负载均衡服务器 5U 低功耗服务器 40U 1U 交换机 5U 低功耗服务器 1U 负载均衡服务器

35 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 35

36 经验商用软件不能满足大规模系统的需求采用开源软件与自主开发相结合, 有更好的可控性, 系统上有更高的可扩展性规模效应, 研发投入都是值得的可以在软件和硬件多个层次优化优化是长期持续的过程 36

37 淘宝开源平台 37

38 淘宝开源 Code.taobao.org 是开放的开源平台, 淘宝公司在上面发布开源项目, 也非常欢迎外部人员在上面发布开源项目平台本身的管理软件也作为一个开源项目淘宝的 Key/Value Cache/Store - TAIR 已经开源会陆续将淘宝的基础软件开源 TFS 将于 9 月开源 WebX v3.0 将于 10 月开源淘宝公司希望以更开放的方式与业界一起进行技术创新 38

39 讨论 Q & A 谢谢! 39

Taobao海量图片存储与CDN系统

Taobao海量图片存储与CDN系统 Taobao 海量图片存储与 CDN 系统章文嵩 ( 正明 ) 淘宝核心系统部 1 议程一系统全貌二 Taobao 图片存储系统 --TFS 三 Image Server 与 Cache 四 CDN 系统五低功耗服务器平台六经验 2 图片存储与 CDN 系统全貌 Global Load Balancing L1-Cache Cache Cluster Cache Cluster Cache