PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

饭梁
5 years ago
Views:

1 分级存储方案破解海量数据存取难题李昊甲骨文公司资深售前顾问

2 数据的爆炸性增长和数据访问需求我们的客户已感觉到问题已经到来! 让我们为此做些什么! Zetabytes 40,000 Exabytes 300x 2005 年到 2020 年数据增长 80% 数据非结构化并且 90 天以后不再使用 2005 >130 Exabytes * Source: IDC Document 1414_v3: THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digital Shadows, and Biggest

3 大数据客户经常头疼的问题面临极度的数据增长 ( 每年 %) 部署的昂贵的高端的 IT 构架但利用率和效率却很低比如千兆万兆 FC 网, 但效率只有 20% 左右, 使专家科学家研究员制作师工作效率很低随着科学技术的发展, 仪器生成数据的速度更快更多 4K 高清电影美国无人侦察机 3 万分辨率核磁共振以前需要最少半个小时新技术 4-5 分钟就可以基因测序以前测几个月的现在一天就完成了长期数据保留管理上的风险和成本很高 (90 天到数年 ) 数据的访问需要低延迟高带宽传统的备份机制无法应对大数据的保护计算节点层 ( 应用层 ) IO 节点层 ( 网络层 ) 存储层 3

4 大数据客户需求特点期望将动态存储和访问的非结构化数据存储在更加成本有效的分级存储之上需要大量数据归档数据保护副本需要动态访问任意存储之上和任意时期的数据 CIFS, NFS 或 block I/O 访问需求或所有类型访问需求大量非结构化数据需要长时间保存大或小文件 4

5 医疗客户同样面对海量数据增长科室 PACS 全院 PACS 越来越多的业务系统被数字化放射科的影像设备, 心血管科的心电图, 超声机血液动力学设备等业务增长设备增长数据增长 10 台设备,150 个检查 / 天,100MB/ 检查,15GB/ 天 7TB/ 年,3 年归档数据 20TB 20 台设备,600 个检查 / 天,100MB/ 检查,60GB/ 天 30TB/ 年,3 年归档数据 90TB 5

来自客户的声音某大型三甲医院日门诊 >10000, 床位 >5000 2012 年前,PACS 数据 120TB 2012 年 6 月, 新购

6 来自客户的声音某大型三甲医院日门诊 >10000, 床位 > 年前,PACS 数据 120TB 2012 年 6 月, 新购 PACS 存储 300TB 近期, 准备扩容 400TB 年增长超过 80TB 医疗联盟, 各地分院, 结果互认 80*2TB 100*3TB 100*4TB 6

7 海量数据给医疗信息化带来新的挑战越来越多的数据被数字化, 影像数据增长过快, 存储投资变成无底洞备份窗口太长, 已经影响数据安全和生产系统性能法规对特定数据的保存要求 7

8 重新认识数据在生命周期管理中的价值 5% 当前 (<7 days) => Flash/Tier 1 磁盘 15% 最近 (7-90 days) => SAS/SATA 磁盘 80% 归档 (>90 days) => 磁带 8

9 Applications Standard File or Block Protocol 过去应用程序将数据写入单一磁盘存储 Disk 简单但造价昂贵不可扩展数据保护需要单独的软件 9

10 分层存储解决方案解决当前数据中心面临的数据增长问题单一的磁盘存储多级的磁盘存储现代的多级存储 Flash 存储 $40 - $54/GB 38% 6% 32% 高性能磁盘 $7 - $22/GB 高容量磁盘 $1 - $6/GB 100% 62% 60% 磁带存储 $ $1/GB 平均 ~$15,000/TB 平均 ~$8,000/TB 平均 ~$4,000/TB 10

11 传统的分级存储解决方案 Applications Standard File or Block Protocol Primary Disk Disk Archive 业务软件需要改变架构设备成本减少但扩展性受到限制数据保护需要单独的软件 Tape Archive 11

12 分级存储需要满足三个数据存储要求随时访问任意时期存储在任意地点的数据策略生成数据保护的副本将所有级存储虚拟化成单一存储 Data Protection Access Tiered Storage Infrastructure Storage Virtualization 12

13 Applications Standard File or Block Protocol Storage Abstraction Manager Oracle 分级存储优化解决方案 Primary Disk Disk Archive 不需要改变应用程序最低的成本数据生成之时就得到数据保护最佳的扩展性 Tape Archive 13

SAMQFS Server n SAN SAM Copy 2 大容量磁盘 Sun ZFS NFS QFS Client 1 磁带系统 StorageTek 磁带库

14 SAM-QFS 软件架构介绍 NFS clients CIFS clients LAN TCP/IP 支持 Solaris Sparc Solaris x86 NFS SAMQFS Server1 Solaris Cluster Automated Failover 高性能磁盘 Pillar Axiom SAM Copy 1 NFS SAMQFS Server n SAN SAM Copy 2 大容量磁盘 Sun ZFS NFS QFS Client 1 磁带系统 StorageTek 磁带库 CIFS QFS Client n 包含两个软件包 QFS File System SAM 归档支持 Solaris Sparc Solaris x86 Linux 14 14

OPEX 随时需要简单一致的数据访问解决了海量数据的备份问题 Data Mover and Policy Engine

15 Activity 采用分级存储解决方案提高效率, 提高性能和更合理的运行基于策略数据迁移经常访问 => Flash/Tier 1 Disk 很少访问 => SAS/SATA Disk 几乎不访问 => Tape 数据保护副本 => Tape 大减少 CAPEX 和 OPEX 随时需要简单一致的数据访问解决了海量数据的备份问题 Data Mover and Policy Engine Performance Data Disk Protection Capacity Disk Archive Data Volume TIME 15

16 SAM 数据管理引擎基于策略的数据迁移对应用完全透明支持虚拟的无限制数据扩充 QFS File System 高速存储 Remote System StorageTek SAM Data Mover Functions Archive Release Capacity Disk Tape Systems Stage 16

17 SAM-QFS archiver Function Archive 动态的拷贝数据到大容量存储和磁带系统 File System Capacity Disk Tape Systems 17

18 SAM QFS releaser Function User/Application sees all data Release 基于策略, 将文件从主存储删除 Release Capacity Disk Tape System 18

19 SAM QFS stager Function Stage 基于访问请求, 从大容量存储或带库将文件拷贝回主存储 Capacity Disk Tape Systems 19

StorageTek SAM Policy Based Data Management

SAM Policies Primary File System Meta Data Original

Copy#1 Copy #3 SAM Copy#2 WAN Offsite SAM Copy #3

20 StorageTek SAM Policy Based Data Management Application Network Meta Data Server Execute Policy SAM Policies Primary File System Meta Data Original Archive Release Stage Copy #2 Copy #1 Stage #1 SAM Copy#1 Copy #3 SAM Copy#2 WAN Offsite SAM Copy #3 Performance Disk Capacity Disk Tape Systems Remote Systems 20

21 归档解决方案应用在医疗行业 SAM Copy 2 SAM Copy 1 SAM Copy 3 高性能磁盘大容量磁盘磁带系统磁带系统 21

22 归档解决方案应用在医疗行业高性能磁盘大容量磁盘磁带系统磁带系统 22

23 归档解决方案应用在医疗行业高性能磁盘大容量磁盘磁带系统磁带系统 23

24 归档解决方案应用在医疗行业高性能磁盘大容量磁盘磁带系统磁带系统 24

25 归档解决方案应用在医疗行业对应用完全透明, 一个文件系统归档的同时完成备份, 管理员只需要对 Metadata 做定期备份数以千计的 SAN 客户端上百个文件系统数十亿的文件 PB 级的磁盘缓存 EB 级的归档高性能磁盘大容量磁盘磁带系统磁带系统 25

26 Pillar Axiom 存储系统特性特性功能益处 QoS (Quality of Service) 多个应用可以根据应用优先级管理实现共存与一个存储系统中根据应用的商业价值合理分配 I/O 资源, 而非传统先到先得机械式的处理机制从而合理有效的利用存储系统模块化架构通过增加控制器和磁盘框而达到容量和性能上的动态扩展使得存储系统资源得以最大化的应用达到最大性能, 同时动态根据业务需要调整存储池等存储资源分布式 RAID 通过将磁盘管理从控制框转移到磁盘框, 即使在 RAID 组重建时也可以达到极效性能一方面通过增加磁盘框切实增加系统性能和扩展性 ; 另一方面有效缩小重建窗口而减少业务丢失的风险 26

Oracle 最新 ZS3 系列 ZFS Storage Operating System Most powerful storage software suite

Storage OS Support ZS3-2 Single or Dual Controllers 512GB DRAM 192/384 disk Max

enclosures. Scale to 16 expected within 6 months of release.

27 Oracle 最新 ZS3 系列 ZFS Storage Operating System Most powerful storage software suite Engineered Integration with Oracle software 2x Faster 3x More Scalable OS 8 Storage OS Support ZS3-2 Single or Dual Controllers 512GB DRAM 192/384 disk Max 12TB Read Flash 4TB Write Flash* * ZS3-2 will release with expansion to 8 disk enclosures. Scale to 16 expected within 6 months of release. ZS3-4 Single or Dual Controllers 2TB DRAM 864 disk Max 12TB Read Flash 10TB Write Flash All Flash Configuration 27

28 ZFS 统一存储卓越的性能 ----SPC-1 I/Os per Sec 基于存储性能委员会 SPC-1 的性能测试结果,ZFS 存储平均每个硬盘性能为 IBM V7000 性能的 2 倍 SPC-1 Benchmark SPC-1 is a benchmark based on a common Oracle Database workload. NetApp CX3 Oracle ZFS ,997 (154*146GB) IBM V ,014 (240*300GB) IBM DS8870 Oracle ZFS7000 平均每个硬盘的性能 :489 IOPS NetApp CX3 平均每个硬盘的性能 :162 IOPS IBM V7000 平均每个硬盘的性能 :220 IOPS IBM DS8870 平均每个硬盘的性能 :293 IOPS 137,066 (280*300GB) 451,082 (1536*146GB) 28

29 I/Os per Sec ZFS 统一存储卓越的性能 ----SPC-1 基于存储性能委员会 SPC-1 的性能测试结果,ZFS 存储平均每个硬盘性能比 HDS VSP 性能高出 109% SPC-1 Benchmark Oracle ZFS Storage ,066(280*300GB) SPC-1 is a benchmark based on a common Oracle Database workload. HDS VSP HDS AMS ,506 (1152*146GB) 89,491 (352*146GB) Oracle ZFS7420 平均每个硬盘的性能 :489 IOPS HDS VSP 平均每个硬盘的性能 :234 IOPS HDS AMS2500 平均每个硬盘的性能 :254 IOPS 29

30 ZS3 系列存储卓越的性能 The Fastest Storage System Available 4-6X more efficient than every other storage product 17.3 $23/MB/s World-record performance, streaming and on-line application processing (SPC-2) has never exceeded $88/MB/s has never exceeded $131/MB/s has never exceeded $95/MS/s 30

Oracle s ZS3 Storage The Fastest Storage System Available 5-8X better $/IOP than everything in its class 450K OPS/s @700μs Best-in-Class

31 Oracle s ZS3 Storage The Fastest Storage System Available 5-8X better $/IOP than everything in its class 450K Best-in-Class application responsiveness and performance (SPECsfs) 190K with FAS6240 Best is 3.2ms, 456K IOPS with a 56 node Isilon system 31

32 Oracle StorageTek 磁带存储家族 LTO T9840 T10000 VLE VSM SL150 SL3000 SL8500 全线从入门级到企业级磁带机和磁带库产品 S

33 T10000D 企业级磁带机是 LTO6 的 3.4 倍是 LTO6 的 1.6 倍 33

34 甲骨文的整体策略 Hardware and Software, Engineered to Work Together 开放, 标准化优化, 集成, 可扩展更好的性能, 可靠性和安全性更短的部署周期易于管理和升级 ( 一站式统一管理 ) 更低的拥有成本降低变化管理风险集成化支持 Page 34

35 Oracle 数据生命周期管理优化解决方案 Oracle Optimized Solution for Lifecycle Content Management Oracle SPARC T4/T5 Servers PACS Applications Oracle Database Oracle SPARC T5 Servers and Oracle Solaris Network: 10GigE, IB, FC SAN Sun ZFS Storage Appliance or Pillar Axiom 600 StorageTek Tape Library and Drives StorageTek Storage Archive Manager 35

36 Scale Capacity and Performance SMALL CONFIGURATION MEDIUM CONFIGURATION LARGE CONFIGURATION COMPONENT Oracle ZS3-2 Oracle StorageTek SL150 tape library with 4 LTO-6 tape drives 2 x SPARC T4-1 servers Oracle ZS3-4 cluster or Pillar Axiom 600 StorageTek SL3000 with 6 T10000D tape drives 2 x SPARC T4-2 servers Oracle ZS3-4 cluster or Pillar Axiom 600 with SSD StorageTek SL8500 with 10 T10000D tape drives 2 x SPARC T4-2 servers SAM license for 4 cores SAM license for 4 cores SAM license for 8 cores Disk storage capacity range Tape archive capacity range 132 TB to 432 TB 170 TB to 340 TB 340 TB to 1.72 PB 75 TB to 750 TB 2.5 PB to 50 PB 8.5 PB to 850 PB 36

37 Results Challenges Customer Success: Novant Health Industry: Healthcare Enable more than a dozen hospitals to capture, store, and retrieve images electronically Comply with regulations regarding the security of patient information Reduce the cost of capturing, storing, and delivering data Managing 1.4 petabytes of information, supporting 38 clinical applications with differing data sets One copy is immediately written to a high-speed FC disk array, two copies are written to tape archives in two different datacenters With the high degree of automation, entire archival storage environment is maintained by a single person Robert Dick, Storage and UNIX Administrator We ve been running it for more than 10 years, and to date I have no record of ever having lost a single file. Story: 37

38 使用 Oracle 分级存储提高数据的价值 T10000C( T10000C 磁带不耗电 3TB 磁盘, 3TB 磁盘 SSD 总容量 SSD 磁盘总能总价耗 // 美仅计算带机 ) 瓦元动态映射数据, 这些数据可以基于横跨高性能磁盘或高容量磁盘和磁带访问北美第三方公开报价 ( 单价 / 美元显著减少数据存储成本和管理成本单位耗电 ) 67W 10.72W 4W 50% 的投资 vs 传统磁盘解决方案 (3PB 非结构化数据 ) p.aspx?lid=b e02c1630 传统方案 10x 的更少的能源消耗无 1061 盘无成本更加有效扩展性 SAM-QFS 方案 400 盘 328 盘 8 盘 3.18PB SAM-QFS 方案 2 个带机 328 盘 8 盘传统方案在每个存储层内无缝扩展无, 随时随地 % 盘访问所有数据无 3.18PB 基于策略和访问在存储层间透明复制数据和释放数据空间整体拥有成本能耗比 3:154% 节省比更低的风险利用成熟的技术经得住严格的考验, 同时解决了大数据备份问题使用开放的格式确保可访问性 38

39 39