第五章数媒资产管理系统的存储技术
数字媒体资产的海量存储要求 假设某电视台目前存储有 200,000 小时的各种视音频资料数据需要长期保存和管理, 高码率采集的一部分素材需要经常使用 用 MPEG-2 专业级质量的压缩方式进行数字化存储 (30Mbit/s), 其系统存储容量最少要求为 :200000x3600 x30/(8 x1024) 约 2,640,000Gbyte, 若低码率采用 MPEG-4 压缩格式 (400Kbit/s), 其系统存储容量最少要求为 :200000 x3600 x400/ (8 x1024 x1024) 约 34,400Gbyte 2
数字媒体资产的海量存储要求 中国广播电视音像资料馆一期系统具备 20 万盘原始录像磁带存储能力, 在线数据存储量 45TB, 近线数据存储量 400TB 10 个人工上载工作站和一套自动化机械手上载系统, 每日上载数据量为 130 小时 使用的大规模数据流磁带库设有 10 台磁带驱动器, 可存储 5500 盘数据流磁带, 数据流存储量 1000TB 系统现阶段存储容量为 10 万小时, 最终设计目标存储容量为 100 万小时 3
假设我们有这么一个超级存储 IBM 阿尔马登 (Almaden) 和加利福尼亚 (California) 实验室的研究人员建立了一个比以往任何一个都要大 10 倍以上的数据储存库 这个 1.2 亿 G 的 硬盘 由 20 万个传统硬盘驱动器联合工作 这个巨大的数据容器能够存储 1 万亿个文件, 能为复杂系统提供更强的仿真, 如用于天气和气候建模 1.2 亿 G (120 千万亿字节, 120,000,000,000,000,000) 的硬盘能够保存 240 亿个 5M 大小的 MP3 文件或者轻松保存互联网最大备份的 60 个副本,1500 亿个网页组成了互联网档案馆 (Internet Archive) 的时光机 (WayBack Machine) http://www.technologyreview.com/news/425237/ibmbuilds-biggest-data-drive-ever/ 4
Orders of magnitude of data Value Metric 1000 kb kilobyte 1000 2 MB megabyte 1000 3 GB gigabyte 1000 4 TB terabyte 1000 5 PB petabyte 1000 6 EB exabyte 1000 7 ZB zettabyte 1000 8 YB yottabyte 5
Examples of gigabyte-sized storage One hour of SDTV video at 2.2 Mbit/s is approximately 1 GB. Seven minutes of HDTV video at 19.39 Mbit/s is approximately 1 GB. 114 minutes of uncompressed CD-quality audio at 1.4 Mbit/s is approximately 1 GB. A DVD-R can hold about 4.7 GB. A dual-layered Blu-ray disc can hold about 50 GB. 6
History of terabyte-sized storage 2007 First 1 terabyte ( 0.9095 TiB) hard drive (Hitachi GST) 2008 First 1.5 terabyte ( 1.3642 TiB) hard drive (Seagate) 2009 - First 2 terabyte internal 3.5 hard drive. (Western Digital) 2010 - First >1 terabyte, 1.5 terabyte ( 1.3642 TiB) commercial tape system 2011 - First 4 terabyte drive (Hitachi) 2012 - First 1 terabyte USB flash drive, sold by Victorinox. 7
Usage examples of petabyte-sized storage Games: World of Warcraft uses 1.3 petabytes of storage to maintain its game. Film: The 2009 movie Avatar is reported to have taken over 1 petabyte of local storage at Weta Digital for the rendering of the 3D CGI effects. Internet: Google processed about 24 petabytes of data per day in 2009. Digital archives: The Internet Archive surpassed 15 petabytes as of May 2014. 8
Usage examples of petabyte-sized storage Data mining: In August 2012, Facebook's Hadoop clusters include the largest single HDFS cluster known, with more than 100 PB physical disk space in a single HDFS filesystem. Email: In May 2013, Microsoft announces that as part of their migration of Hotmail accounts to the new Outlook.com email system, they'd migrated over 150 PB of user data in six weeks. 2013 - One petabyte is enough to store the DNA of the entire population of the USA - with cloning it twice. Petabyte of average MP3 encoded (for mobile, ~ 1MB per minute) average songs, lasting for ~4 minutes, gives album that can be fully heard after over 2000 years of playing continuously. 9
本章摘要 本章从数媒资产的存储介质 存储格式及分级存储策略等几个方面, 分析和阐述视音频资料的存储特性 存储要求及其模式 多级存储管理技术可以使每个资源管理器都可支持多级存储模式, 提供给用户更多存储介质的选择, 不仅可以存储在硬盘上, 还可以支持二级的光盘库 磁带库等 资源管理器内置的存储集合功能可根据用户存储介质及存储内容的访问速度 期限等需要制定灵活的存储管理策略, 可跨多个资源管理器实现对不同优先级别内容的不同存储部署策略 通过和存储管理软件的集成, 可使每类数字内容具有清晰的迁移途径和演变历史, 极大地简化了用户在存储方面的维护工作 10
本章内容 5.1 数字媒体资产的存储介质 5.2 数字媒体资产的存储格式 5.3 数字媒体资产的存储技术和架构 5.4 数字媒体资产的分级存储策略 5.5 数字媒体资产的存储系统设计 11
1. 数字媒体资产的存储介质 目前应用的存储介质有磁盘阵列 数据流磁带 光盘塔和数字录像带等 中央电视台音像资料馆超大规模数据流磁带库 12
SAN 网络存储设备 戴尔 Compellent 存储中心 SAN 接口 :FC SATA 和 SAS 驱动器处理器 :2.53GHz 四核 I/O 扩展槽 :6 个 PCI-E 前端连接性 : 光纤通道 (4GB 8GB); iscs(1gb 10GB);FCoE(10GB) 最大后端端口数 :22 个 ( 光纤通道 ); 22 个 (SATA);20 个 (SAS) 每个系统支持最多 1,232 个光纤通道驱动器 880 个 SATA 驱动器或 960 个 SAS 驱动器 RAID 支持 0 5 6 和 10 13
NAS 网络存储器 联想 N200( 含 1TB 硬盘 ) 内置两个 3.5 寸 SATA 硬盘插槽, 可插入两块 1TB 的 SATA 硬盘, 前后还各有一个 USB2.0 接口, 可外接两块存储设备为产品增添容量, 同时可以将它连接在局域网上, 形成一台小型的网络存储服务器供局域网内的多台电脑存取 共享数据 14
IP 网络存储 H3C Neocean IX1000S 最大存储容量 16TB 支持 16 块企业级 SATA II 磁盘 RAID 支持 0 1 10 5 50 13.5 万 15
磁盘阵列 浪潮 AS8000 系统支持支持 Windows Linux,AIX,HP UX,Solaris 等操作系统平台外接主机通道每个 DSE 模块标配 6 个 8Gb FC 接口,2 个千兆 IP 接口, 单 DSE 模块可扩展至 32 个接口 支持 RAID0 1 3 5 6 10 单机磁盘数量最大 3840 个 内置硬盘接口支持 SSD FC 及 SATA 磁盘混插 2000 万 16
磁盘阵列 IBM Storwize V3700(2072S2C) 硬盘转速 :146GB/300GB 15Krpm 300GB/600G... 高速缓存 :4GB 可升级到 8GB 外接主机通道 : 1Gbps iscsi( 选配 8Gb 光纤通道或 10Gbps iscsi/ 基于以太网的光纤通道主机端口 ) RAID 支持 :RAID 0,1,5,6 和 10 单机磁盘数量 :24 个 内置硬盘接口 :SAS 风扇 : 全冗余, 热插拔 5.3 万 17
磁带 IBM LTO4(95P4436) Characteristics: Linear serpentine recording half-inch cartridge Media Type: Metal Particle (MP) Cartridge physical capacity: 800 GB (1.6 TB with 2:1 compression) 260 18
磁带机 HP StorageWorks LTO-4 Ultrium 1760 SCSI 外置磁带机 (EH922A) 记录格式 : LTO Ultrium 4 压缩后存储容量 : 1.6TB 接口类型 : Ultra320 LVD SCSI 存储容量 : 800GB 缓存 : 128MB 3.8 万 19
磁带库 HP MSL6060(AD603A) 最大存储容量 :24TB 压缩后存储容量 :48TB 持续数据传输率 :30MB/s 接口类型 :Ultra3 SCSI (LVD) 无故障时间 :2 百万次小时驱动器数目 :2 个驱动器类型 :Ult 460 Dr Tape Library 插槽数 :60 存储技术 :Ult 460 52.46 万 20
磁带库 IBM TS3500 后部 21 内部及机械臂 前门内部
SATA 硬盘 希捷 Barracuda 3TB 硬盘尺寸 :3.5 英寸硬盘容量 :3000GB 盘片数量 :3 片单碟容量 :1000GB 磁头数量 :6 个缓存 :64MB 转速 :7200rpm 接口类型 :SATA3.0 720 22
SATA 硬盘 西部数据 3TB 企业级 (WD3001FYYG) 硬盘尺寸 :3.5 英寸硬盘容量 :3000GB 缓存 :32MB 转速 :7200rpm 接口类型 :SATA3.0 接口速率 :6Gb/s 2400 23
SCSI 硬盘 希捷 ST3300007LW 硬盘容量 :300GB 盘片数量 :4 张接口类型 :Ultra 320 SCSI 接口速率 :320MB/S 接口针数 :68pin 缓存 :8MB 盘体尺寸 :3.5 英寸转速 :10000 转 / 分 1600 24
SAS 硬盘 希捷 Cheetah 600GB (ST3600057SS) 硬盘容量 :600GB 盘片数量 :4 单碟容量 :146GB 接口类型 :SAS2 接口速率 :6Gb/s 缓存 :16MB 纠错盘体尺寸 :3.5 英寸转速 :15000 转 / 分 3000 25
硬盘存储模式 硬盘主要用于计算机数据 程序的存储, 硬盘的存储容量决定于盘片数与面密度 硬盘工作原理 无论是 IDE 还是 SCSI, 采用的都是 温彻思特 技术, 都有以下特点 : 1 磁头, 盘片及运动机构密封 2 固定并高速旋转的镀磁盘片表面平整光滑 3 磁头沿盘片径向移动 4 磁头对盘片接触式启停, 但工作时呈飞行状态不与盘片直接接触 盘片 : 硬盘工作原理盘片是将磁粉附着在铝合金 ( 或玻璃 ) 圆盘片的表面上. 这些磁粉被划分成称为磁道的若干个同心圆, 在每个同心圆的磁道上就好像有无数的任意排列的小磁铁, 它们分别代表着 0 和 1 的状态 26
硬盘存储模式 连接接口 ( 连接至主板通过 :) ATA (IDE)--Advanced Technology Attachment, 是用传统的 40- pin 并口数据线连接主板与硬盘的, 接口速度最大为 133MB/s, 已逐渐被 SATA 所取代 SATA ( 串行 ATA)--Serial ATA, 也就是使用串口的 ATA 接口 新一代的固态硬盘普遍采用 SATA-3 接口 SCSI--Small Computer System Interface( 小型机系统接口 ) SAS ( 串行 SCSI)--Serial Attached SCSI, 是新一代的 SCSI 技术, 和 SATA 硬盘相同, 都是采取串行式技术以获得更高的传输速度, 可达到 6Gb/s FC--Fibre Channel, 光纤通道接口, 拥有此接口的硬盘在使用光纤联接时具有热插拔性 高速带宽 (4Gb/s 或 10Gb/s) 远程连接等特点 ; 内部传输速率也比普通硬盘更高 限制于其高昂的售价, 通常用于高端服务器领域 27
独立磁盘冗余阵列 RAID 独立磁盘冗余阵列 RAID (Redundant Array of Inexpensive Disks) 技术 RAID 技术是在计算机的 SCSI 技术的基础上发展起来的, 可以把若干个硬盘加上控制器组成一个大容量 快速响应 高可靠性的存储子系统, 大大提高了数据传输率和存储容量, 同时利用纠错技术提高了存储的可靠性, 有读写速度快 存储容量大的特点针对不同应用使用不同技术, 称为 RAID level, 目前业界公认的标准是 RAID 0~RAID 5 大量用于非线性编辑设备 硬盘自动播出系统以及数字视频制播一体网 28
硬盘存储模式 RAID 0 模式 --Striping 简单的 RAID 模式, 又称为延展技术, 是通过 RAID 控制器把多个磁盘当成一个容量更大 速度更快的磁盘来使用 没有数据冗余功能, 由多个磁盘并发协同工作完成数据的读写, 数据被均匀分布在各个磁盘上 RAID 0 的优点是读写速度快, 价格便宜 ; 缺点是安全性相对较差, 因为在 RAID0 中的一个磁盘出现故障时, 整个阵列的数据将会丢失 29
硬盘存储模式 RAID1 模式 --Mirroring RAID 1 实际上是镜像技术的实现, 称为磁盘镜像 简单工作原理就是把相同的数据备份存放在两个驱动器, 当一个驱动器出现故障, 另一个仍然可维持系统的正常运转 恢复故障驱动器也是非常简单的, 只要把数据完好的备份拷贝到正常的磁盘上就可以了数据冗余换来的是数据安全相对低廉的价格和易用的特点使它已经成为 RAID 控制器的主流之一系统的实际有效磁盘空间仅为所有磁盘空间的一半 30
硬盘存储模式 RAID 3 模式 RAID 3 是利用专门奇偶校验实现的延展技术, 就是应用延展技术将数据分布到阵列的各个驱动器上, 同时用专门的驱动器存储用于校验的冗余信息优点就是既通过延展技术提高了性能, 又利用专门的奇偶校验驱动器来容纳冗余信息, 以保证数据的安全一般至少需要三块磁盘 : 两块用于延展, 一块作为专门的奇偶校验驱动器 RAID 3 是把数据分成多个 块, 按照一定的容错算法, 存放在 N+1 个磁盘上, 实际数据占用的有效空间为 N 个磁盘的空间总和, 而第 N+1 个磁盘上存储的数据是校验容错信息当这 N+1 个磁盘中的其中一个磁盘出现故障时, 从其他 N 个磁盘中的数据也可以恢复原始数据, 这样, 仅使用这 N 个磁盘也可以带伤继续工作 ( 如采集和回放素材 ), 当更换一个新磁盘后, 系统可以重新恢复完整的校验容错信息 31
硬盘存储模式 RAID 3 模式 RAID 3 是利用专门奇偶校验实现的延展技术, 就是应用延展技术将数据分布到阵列的各个驱动器上, 同时用专门的驱动器存储用于校验的冗余信息优点就是既通过延展技术提高了性能, 又利用专门的奇偶校验驱动器来容纳冗余信息, 以保证数据的安全一般至少需要三块磁盘 : 两块用于延展, 一块作为专门的奇偶校验驱动器 RAID 3 是把数据分成多个 块, 按照一定的容错算法, 存放在 N+1 个磁盘上, 实际数据占用的有效空间为 N 个磁盘的空间总和, 而第 N+1 个磁盘上存储的数据是校验容错信息当这 N+1 个磁盘中的其中一个磁盘出现故障时, 从其他 N 个磁盘中的数据也可以恢复原始数据, 这样, 仅使用这 N 个磁盘也可以带伤继续工作 ( 如采集和回放素材 ), 当更换一个新磁盘后, 系统可以重新恢复完整的校验容错信息 32
硬盘存储模式 RAID 5 模式 RAID 5 和 RAID 3 的原理非常类似, 磁盘的有效使用空间也是一样的, 只是其算法以及数据分块方式有所不同 RAID 5 是一种储存性能 数据安全和存储成本兼顾的存储解决方案 33
硬盘存储模式 RAID 6 模式 与 RAID 5 相比,RAID 6 增加第二个独立的奇偶校验信息块 两个独立的奇偶系统使用不同的算法, 数据的可靠性非常高, 即使两块磁盘同时失效也不会影响数据的使用 但 RAID 6 需要分配给奇偶校验信息更大的磁盘空间, 相对于 RAID 5 有更大的 写损失, 因此 写性能 非常差 34
硬盘存储模式 RAID 0+1 (RAID 10) 模式 --Striping after Mirroring 复合使用 RAID 0 是为了提高磁盘性能, 使用 RAID 1 为了提高容错性能采用 RAID 0 和 RAID1 的组合, 即由两个完全相同配置的 RAID 0 形成镜像关系, 既提高了阵列的读取速度, 又保障了阵列数据的安全性 当然, 为此付出的代价是价格昂贵 35
硬盘存储模式 RAID 级别的选择有三个主要考虑因素 : 可用性 ( 数据冗余 ) 性能和成本 如果不要求可用性, 选择 RAID 0 以获得最佳性能 如果可用性和性能是重要的而成本不是一个主要因素, 则根据磁盘数量选择 RAID 1 如果可用性 成本和性能都同样重要, 则根据一般的数据传输和磁盘的数量选择 RAID 3 RAID 5 在数字媒体资产的存储应用中,RAID 3 比较适合大文件类型且安全性要求较高的应用, 视频编辑 磁盘播出机 大型数据库等 ; 而 RAID 5 适合较小文件的应用, 如文字 图片 小型数据库等 36
光盘存储模式 DVD 是新一代的大容量存储设备, 其特点是寿命长 性能稳定 技术成熟 DVD 光盘是以随机存取方式记录和读取数据, 其突出的优点是能够快速装载, 通常光盘库的自动装载系统可以在数秒钟内将盘片装入驱动器 ; 具有较好的交换特性, 便于与计算机系统连接, 也适合网络传输 容量与种类 单层 DVD 的存储容量是 4.7GB, 可存放 132 分钟的 MPEG_2 标准的影片双层双面技术的 DVD 光盘存储容量达 17GB, 能连播放 8 小时的广播级节目蓝光光碟 (Blu-ray Disc, 简称 BD) 用以存储高品质的影音以及高容量的数据存储, 一个单层的蓝光光碟的容量为 25GB DVD 可分为只读 ( DVD-ROM) 只写一次(DVD-R) 和可重写 (DVD- RAM) 三种 37
磁带技术 传统的数据保护方式 : 磁带驱动器 世界上第一台计算机磁带驱动器 :IBM 726 (1952) 汇聚了 60 多年磁带技术研发的精髓 容量 提升 4000 倍 可靠性 提升 150 倍 200 MB 800,000 MB MTBF 25,000 hours 10% Duty Cycle MTBF 250,000 hours 100% Duty Cycle IBM 2401 HP 88780 IBM 3592 IBM LTO-4 38
磁带技术的发展历程 1949 年, 磁带从实验室诞生 1952 年, 第一个磁带单元问世 1974 年, 首部自动化磁带存储设备 -3590 大容量磁带子系统 (MSS) 诞生 1984 年, 首款方形磁带盒代替传统的圆轴磁带 1996 年 SONY 推出 AIT 磁带技术 20 世纪 90 年代末, 推出 LTO 磁带技术 2001 年推出 Super DLT(SDLT) 格式 2002 年 SONY 推出 S-AIT 技术, 单盘容量 500GB 2003 年推出第二代 LTO 产品, 单盘容量 200GB; 推出第三代 SDLT 产品 -SDLT600 2005 年推出第三代 LTO 产品, 单盘容量 400GB; 2007 年推出第四代 LTO 产品, 单盘容量 800GB,120MB/s; 2010 年推出第五代 LTO 产品, 单盘容量 1.5TB,140MB/s; 2012 年推出第六代 LTO 产品, 单盘容量 2.5TB, 160MB/s 39
为什么磁带技术 60 年长盛不衰? 60 多年历史, 证明磁带技术稳定可靠 磁带容量和传输速率方面持续稳定的增长 可重复使用, 便于移动运输, 没有更好的方式出现替代磁带 保存寿命长, 超过 30 年 容量高, 成本低 : 单盘容量超过 1TB 每 MB 存储成本低于半美分 现在, 每 GB 的成本将低于 5 美分 允许无人操作的自动备份 存储 40
磁带存储技术的主要应用 数据备份 灾难导致存储数据被破坏或完全丢失系统管理员及维护人员的误操作计算机设备故障, 其中包括存储介质的老化 失效病毒感染造成的数据破坏 Internet 上 黑客 的侵入和来自内部网的蓄意破坏 数据归档及海量存储 大数据量长期保存访问频率低 41
数据流磁带存储模式 所谓数据流磁带是按分类方法区别于启停方式的一种磁带记录格式, 它将数据连续地写在磁带上, 每个数据块间插入记录间隙, 使磁带机在数据块间不启停, 从而简化了磁带机的结构 数据流磁带是一种基于字节流方式传输的设备, 其传输速率和运行是稳恒的 所以为了与输出速率适配, 通常需要将磁带上的数据复制到硬盘上, 然后由硬盘输出到实际需要数据的外部设备 数据流磁带是以磁带的宽度为标准, 大体上可以分为三大类型 : 第一类是 1/2 英寸磁带技术, 如 3590 9840 LTO DLT/SDL 等 ; 第二类是 8 毫米磁带技术, 如 AIT Mammoth 等 ; 第三类包括非标准磁带技术, 如 DTF DST 等 42
数据流磁带存储模式 数字媒体资产数字化存储的需求往往需要几十 TB 几百 TB 甚至 PB 级的容量 目前数据流磁带机技术向着更大容量 更快速度 更小空间 更高可靠性以及智能化的方向发展, 因此数据流磁带库已成为影视处理中心 媒体资料库必需具备 不可替代的存储设备 磁带存储从自动加载向磁带库方向发展, 从小型库向大型库发展 ; 磁带库通过 SAN (Storage Area Network) 系统可形成网络存储系统, 让用户轻松实现远程数据访问 数据存储备份, 或通过磁带镜像技术实现多磁带库备份 SONY DMS-8400 超大型数据流磁带库 43
存储模式综述 综上所述的分析可以看出, 较为理想的存储模式为 : 磁盘阵列作为在线存储介质数据流磁带作为离线存储介质选用 DVD 光盘塔或数据流磁带作为近线存储介质 44
2. 数字媒体资产的存储格式 存储格式的选择应权衡质量和压缩效率 存储格式 ( 压缩格式 ) 选择应遵循的主要原则有 : 信号质量必须能够满足编辑和再利用的要求 ; 在保证信号质量要求的前提下, 尽量提高压缩效率, 降低存储和数据传输成本 ; 压缩格式要具有兼容性和开放性, 确保在与其他格式进行转换时损失较小以适应媒体其他业务的需要 ; 存储格式应具有较长的生命周期等 45
2. 数字媒体资产的存储格式 压缩方式压缩特点适用范围 M-JPEG 支持无损压缩或者非常低的压缩比, 支持场方式, 压缩效率低, 帧内压缩 编辑 MPEG-2-I 帧帧内压缩, 压缩效率低,IMX 支持二倍速采集编辑 MPEG-2-IBP 帧间压缩, 压缩效率高 播出 存储 传输 编辑 MPEG-1 可变码率帧间压缩, 可变画面大小, 压缩效率高,VHS 质量 软编和网络浏览 MPEG- 4 压缩优化针对低码率, 是面向对象的内容描述软编和网络浏览 46
2. 数字媒体资产的存储格式 MPEG-4 MPEG-4 在制订时是定位为窄带网络 (Internet 移动网络等) 提供视音频服务 MPEG-4 音频编码的优越之处在于, 它不仅支持自然声音, 而且支持合成声音 MPEG-4 的音频部分将音频的合成编码和自然声音的编码相结合, 并支持音频的对象特征从而保证了低码率下的音频质量 在一般情况下,800Kbps 的 MPEG- 4 与 1.5Mbps 的 MPEG-1 3.5Mbps 的 MPEG-2-IBP420 4.5Mbps 的 MPEG-2-422 6Mbps 的 M-JPEG 图像质量相当 47
2. 数字媒体资产的存储格式 结论 : 在媒体资产管理系统中, 视音频数据可以采用不同的存储格式以适应不同业务和应用的需要 用于交流共享的高画质并且长期保存的媒体资料使用 MPEG- 2-I 帧 MPEG-2-IBP 帧文件格式存储 同时建立一个镜像的低码流 MPEG-1 MPEG-4 格式文件, 或 ASF/GZ 和 JPEG 格式文件, 用于媒体资料下载粗编 浏览 检索 48
3. 存储技术和架构 直接附加存储 (Direct Attached Storage, DAS) 存储区域网络 (Storage Area Network, SAN) 网络附加存储 (Network Attached Storage, NAS) 基于 IP 的网络存储技术 (iscsi) 49
四种存储架构 -DAS SAN iscsi NAS DAS SAN iscsi NAS 应用服务器 应用服务器 应用服务器 应用服务器 应用服务器 文件系统 文件系统 文件系统 NFS, CIFS Ethernet SCSI FC Switch Switch Ethernet Switch RAID RAID RAID 文件系统 RAID 50
DAS ( 直接附加存储 ) 主机群 时间 :80 年代 最早应用于大型封闭主机, 相关外部设备价格昂贵 RAID RAID RAID 磁盘阵列 1 磁盘阵列 2 磁盘阵列 3 51
DAS ( 直接附加存储 ) 存储设备只用于与独立的一台主机服务器连接, 其他主机不能使用这个存储设备 ; 硬件堆叠, 不带有任何存储操作系统 ; 依赖服务器主机的操作系统进行数据的读写和存储维护管理, 数据备份和恢复等操作均需占用服务器主机的资源 ; 每台服务器单独拥有自己的存储空间, 容易形成存储 孤岛, 容量再分配困难 ; 没有一个集中管理解决方案 52
SAN ( 存储区域网络 ) 存储区域网络 (SAN,Storage Area Network), 是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用网络 SAN 采用可扩展的网络拓扑结构连接服务器和存储设备, 每个存储设备不隶属于任何一台服务器, 所有的存储设备都可以在全部的网络服务器之间作为对等资源共享 SAN 特别适合于服务器集群 灾难恢复等大数据量传输的领域 53
SAN ( 存储区域网络 ) SAN 网络架构 54
SAN ( 存储区域网络 ) SAN 组成 : 连接服务器和客户端计算机的局域网 (LAN) 服务器 存储管理应用软件 采用单个控制台监控存储系统 高容量和高效存储设备 SAN 设备 集线器 交换机 服务器和存储设备采用一种存储资源环境 基于光纤的存储网络称为光纤通道 SAN(FC SAN) 基于以太网的存储网络则称为 IP SAN, 例如 iscsi 55
SAN ( 存储区域网络 ) 应用领域 : 1) 数据共享 : 由于存储设备的中心化, 大量的文件服务器可以低成本的存取和共享信息, 而同时也不会使系统性能有明显的下降 ; 2) 存储共享 : 两个或多个服务器可以共享一个存储单元, 这个存储单元在逻辑上可以被分成多个部分, 而每个部分又连接在特定的服务器上 ; 3) 数据备份 : 使用 SAN, 数据备份操作可以独立于原来的网络, 对异构平台服务器和多数据形式进行集中备份, 从而能够提高操作的性能和管理的集中 ; 4) 灾难恢复 : 使用 SAN, 可以采用多种手段实现数据的自动备份, 而且这种备份是热备份形式, 也就是说, 一旦数据出错, 立即可以获得该数据的镜像内容 56
FC SAN 以光纤通道技术构建的 SAN 在链路中使用光纤介质, 不仅完全可以避免因传输过程中各种电磁干扰, 而且可以有效达到远距离的 I/O 通道连接 在 FC-SAN 中所使用的核心交换设备 - 光纤交换机均带具有高可靠性及高性能的 ASIC 芯片设计, 使整个处理过程完全基于硬件级别的高效处理 57
NAS ( 网络附加存储 ) 网络附加存储 (Network Aattached storage, NAS) 是一种连接到局域网的基于 IP 的文件共享设备 ; 一台专用服务器为网络提供档案管理服务 通常服务器会为用户提供 NFS, CIFS, 或 NetWare 存储空间, 而利用 TCP/IP 作网络协议 Sun HP Windows NAS Ethernet SCSI DATA 58
NAS ( 网络附加存储 ) NAS 提供服务器整合的优势, 消除了对多个文件服务器的需求 NAS 通过文件级的数据访问和共享, 提供存储的整合 NAS 是一个优越的存储方案, 使得客户可以快速和直接共享文件, 而且只需要很小的存储管理开销 NAS 也帮助消除当从通用服务器访问文件时, 用户面临的瓶颈问题 59
NAS 整体结构 FTP FTP 60
NAS 和 SAN 比较 NAS 和 SAN 最大的区别就在于 NAS 有文件操作和管理系统, 而 SAN 却没有这样的系统功能, 其功能仅仅停留在文件管理的下一层, 即数据管理 从这些意义上看,SAN 和 NAS 的功能互为补充, 同时 SAN 的服务器访问数据的时候不会占 LAN 的资源, 但是 NAS 结构的服务器都需要和文件服务器进行交互, 以取得自己请求的数据, 因此,NAS 结构在速度慢的 LAN( 如 10/100M 网络 ) 上几乎不具有任何优势和意义 由于 G 位和 10G 位以太网的出现, 使得 NAS 结构的这一缺陷自然消失,NAS 方案获得了巨大的生命力和发展空间, 同时 SAN 和 NAS 相比不具有资源共享的特征 61
基于 IP 的网络存储技术 iscsi(internet Small Computer System Interface),Internet 小型计算机系统接口, 又称为 IP-SAN, 是一种基于因特网及 SCSI-3 协议下的存储技术, 由 IETF 提出, 并于 2003 年 2 月 11 日成为正式的标准 与传统的 SCSI 技术比较起来,iSCSI 技术有以下三个革命性的变化 : 把原来只用于本机的 SCSI 协议透过 TCP/IP 网络传送, 使连接距离可作无限的地域延伸 连接的服务器数量无限 ( 原来的 SCSI-3 的上限是 15) 由于是服务器架构, 因此也可以实现在线扩容以至动态部署 62
基于 IP 的网络存储技术 IP 存储网络结合了 NAS 和 SAN 两者的优点 : 一方面它采用 TCP/IP 作为网络协议, 使得它具有 NAS 易于访问的特点 ; 另一方面它又有独立专用的存储网络结构, 基于 IP 的存储网络可以使用以太网技术和设备来构建专用的存储网络 此外, 基于 IP 的网络存储还具有以下优点 : 由于 IP 及以太网的技术和产品容易得到, 从而可以大大降低用于建立和管理基于 IP 存储网的设备和人员的费用 由于以太网的速度比光纤通道的速度提升得快, 基于 IP 存储网的性能必然也会快速提高由于 IP 技术没有距离限制, 而且可以同时支持 SAN/LAN/WAN, 所以基于 IP 存储网可支持远距离备份和恢复 光纤通道与 IP 交换机间的互连可以解决互操作性方面的问题 63
网络存储架构的选择 就目前而言性能和可靠性最高, 但是其成本也最高 存储空间的 SAN: 控制和使用通过主机实现, 需要消耗主机资源 适合那些对可靠性和性能要求很高, 基于数据库方式存储和访问的业务数据 就目前而言, 性能和可靠性还没达到 SAN 水平, 但是其成本较 NAS: SAN 低廉且管理也相对比较简单 存储空间的控制和使用通过磁盘阵列实现, 不需要消耗主机资源 适合于那些基于文件方式存储和访问, 且这些文件需要被前端多套主机共享访问的业务数据 iscsi: 其在存储逻辑上和 SAN 完全一致, 但是成本比较低, 当然目前来看, 其性能和可靠性相对 SAN 来说较低 适合在项目成本紧张时, 那些对可靠性和性能要求相对较低, 基于数据库方式存储和访问的业务数据 64
4. 数字媒体资产的分级存储策略 分级存储的概念 即在线存储 近线存储 离线存储和混合存储 1. 在线存储 在线存储是指存储设备永久连接在计算机系统中, 并随时保持可实时快速访问的状态, 在线存储设备一般采用磁盘阵列 在线存储的成本较高, 使其存储容量受到一定的限制, 但其响应速度快 读写速率高 传输码率大 文件易于检索 对于近期采集的媒体素材 编辑好的资料 准备播出的内容和供 VOD 点播的节目等采用在线存储 65
4. 数字媒体资产的分级存储策略 分级存储的概念 2. 离线存储 离线存储是指存储设备或存储介质平时没有装在计算机系统中, 在存取数据时需要将存储设备或存储介质临时性地装载或连接到计算机系统中, 数据访问完成后可以脱开连接 离线存储一般将视音频素材或信息记录在数字磁带上, 然后将磁带存放在磁带库内, 利用编目和条码技术来人工识别需要内容的存储方式 优点是存储容量大 存储成本低廉 其缺点是无法快速随机检索查询, 存储寿命仍然有限, 对存储的环境要求较高 66
4. 数字媒体资产的分级存储策略 分级存储的概念 3. 近线存储 近线存储介于在线存储和离线存储之间, 既可以做到较大的存储容量, 又可以获得较快的存取速度 近线存储设备一般采用自动化的数据流磁带或者光盘塔, 其存储的视音频数据经过了数字压缩编码, 用于存储那些与在线设备发生频繁读写交换的内容 67
4. 数字媒体资产的分级存储策略 分级存储的概念 4. 混合存储 混合存储是以上三种存储方式的混合, 这是目前比较流行的做法 因为它能提供最好的性能价格比 例如联网的 RAID 硬盘阵列存储能连接到自动化的近线数据流磁带库, 而同时离线存储的数字录像带能用作离线时的编辑 68
4. 数字媒体资产的分级存储策略 分级存储的概念 多级存储策略 在分级存储结构中, 数据流磁带库等单位成本较低的存储资源用来存放访问频率较低的数字内容, 而磁盘阵列等成本高 速度快的设备用来存储经常要访问的数字内容 69
4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 1. 数据迁移原理 在分级存储系统中, 通过存储管理软件中各种可设定的迁移策略将离线存储 近线存储和在线存储设备管理起来数据的存储和迁移均由后台服务软件控制进行 系统的迁移可以充分利用空闲时段, 集中处理数据迁移, 以提高系统网络带宽的利用效率 70
4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 2. 以主机为中心的存储结构原理 数据 71
4. 数字媒体资产的分级存储策略 分级存储的网络结构原理 3. 以 SAN 为中心的存储结构原理 数据 72
4. 数字媒体资产的分级存储策略 在中, 基于 SAN 应用主要有 : 分布式文档中, 对音视频文件及元数据的归档和访问非线编应用的文件共享实时播放和传输的本地或远程控制, 远程视频流的现场投稿节目交换视频传送的视频点播或电子商务应用 73
5. 数字媒体资产存储系统设计原则 存储系统设计的基本原则 1. 实用性 2. 先进性 3. 可扩展性 4. 安全性 5. 可管理性 6. 开放性 74
5. 数字媒体资产存储系统设计原则 不同存储技术相结合的原则 将硬盘技术 数据流磁带技术和光盘塔技术结合起来可以达到更优的性能, 同时能节省成本在结合不同的存储方式时, 要使得所选择的组件 网络和结合的架构没有控制 带宽或其他方面的瓶颈各种存储方案在传输速率方面的兼容性是非常重要的, 以保证过载时不会发生数据丢失 75
本章小结 对数字媒体资产的存储介质进行了分析比较, 包括硬盘存储模式 光盘存储模式 数据流磁带存储模式 不同的存储介质适用场合不同 阐述了压缩编码技术, 对不同的存储格式 ( 压缩标准 ) 进行了比较 讨论了数字媒体资产的存储技术和架构 讨论了数字媒体资产的分级存储策略, 包括分级存储的概念 分级存储的网络结构原理 给出了数字媒体资产存储系统的设计原则 76