幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

怪些谈
5 years ago
Views:

1 面临的问题 / 挑战 NVST- 太阳观测数据高速存储报告人 : 刘应波, 王锋单位 : 中科院云南天文台 : 云南省计算机技术应用重点实验室日期 :

2 NVST 简要介绍一米新真空红外太阳望远镜 [1] 主要进行太阳高分辨率的太阳成像光谱以及磁场观测, 高精度地同时探测太阳光球色球磁场及其动力学特征观测模式 : 多通道多波段当前主力观测波段 : TiO-band(7058Å) G-band(4300Å) H-alpah(6562.8Å) [1]

3 NVST 数据基本情况 Camera -Pco.2000, 4000 scmos; -NEO Andor scmos; Channel No. of Camera Resolution (pixels) Rate (fps) Total Speed (MB/s) Total Speed (GB/hr) TiO-band(7058Å) G-band(4300Å) H-alpah(6562.8Å) Total

4 NVST 未来数据挑战增加观测波段 6503Å, 8452Å, 10803Å, 增加其他需求增加即时数据计算需求, 例如, 实时的数据计算等, 并行的数据读写导致 I/O 需求翻倍提高采集帧速率现在的 5-10fps, 期望 20fps, 40fps, 60fps, 70fps, 例 : 在 70fps 的时候, 存储落地带宽 : H-alpah(6562.8Å)=1407MB/s,

5 常用服务器存储相关部件带宽硬盘 Barracuda XT 2TB(ST AS): 持续数据传输率 -138MB/ 秒, 接口标准 -SATA 6Gb/ 秒网络 1GE- 实际吞吐量小于 125MB/s, 10GE- 实际吞吐量小于 1250MB/s 外围设备接口 PCI-E x1 双向 400MB/s,x4 双向 800MB/s,x8 双向 1.6GB/s 南北桥总线以 Intel 为例,Intel x48 芯片组, DMI 单向 1GB/s, X79 芯片组, DMI 单向 1.3GB/s

7 1.FITS 观测监控存储数据数据合成前置采集服务器前置机数据采集模式

8 NVST 数据存储情况云南天文台抚仙湖观测站

9 以 NVST 为代表的太阳数据存储需求高性能数据存取 - 支持高质量 scmos 观测数据稳定的长时间数据读写 - 支持全天候连续数据观测顺序 I/O 和随机 I/O - 流式观测数据存储, 即时数据查看, 实时计算高扩展性 - 满足多通道, 多波段, 海量数据存储可管理可维护

10 提高存储性能两种思想纵向扩展 (Scale-up) 升级硬件软件资源, 例如 : - 机械硬盘换固态硬盘 - 内存容量, 性能升级 -1GE->10GE/Infiniband - 横向扩展 (Scale-out) 克服了物理机架和模块的限制, 例如 : - 分布式并行存储 ( 商业和开源产品 )

11 分布式并行存储 Clients Data Server Metadata Server

12 前置数据采集模式 1.Front-End Servers 2.Clients Data Servers MetaData Servers 分布式并行存储模式

13 NVST Camera I/O 性能是关键存储结构图采集服务器... 计算服务器集群元数据服务器索引服务器 Internet 存储服务器集群存储池 : 临时存储 - 归档 Web 服务器 FTP 服务器

14 The I/O 软件栈 [1] High-Level I/O Library Maps application abstractions onto storage abstractions and provides data portability HDF5,Parallel netcdf,adios Application High-Level I/O Library I/O Middleware I/O Middleware Organizes accesses from many processes, especially those using collective I/O MPI-IO I/O Aggregation Bridges between app. Tasks and storage system and combines operations to reduce randomness of I/O IBM ciod I/O Aggregation Parallel File System I/O Hardware Parallel File System Maintains logical space and provides efficient access to data PVFS, PanFS,GPFS,Lustre [1]R. Latham, C. Daley, W. Liao, K. Gao, R. Ross, A. Dubey, and A. Choudhary, A case study for scientific I/O: improving the FLASH astrophysics code, Computational Science & Discovery, vol. 5, no. 1, pp , 2012.

15 分布式并行文件系统文件系统透明使用数据存储容量和 I/O 性能横向扩展维护和管理麻烦, 需要专门支持团队

16 分布式并行存储的性能和扩展性单通道性能 64M 多通道性能扩展性

17 Lustre 典型应用环境典型应用环境 1. Capture Environment 2. Parallel Environment 1 没有开源 [1]

18 NVST Camera 存储结构图采集服务器... 计算服务器集群元数据服务器索引服务器 Internet 存储服务器集群存储池 : 临时存储 - 归档 Web 服务器 FTP 服务器

19 ... MetaData Servers Clients Data Servers Data Collection System Distributed/Parallel File System

20 OBS-SITE OBS-DATE Temperature Telescope EXP-TIME... Astro Metadata Coordinates Astro Data JPEG FITS Image FITS Table Catalog BMP MetaData Servers Clients Data Servers Data Collection System Distributed/Parallel File System

21 Data Processing... Data Indexing Data Publishing OBS-SITE OBS-DATE Temperature Telescope EXP-TIME... Astro Metadata Coordinates Astro Data JPEG FITS Image FITS Table Catalog BMP MetaData Servers Clients Data Servers Data Collection System Distributed/Parallel File System

22 总结分布式并行是解决当前 NVST 高速大数据存储的有效方式 ; 并行读写读写分离分级存储 ; 现在的分布式并行的存储系统属于通用系统, 可能需要一些定制的功能 ;

定位 : 太阳观测领域存储元数据 : 带外方式容量扩展 IO 扩展主要关注性能扩展安全

23 定位 : 太阳观测领域存储元数据 : 带外方式容量扩展 IO 扩展主要关注性能扩展安全 Scale Out 1. 应用考虑 - 直接使用现有开源系统 - 现有系统上功能增减 - 重新实现存储系统 2. 4 月份分布式存储原型 libpaxos libevent leveldb GlobalAstroTable 冗余策略 Solar File Storage(SFS) 流式数据存储数据分片安全数据校验策略数据很大的情况下, 冗余占用双倍甚至更多存储空间, 类似校验码校验数据完整性

24 谢谢

F4

DOI:10.3969/j.issn.1009-6868.2016.01.002 网络出版地址 :http://www.cnki.net/kcms/detail/34.1228.tn.20151117.1506.006.html Challenges and Countermeasures of Network Space Security 周延森 /ZHOU Yansen 周琳娜