PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

袁姬
5 years ago
Views:

1 OpenStack 文件服务 Manila & CephFS

2 概述为什么云上要有文件系统服务在云上如何才能支撑文件系统服务 OpenStack 的方案 :Manila UnitedStack 的方案 :Ceph+Manila Q & A

3 概述为什么云上要有文件系统服务

4 文件系统服务文件系统服务是企业存储的刚性需求根据 IDC 2012 数据,65% 的数据存储是以文件的形态存在的大量的传统应用需要使用文件系统作为存储媒介云上支撑企业应用要求文件系统服务企业应用上云, 自然对传统的 SAN/NAS 会有需求连普通家庭用户都用上 NAS 了, 云呢?

5 概述在云上如何才能支撑文件系统服务 OpenStack 的方案 :Manila

6 Manila 项目概况安全的多租户的文件共享即服务类似 Cinder 但是提供的是文件共享服务现在支持 NFS 和 CIFS

7 Manila 项目概况客户用例 65% 的磁盘空间被用来作为文件存储管理和配置共享文件系统的技术难度较高大部分客户通过脚本自动化工具等进行配置项目主导者 NetApp Mirantis 项目近况已经有 Juno 的 stable 分支

8 Manila 的几个关键概念 Share( 一个共享文件系统的实例 ) 用户指定大小访问协议共享类型可被多个实例并行访问 Share Access Rule(ACL) 定义哪些客户端可以访问 Share 根据 IP 地址进行定义 Share Network( 共享网络 ) 定义客户端访问 Share 使用的 Neutron 的网络及子网一个 Share 只能属于一个 Share Network

9 Manila 的几个关键概念 Security Service( 安全服务 ) 用户安全服务 (LDAP Active Directory Kerberos 等 ) 一个 Share 可以被关联至多个安全服务 Snapshots( 快照 ) 共享文件系统的只读副本可以从快照创建共享文件系统服务 Backend Share 服务的提供者一个 share 必然属于一个 backend Driver( 驱动 ) 后端文件共享服务的具体实现, 例如 GPFS Glusterfs EMC VNX 等

10 Manila 的 API 概述

11 Manila 的 API 概述

12 Manila 的架构 : 进程列表 manila-api 通过 WSGI 应用实现了 REST API manila-scheduler 对 share 的请求进行配置决策 manila-share 每个 backend 对应一个 manager 进程与后端的存储子系统进行通信

13 Manila 的多租户隔离 Manila 的多租户隔离依赖于 OpenStack 的网络实现目前看最靠谱隔离方式 : 使用私有网络隔离

14 Manila 的 Driver 支持情况 Generic Share Driver NFS/CIFS NetApp Data ONTAP EMC VNX Islion IBM GPFS Redhat GlusterFS Oracle ZFSSA Huawei V3 Storage

15 Manila 的 Generic Share Driver 创建一个 Nova 实例, 通过 Cinder 的 Volume 来提供 NFS/CIFS 共享服务每个 Share Network 创建一个 Nova 实例连接到已存在 Neutron 网络及子网中创建 Nova 实例使用的 Nova 的 flavor Glance 的 image SSH Keypair 均是 Manila 配置的 Manila 通过 SSH 对 Nova 实例进行配置

16 Manila 项目面临的问题相对于块存储, 文件存储的复杂性更高认证 :LDAP Active Directory 网络 : 依赖 Neutron SDN 进行保护和隔离协议 :NFS/CIFS 相对于 block device 的直接 attach 相对于块存储, 文件存储对存储和网络的要求更高存储的 Throughput 要够大,Latency 要够低网络的 Throughput 也要够大, Latency 也要够低相对于块存储, 文件存储需要同时满足 Scale-out 和 Scale-up 性能要求高空间要求大

17 概述在云上如何才能支撑文件系统服务 UnitedStack 的方案 :Ceph+Manila

18 UnitedStack 的方案除了 EMC IBM NetApp Huawei,Cinder 还有 Ceph 除了 EMC IBM NetApp Huawei, Manila 有什么呢?

19 CephFS 概述 CephFS: 高性能分布式文件系统 CephFS 是 Ceph 最初的设计目标 2010 年 3 月 CephFS 客户端进入内核 0.56 版本文件系统基本稳定解决两个核心问题 : 如何实现高性能吞吐 : 分布式存储系统 (RADOS) 如何实现高性能 OPS 分布式元数据存储 (MDS Cluster)

20 CephFS 的三方架构 Clients MDS RADOS 数据路径与元数据路径分离的全分布式设计高并发, 高吞吐, 高 IOPS 性能容量线性横向扩展

21 CephFS 的数据存储 Clients MDS RADOS 所有数据都存在于 RADOS 中客户端直接与 RADOS 通讯可达到超高吞吐量与横向扩展充分利用 RADOS 的容灾特性所有元数据全部存在 RADOS 中 MDS 只承担计算任务简化 MDS 容灾与集群设计充分利用 RADOS 的容灾特性

22 CephFS 的客户端视图 CephFS Linux 提供三种访问方式 : Kernel client Fuse Client libcephfs UnitedStack 提供 Windows 原生客户端提供媲美 Linux 原生客户端的性能

23 CephFS 的客户端 IO 流程 Client MDS RADOS metadata request write metadata object metadata response ack write data object ack

24 CephFS 的两个创新 RADOS 对象存储 CRUSH 冗余容灾负载平衡 MDS 元数据处理元数据集群动态子树分区目录分片

25 RADOS 对象存储 Object oid data attr oid data Attr 用于标示查找获取对象全局唯一二进制数据流可能是任意长度键值对集合用于存储对象相关的元数据 RADOS ObjectA ObjectB ObjectC ObjectD ObjectX 对象可以视为一个完整而独立的数据每一个对象通过其对象 id(object ID/oid) 进行标示对象的内容包含数据和扩展属性两部分

26 RADOS 对象存储 RADOS 提供了以对象为存储单元的存储服务 : 每个对象具有一个对象名称 (object id) 对象的定位通过对对象名称进行 CRUSH 实现对象之间相互独立

27 RADOS 的强一致性支持 RADOS 采用了主 - 从节点的驱动机制,Write-All-Read-One, 强一致性 Primary: 接受 Client 请求, 执行本地数据操作驱动 Replica, 并等待 Replica 操作完成向 Client 返回响应 Replica: 根据 Primary 请求, 执行本地操作向 Primary 返回操作完成的响应 Client Primary Request 写入 N 1 N 2 N 3 Nn Replica Replica Replica

28 CephFS 的两个创新 RADOS 对象存储 CRUSH 冗余容灾负载平衡 MDS 元数据存储元数据集群动态子树分区目录分片

29 元数据的存储优点 : 与 RADOS 存储方式结合良好加载目录内容速度快方便实现基于目录的负载平衡缺点 : 硬链接的处理逻辑复杂不支持基于 Inode 的反向查找元数据以目录为单位存储在 RADOS 中元数据的处理实际是对象的修改

30 元数据集群 - 动态子树分区初始状态由 mds.0 管理所有元数据随着目录热度增加,mds.0 将目录分散到其它 mds 客户端在将缓存目录 -mds 映射关系, 直接与相关 mds 通讯目录仍然不是负载平衡的最小单位, 目录分片才是

31 元数据集群 - 目录分片目录可以被拆分为更小单位 : 目录分片每一个目录分片包含一部分目录项目录分片大小可以不同目录分片可以动态调整目录分片的拆分过程 : (k=1,v=0) (k=2,v=2) (k=2,v=3) 目录项 : {a, b, c, d, e, f, g} 目录项树的叶子节点 : = {g, a}, 1 = {b}, 2 = {d}, 3 = {}, 4 = {}, 5 ={c}, 6= {f}, 7 = {e} 目录分片 Frag1{0, 1, 2, 3} => {a, b, d, g}, Frag2{4, 5} => {c}, Frag3{6, 7} => {e, f}

32 现状与未来特性基础特性 : 动态伸缩负载平衡容灾 fuse 客户端性能特性 : 元数据集群元数据缓存功能特性 : 快照配额 ACL(PR) 性能单 mds 元数据性能 :2000+OPS 单客户端吞吐量 :1GB/s 问题元数据集群模式尚不稳定, 未达到生产环境要求快照的设计过于复杂, 未达到生产环境的要求 CephFS 已被社区作为下一阶段开发重点

33 Manila 的现状 Nova Glance Cinder Manila Neutron LocalFS LocalFS Swift Ceph GlusterFS LVM SAN Ceph Create A Share = Create A Nova Instance + Create A Cinder Volume

34 UnitedStack 的方案 Nova Glance Cinder Manila Neutron Ceph Create A Share = Create A CephFS Namespace

35 THX

Dell EMC Data Domain DDOS 5.5 Data Domain Data Domain Data Domain : Data Domain Boost (DDBoost) Dell EMC DDBoost Data Domain DDBoost Source De-Dup Bac

Dell EMC Dell EMC IT Dell EMC IT Dell EMC https://www. dellemc.com/ Dell EMC Data Domain DDOS 5.5 Data Domain Data Domain Data Domain : Data Domain Boost (DDBoost) Dell EMC DDBoost Data Domain DDBoost