<Insert Picture Here> Oracle 最新的数据存储技术实现高性能的实时应用 杜平高级技术顾问
目录 数据库技术的发展方向及架构 传统数据库存储技术与新技术的区别
数据库最新技术发展方向 Exadata 集众多优势技术于一身 传统手段 发展趋势 - MPP Shared Nothing 架构 - Shared Nothing 与 Shared Disk 混合架构 VS - 纵向构建独立数据库单元 - 数据库虚拟化 资源池 VS - 按照均衡化配置手工配置 - 一体机 零配置 高扩展能力 快速部署 VS - 主机和存储交换机互联 - 通过 Infiniband 高速主机和存储互联 VS - 传统磁盘 IO - Smart Scan IO+Flash 闪存 IO, 提升 IO 性能 VS - 行压缩或列压缩 - 混合压缩 VS
数据库主流架构 :Shared Nothing 和 Shared Disk Shared Disk 和 Shared Nothing 是两种主要的数据库集群技术, 各自都有自身特点 最佳 OLTP 和最佳 OLAP 应用 Shared Disk 把数据传输到应用代码端 Shared Nothing 把应用代码移到数据端运行 当应用代码量很大 ( 高并发 ) 相关数据量比较小时,Shared Disk 更加适合这种典型的 OLTP 应用 ; 主要特点 : 高并发 高可用性 ( 由于数据共享, 当节点故障可以透明切换到其他数据库节点运行作业 ) 当相关数据量很大 ( 高并行 ) 而应用代码并 发量很小时,Shared Nothing 更加适合这种典型的 OLAP 应用 ; 主要特点 : 大数据量处理高并行 低并发 低可用性 ( 由于数据非共享, 当节点故障, 其他节点要接管故障节点数据 )
分布式分片数据库最佳线性扩展能力 数据分片 (Sharding) 的原理就是将数据做水平切分, 类似于 hash 分区的原理, 通过应用架构解决访问路由和数据合并的问题 Sharding 架构的优势在于, 集群扩展能力很强, 几乎可以做到线性扩展, 而且整个集群的可用性也很高, 部分节点故障, 不会影响其他节点提供服务 Sharding 原理简单, 容易实现, 是一种非常好的解决数据库扩展性的方案 但是 Sharding 对应用场景的要求很高, 因为一旦使用数据分片架构, 如果需要跨不同的节点做 join, 或者统计类型的操作, 将会变得非常困难, 应该尽量避免 所以说 Sharding 架构会损失部分关系型数据库的特性, 比如 join 数据全局性, 从而使数据库退化为 Key-Value store 类型的存储 所以, 并不是所有的应用都适合做 Sharding, 它可能会造成应用架构复杂或者限制系统的功能, 这也是它的缺陷所在
读写分离数据库架构最佳读取 IO 效率 读写分离架构应用也非常广泛, 很多网站都采用 cache+db 的读写分离架构, 通过 cache 层来承载大量的读访问 Cache 是一种广泛使用的 Key- Value cache, 它不具备持久化存储的功能, 所以它通常和数据库一起组成读写分离的架构, 由数据库承载数据持久化存储的功能, 而 Memcached 则用来承载大量的并发访问 通常的做法是 : 应用的读请求会首先访问 Memcached, 如果命中则返回, 如果没有命中, 则会去数据库中读取, 并将数据加载到 Memcached 中 关于新增, 修改和删除操作, 一般采用 lazy load 的策略, 即新增时只写入数据库, 并不会马上更新 Memcached, 而是等到再次读取时才会加载到 Memcached 中, 修改和删除操作也是更新数据库, 然后将 Memcached 中的数据标记为失效, 等待下次读取时再加载 Memcached 支持数据分区, 利用 hash 算法将数据分布到不同的服务器, 组成一个分布式的 cache 集群
Oracle Exadata VS Shared Nothing(Teradata,DB2) Worker 1 Worker 2 Worker 3 Worker 4 AMP 1 AMP 2 AMP 3 AMP 4 1 2 3 4 Exadata Exadata Exadata 1 2 3 4
Shared Nothing 数据库对 OLTP 在线交易支持能力差
传统数据仓库复杂的配置和扩容过程 网络互联配置规划 数据库存储规划
目录 数据库技术的发展方向及架构 传统数据库存储技术与新技术的区别
问题 1: 传统主机 + 存储的数据库架构的 IO 瓶颈问题 存储层 :1) 数据量不断增加, 带来的 IO 瓶颈 ; 2) 随着数据长时间运行带来的数据分布不均匀, 存在 IO 热点 网络层 : 传输带宽不足, 无法快速传输大量数据到服务器服务器层 : 接收过多数据进行处理, 内存优势无法发挥
问题 2: 传统存储阵列架构本身存在严重 IO 瓶颈 多 FC 硬盘和磁盘控制器的连接采用了 FC-LOOP, 存在多硬盘共享一条 4Gb 或者 8Gb 带宽的情况, 而且在数据传输时存在需要获得令牌而等待的情况 而 SAS 硬盘一般采用和磁盘控制器点对点连接的方式, 无需共享有限的上联带宽, 也无需获得令牌 目前高端存储也开始全面从 FC 盘向 SAS 盘迁移, 不论 HDS 的 VSP(HP 的 P8500) 和 IBM 的 DS8800 都不约而同地采用 SAS 硬盘
问题 2: 传统存储阵列架构本身存在严重 IO 瓶颈 Director Engine Virtual Matrix Interconnect 另一知名存储厂商高端存储吞吐量瓶颈 :8 对 4Gb loop 连接 960 块盘 50-120 块盘共享 4Gb/s 带宽
问题 2: 传统存储在使用 SSD/FLASH 上存在瓶颈 每个后端 DA 通道 10 万 IOPS
问题 2: 传统存储在使用 SSD/FLASH 上存在瓶颈
HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 问题 3: 复杂的数据库系统均衡化配置 FC-Switch1 FC-Switch2 每台机器有 2 个 CPU 所有 4 个服务器一共能同时处理数据 :2 * 200MB/s * 4 = 1600 MB/s 任何部件配置不均衡会导致系统瓶颈 数据库配置需要考虑下面所 每台机器有 2 个 2 Gb HBA 卡有部件配置 : 所有 8 个 HBA 卡能处理数据 : 8 * 200MB/s CPU: 数量和速度 = 1600 MB/s HBA (Host Bus Adapter): 数量和速度 Switch speed 理能力, Controller: 两台一共支持数量和速度 1600 MB/s Disk: 数量和速度 每个交换机口能够支持 2Gbit 的吞吐能力, 每个交换机能够支持总共 800MB/s 的数据处 每个磁盘组 DA 有一个 2Gbit 的控制器 所有 8 个磁盘控制器能处理数据 :8 * 200MB/s = 1600 MB/s Disk Array 1 Disk Array 2 Disk Array 3 Disk Array 4 Disk Array 5 Disk Array 6 Disk Array 7 Disk Array 8 每块磁盘的数据处理能力为 20MB/s, 所以一个磁盘组至少需要 10 快磁盘来达到 200MB/s 的数据处理能力
问题 4: 复杂的系统扩容问题 均衡化配置方法论 分区和 HA 规划 网络互联配置规划 数据库存储规划
问题 5: 系统独立 资源无法共享 数据一致性问题有些资源过度, 有些资源不足, 同时数据一致性难以保证
问题 6: 海量数据面临的高成本和扩展性问题 1PB 2PB = 海量数据由于压缩比低, 需要大量的存储 大量的存储需要大量的机房 供电 制冷 维护 极大的投资和运维成本
Oracle Exadata 混合型架构兼备 Shared Nothing Shared Disk 分片式数据库 读写分离数据库架构 具备良好的普适性架构 :Shared Nothing and Shared Disk 数据库服务池 A 数据库服务池 B 数据库处理层 (Shared Disk) 数据库资源池. 超高速并发网络层 880Gb/s/ 机架 智能存储层 (Shared Nothing) 存储资源池 InfiniBand 交换网络 Exadata Cell Exadata Cell Exadata Cell SunFire SunFire SunFire Exadata 提供一种混合式的数据库架构, 能够有效解决两者的冲突, 吸取两种架构长处 ; 既可以满足 OLTP 的高并发 高可用特点 ; 又可以满足 OLAP 的大数据量处理要求 ; 20
自动存储管理 (ASM) 是一个数据库文件系统, 提供集群文件系统和卷管理能力, 集成到 Oracle 数据库 11g 的核心, 没有附加的成本 减少成本和复杂性, 不影响性能和可用性 简化的和自动的数据库存储管理 增强的存储的利用率和灵活性 可预期提供的性能和可用性
ASM 故障组
条带化和镜像示例
故障示例
性能不会随着时间下降 100 ASM 相对基线的比例 (TPS) 80 60 40 20 0 TIME Non-ASM (Gets out of tune in time)
Oracle Exadata 对多代系兼容解决 : 分组管理 Disk Group Screen reader hint: This slide contains a diagram that is explained in the speaker notes. Disk 1 Disk 2 Disk 3 Disk 4 Disk 5 Disk 6 File 3 File 4 File 1 File 2
Questions..