汹涌澎湃汹涌澎湃汹涌澎湃汹涌澎湃

Size: px

Start display at page:

Download "汹涌澎湃汹涌澎湃汹涌澎湃汹涌澎湃"

裹墀扶
7 years ago
Views:

1 第 2 章使用 Oracle Streams 毫无疑问, 数据复制是 Oracle Streams 最常见的应用 Oracle Streams 在处理很多业务需求时非常有用, 因为它可以传输复制的数据并允许管理员灵活地定制信息流 Oracle Streams 的一个关键优势是可以在不同的硬件平台和 Oracle 数据库版本之间复制数据这个特性保证不同硬件平台之间的数据库迁移只需要很少的甚至是不需要停工时间, 并且不会有数据丢失这个特性还简化了数据库平台和应用程序的升级过程, 不必停工本章将介绍 Oracle Streams 的其他一些应用, 特别是在不同的数据复制环境下 Oracle Streams 的使用方法

2 16 第 Ⅰ 部分 Oracle Streams 简介 2.1 数据复制 Oracle Streams 简化了对象及其数据在多个数据库之间的共享对任意一个数据库中对象所做的可以传播到所有其他参与复制的数据库 Oracle Streams 可以捕获并复制对所做的 DDL 和 DML 可以在数据库层模式层数据层, 甚至是在数据子集上配置对这些的复制当的结构或列数据类型不同时,Oracle Streams 支持复制数据到中在复制过程中, 可以对模式或列重命名, 也可以增加或删除任意组件 ( 捕获组件传播组件和应用组件 ) 中的列单向复制单向复制可能是 Oracle Streams 复制中使用最广的方法, 同时也是最容易配置的复制环境需要两个数据库参与单向复制 : 一个数据库作为源数据库, 另一个作为目标数据库对源数据库所做的将被复制到目标数据库中如图 2-1 所示, 用户应用程序对数据库 A 中的数据做了, 这些会传播并应用到数据库 B, 以只读方式访问数据库 B 的应用程序可以得到该数据用户应用程序产生的 DDL/ DML 以只读方式访问数据库 B 的用户应用程序数据库 A 数据库 B 读入队传播出队应用来自数据库 A 的图 2-1 单向复制对于经常使用但资源消耗比较大的只读操作, 如复杂的查询或报告作业, 当需要把它们产生的负载分流到另一个数据库服务器时, 这个配置很适合目标数据库不允许对复制进行只有应用用户, 通常是 Streams 管理员, 才可以将复制的应用到这些中应用程序和用户可以本地的任何非复制当对整个源数据库进行单向复制时, 其配置可能与 Oracle Data Guard 的逻辑备用数据库相似但是与逻辑备用数据库不同的是,Streams 复制的数据库是以读 - 写模式公开的, 并且对在复制数据库上运行的应用程序提供准实时数据 Oracle Database 11g Data Guard 中有一个叫做活动备用数据库的新选项, 也在数据库应用时为应用程序

3 第 2 章使用 Oracle Streams 17 提供了类似的实时数据但是活动备用数据库不能为应用程序提供任何读 - 写模式的双向复制在两个数据库参与复制的环境中, 可以其中任意一个数据库, 然后将复制到另一个数据库两个数据库都捕获本地的并且将这些传播到在另一个数据库中运行的这叫双向复制它只不过是两个数据库之间的单向 Streams 复制活动的两个实例如图 2-2 所示, 数据库 A 和 B 中的用户应用程序对本地数据进行对数据库 A 所做的被应用到数据库 B, 同样, 对数据库 B 所做的也被应用到数据库 A 数据库 A 数据库 B 应用来自数据库 B 的出队传播来自数据库 B 的入队获取对本地数据库的获取对本地数据库的入队传播来自数据库 A 的出队应用来自数据库 A 的图 2-2 双向复制当需要保持本地数据库中的数据更容易被用户和应用程序访问时, 这个配置很适合这个配置也可以用于创建一个灾难恢复站点, 以主动 / 主动或主动 / 被动方式服务于那些数据库在双向复制中, 可以在两个数据库中同时相同的数据这样的会在另一个数据库的应用时导致数据冲突发生这会导致一个应用错误发生为避免这样的错误发生, 需要实现更新冲突处理存储过程理想状态下, 应该在应用程序设计时尽可能减少或排除数据冲突 Oracle 提供了一些类型的冲突处理程序如果这些不足以解决冲突, 可以自定义存储过程此外, 需要使用 Streams 标签以避免循环点对点复制可以将点对点复制看作对双向复制的扩展在这个配置中, 需要两个以上的数据库参与每个数据库都是其他每个数据库的源并且将本地传播到其他所有数据库中每个数据库都是所有其他数据库的目标数据库并且应用所有来自其他数据库的使用 Streams 标签, 不会再发送给源数据库

4 18 第 Ⅰ 部分 Oracle Streams 简介图 2-3 展示了三个数据库参与的这种配置用户应用程序对数据库 A B C 中的数据进行对数据库 A 所做的被应用到数据库 B 和 C, 对数据库 B 所做的被应用到数据库 A 和 C, 对数据库 C 所做的被应用到数据库 A 和 B 数据库 A 重做日志数据库 B 传播从数据库 B 到 A 的传播从数据库 A 到 B 的传播从数据库 A 到 C 的传播从数据库 C 到 A 的数据库 C 重做日志传播从数据库 B 到 C 的重做日志传播从数据库 C 到 B 的图 2-3 点对点复制当数据以分布式保存在多于两个的数据库中, 但是应用程序和用户需要一个统一的数据视图时, 该配置很适合和双向复制类似, 点对点复制也需要适当的冲突处理存储过程以及用于避免循环的 Streams 标签辐射型复制当数据需要从一个主数据库复制到多个从数据库时, 可以使用 Oracle Streams 提供的辐射型复制配置在一个辐射型复制配置中, 一个主数据库维护与其他所有数据库的连接主数据库作为中心, 其他的数据库作为支线每个不直接和其他通信在单个支线之间没有连接, 所有的信息都需要从这个架构的中心通过下面介绍辐射型配置的两个版本 1. 只读型支线在这种情况下, 中心或主数据库将本地的复制到所有的中支线数

5 第 2 章使用 Oracle Streams 19 据库不复制对象单个中心 - 支线的辐射型复制配置和单向复制类似图 2-4 展示了一个由三个和一个主数据库或中心数据库组成的辐射型复制配置中心数据库中的捕获到本地的并将其传播到三个中, 在每个中进行的将应用这些以只读方式访问数据库的用户应用程序以只读方式访问数据库的用户应用程序中心数据库以只读方式访问数据库的用户应用程序图 2-4 带只读型支线的辐射型复制 2. 读 - 写型支线在这种情况下, 中心数据库和所有的都可以复制对象这些通过中心数据库复制到剩余的数据库中捕获本地的并且将这些传播到中心数据库中中心数据库应用这些, 然后重新捕获这些并将其传播到剩余的中中心数据库中的捕捉进程捕获本地的以及由这些产生的, 然后将捕获的传播到相应的中需要使用 Streams 标签以确保不会发送回源图 2-5 展示了由两个和一个中心数据库组成的辐射型复制配置

6 20 第 Ⅰ 部分 Oracle Streams 简介中心数据库图 2-5 带读 - 写型支线的辐射型复制此外, 也可以将中心数据库配置为传播中心, 从而将一个中的转发到其他的中中心数据库不会在本地应用这些或捕获任何本地这是一个实现点对点复制的转发的示例这种点对点复制配置避免了需要连接每一个数据库到其他所有的数据库来复制数据的复杂性图 2-6 展示了这样的配置中心数据库图 2-6 带转发中心的辐射型复制

7 第 2 章使用 Oracle Streams 与非 Oracle 数据库的复制 Oracle Streams 提供了在 Oracle 和非 Oracle 数据库之间分享信息的机制这种异构的信息交换可以通过 Oracle 网关或者使用 Java 消息服务 (Java Messaging Service,JMS) 客户端来实现但是这些方法都不能满足应用程序系统的性能需求复制的延迟需求和吞吐量需求难以满足为提高性能和可用性,Oracle Database 11g R2 采用一个新的称作 XStream 的 API 来将数据发送到 Oracle 数据库并接收来自 Oracle 数据库的数据这个 API 允许 Oracle 数据库和其他系统之间共享信息其他系统可以是非 Oracle 数据库文件系统甚至是客户端应用程序 XStream 接口基于 Oracle Streams 基础设施构建而成, 并且提供和 Oracle Streams 同样的灵活性和功能不过,XStream 是作为一个附加的数据库选项并且需要单独授权关于 XStream 的详细内容本书不作讨论 2.2 数据仓库加载数据仓库或数据集市已经成很多业务不可分割的一部分这些数据库中的数据维护包括更新已有数据以及从事务和操作数据库中添加更多的数据通常, 这些操作都是一些常规操作并且非常耗时由于这些数据是从很多其他数据库中复制得来, 因此这可以看作另一种形式的数据复制可以使用 Oracle Streams 来捕获对操作数据库所做的这些可以在处理和应用到数据仓库之前存储在一个中间数据库中这样做可以避免阶段性的数据提取过程 Oracle Streams 也可以直接将这些应用到数据仓库的目标中, 以保证那些中的数据是最新的 Oracle Streams 提供了转换重新格式化和数据的灵活性, 以满足数据仓库应用程序对数据的要求这有助于屏蔽操作和数据仓库之间的差异, 便于数据仓库中数据的加载很多的数据转换, 比如从 LONG 到 LOB 的转换, 都由 Oracle Streams 自动完成用户自定义转换也可以在数据加载操作时进行配置 2.3 数据审计可以将 Oracle Streams 配置成一个审计机制来跟踪数据的在这种模式下, 不是去复制数据, 而是简单地捕获数据的由于可以灵活控制需要捕获的信息,Oracle Streams 提供了一个简单而有效的解决方案来跟踪和监视敏感及关键数据的可以使用 DML LCR 中的信息来审计 DML 除了模式列名以及列的旧值和新值之外, 还可以在 LCR 中包含额外的信息, 比如受到影响的行的行号进行操作的用户名以及发生位置的序列号和会话编号这些信息可以很容易地从 LCR 中提取, 并且存储在您自己的审计中跟踪和报告由 DBA 对数据库所做的 DDL 难度较大, 尤其是在缺乏严格的代码

8 22 第 Ⅰ 部分 Oracle Streams 简介控制机制时在很多情况下, 很少的 DBA 需要维护大量的数据库, 因为难度很大可以配置 Oracle Streams, 使之仅仅捕获 DDL 并且将其传播到其他的作为 DDL 审计容器的数据库中 DDL LCR 提供用于识别源数据库受影响的对象名以及的具体时间所需的所有信息通过在 LCR 中包含额外的信息, 也可以捕获进行操作的用户名以及发生位置的序列号和会话编号 2.4 数据保护为了防止不可预知的灾难对业务连续性的影响, 保护公司数据对几乎所有的业务都至关重要事实上, 对于全球化市场中的很多业务, 数据保护已经成为一个关键的需求在全球化市场中, 短短几分钟的储运损耗都会对收益产生较大影响 Oracle 提供了 Data Guard 来创建备用数据库以解决数据保护和业务连续性问题逻辑备用 (SQL Apply) 配置使用了一些和 Oracle Streams 一样的基础设施当主产品数据库丢失时, 备用数据库可以在原数据库恢复的过程中作为主产品数据库来使用使用 Oracle Streams 可以创建产品数据库的一个远程副本, 这个副本叫做复制数据库而不是备用数据库复制数据库是针对产品数据库的一个准实时镜像, 并且允许读 / 写访问产品数据库上的会复制到复制数据库上当主数据库不可用时, 可以命令应用程序使用复制数据库使用双向 Streams 复制功能, 原产品数据库一旦可用, 就可以立即将复制数据库中的数据与原产品数据库同步这样的配置可以为业务连续性提供所需的数据保护 2.5 消息管理 Oracle Streams 的高级管理 (Advanced Queuing,AQ) 组件是一个整合的消息基础设施, 支持消息管理系统的所有标准特性 Oracle Streams AQ 允许消息从一个传播到本地同一数据库或是远程数据库的另一个中, 这使得应用程序可以在分布式环境中进行异步通信 Oracle Streams AQ 的一个重要特性是提供了对消息的事务性支持应用程序可以在单个事务中管理数据和消息 Oracle Streams AQ 允许在数据库中创建, 支持对这些使用点对点模型和发布 - 订阅 ( 或多消费者 ) 模型可以配置这些, 使它们支持某种特殊的消息类型或是 ANYDATA 类型实际使用中的所有消息类型都可以封装到 ANYDATA 封装器中一旦创建, 用户应用程序就可以向中插入消息之后, 消息会传播到订阅用户应用程序在收到消息已经到达的通知后, 从中取出消息这些在内部的数据库中得到持续保存这些中的一行对应中相应的一个消息 Oracle Streams AQ 允许消息基于消息内容进行路由, 此外还支持基于规则的内容进

9 第 2 章使用 Oracle Streams 23 行路由 Oracle Streams AQ 系统支持消息转换, 可以在消息发送给订阅者之前转换消息格式 2.6 在数据库升级时减少停工时间当新的 Oracle 数据库版本发布时, 对于老版本最终将不再支持虽然应用程序可能还无法利用新版本中提供的新的或是改进的特性, 但是数据库还是需要更新到新版本以保证得到支持在升级过程中, 旧版本的数据库被转换到新版本通常会推荐或是要求在进行升级之前进行一次离线的数据库备份, 而这将导致应用程序的持续停工当前竞争激烈的全球商业环境并不能容忍这种停工 DBA 通常会被问到这个需要多久?, 而最常见的回答是这要看情况而定和我不知道, 我从来没有做过这个因此, 很多 DBA 会通过在他们小的测试数据库上做实验来推算停工的时间, 还有一些 DBA 会通过创建整个数据库备份的升级过程来测试 Oracle Streams 可以很大程度上减少甚至在某些情况下排除数据库停工时间, 而不管数据库升级需要多少时间在这种情况下, 需要使用 Streams 配置一个单源 (single-source) 的单向复制环境首先, 需要创建一个和当前源数据库版本一样的空目标数据库然后, 需要配置它们之间的数据库级别的 Streams 复制应用程序继续使用当前源数据库接下来停止源数据库的, 复制被挂起, 目标数据库则被升级一旦目标数据库完成升级, 复制就恢复所有在此期间对源数据库的都被复制到目标数据库一旦目标数据库和源数据库一致, 就将源数据库下线, 并转换应用程序使之使用目标数据库可以删除目标数据库的 Streams 配置这个操作过程也可以在进行操作系统升级或短暂的应用程序版本更换时用来减少停工时间 2.7 在进行维护工作时减少停工时间与数据库升级过程类似, 某些数据库维护工作也需要不可接受的停工时间这些工作包括将一个数据库迁移到另一个不同的硬件平台和操作系统环境中改变数据库的字符集改变模式对象来增强对应用程序的支持, 等等正如上一节所述, 可以配置一个单源的单向 Streams 复制环境之后维护工作就可以在应用程序继续使用源数据库时在目标数据库上执行当目标数据库和源数据库一致时, 就转换应用程序使之使用目标数据库并将旧的源数据库下线可以删除目标数据库的 Streams 配置

10 24 第 Ⅰ 部分 Oracle Streams 简介 2.8 本章小结 Oracle Streams 为数据复制需求提供了一个多用途的解决方案, 可以用于多个不同的复制场景但是, 数据复制并不是 Oracle Streams 的唯一应用 Oracle Streams 的灵活且易配置环境, 使得它可以为很多不同的业务需求捕获数据由于可以从和归档日志中捕获数据库并且在不同的硬件平台和 Oracle 版本之间复制这些, Oracle Streams 可以在进行数据库迁移和升级时减少或排除停工时间 Oracle Streams AQ 组件提供了一个整合的消息基础设施除了标准的消息管理特性之外, 它还提供对消息的事务性支持应用程序可以在单个事务中管理数据和消息 Oracle Streams 像一把瑞士军刀, 可以用来解决一系列的业务问题本章讨论的 Oracle Streams 的可行应用并不详尽, 所以在您特有的业务中可能找到 Oracle Streams 的其他应用

水晶分析师

水晶分析师大数据时代的挑战产品定位体系架构功能特点大数据处理平台行业大数据应用 IT 基础设施数据源 Hadoop Yarn 终端统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS