Microsoft Word - 高级复制 - Advanced Replication初步研究.doc

Transcription

1 关 于 Advanced Replication 的 初 步 研 究 Author:Kamus, yangtingkun, eygle Date:2004 年 3 月 一 概 述...1 二 MR 的 概 念 和 构 架...3 三 冲 突 解 决 方 案 的 概 念 和 构 架...9 四 冲 突 解 决 机 制 的 研 究...10 五 解 决 数 据 冲 突 -dbms_rectifier_diff 包...18 六 MVR 的 概 念 和 构 架...22 附 录 一 多 主 体 复 制 站 点 的 配 置 步 骤...34 附 录 二 物 化 视 图 复 制 站 点 的 配 置 步 骤...38 附 录 三 一 些 高 级 复 制 相 关 的 包 使 用 方 法...46 附 录 四 FAQ...50 一 概 述 1. Replication 使 用 分 布 式 数 据 库 技 术 在 多 个 站 点 之 间 共 享 数 据 2. Replicated Database 和 Distributed Database 并 不 一 样, 在 分 布 式 数 据 库 系 统 中 数 据 在 多 个 站 点 同 时 有 效, 但 是 一 个 表 只 会 存 在 于 一 个 站 点 中, 而 对 于 Replication 来 说 相 同 的 数 据 将 同 时 存 在 于 多 个 站 点 中 3. 使 用 replication 的 原 因 : 1) Availability: 也 就 是 提 供 了 优 秀 的 failover 保 护 2) Performance: 由 于 有 多 个 server, 所 以 可 以 将 用 户 业 务 分 布 在 不 同 的 server 上 3) Disconnected computing: 实 体 化 视 图 允 许 用 户 在 和 master 断 开 后 使 用 数 据 库 的 子 集, 在 重 新 连 接 上 master 之 后 再 进 行 两 者 的 同 步 4) Network load reduction: 由 于 有 多 个 server, 所 以 可 以 减 少 master 的 网 络 请 求 5) Mass deployment: 通 过 变 量 产 生 自 定 义 的 实 体 化 视 图 以 满 足 多 种 需 求 4. 在 不 同 的 Oracle 发 行 版 本 之 间 以 及 不 同 操 作 系 统 的 Oracle 之 间 都 可 以 使 用 Advanced

2 Replication 5. Replication 中 的 几 个 概 念 : 1) replication object: 复 制 对 象, 指 需 要 作 复 制 的 对 象 (object), 包 括 表, 索 引, 存 储 过 程 等 等 复 制 对 象 的 更 新 遵 循 事 务 一 致 性 规 则 (transactionally consistent manner) 2) replication groups: 复 制 组, 是 复 制 对 象 (replication object) 的 集 合 称 为 group, oracle 以 replication group 的 形 式 来 管 理 复 制 一 个 组 可 以 包 含 多 个 模 式 的 object, 一 个 模 式 也 可 以 有 多 个 组 中 的 object, 但 是 每 个 replication object 都 只 能 属 于 一 个 replication group 3) replication sites: 复 制 站 点, 包 含 两 种 类 型, 主 体 站 点 (master sites) 和 实 体 化 视 图 站 点 (materialized view sites) 一 个 site 可 以 担 任 一 个 replication group 中 的 mater site 同 时 又 担 任 另 外 一 个 replication group 中 的 materialized view site, 注 意 必 须 是 另 外 一 个 组, 而 不 能 是 同 一 个 replication group 4) scheduled links: 一 个 数 据 库 链 接 (database link), 包 含 一 个 由 用 户 定 义 的 计 划, 来 将 需 要 更 新 的 事 务 推 到 其 它 的 master sites, 当 创 建 scheduled link 的 时 候,oracle 将 在 本 地 任 务 队 列 中 创 建 一 个 任 务 5) master definition site: 主 体 定 义 站 点, 大 部 分 的 高 级 复 制 配 置 都 需 要 在 一 个 站 点 上 作, 这 个 站 点 就 是 maserdef site 6. Replication 环 境 的 几 种 类 型 1) Multimaster Replication 2) Materialized View Replication( 也 可 以 称 为 是 Single Master Replication) 3) Multimaster and Materialized View Hybrid Configurations Multimaster Replication 和 Materialized View Replication 的 区 别 在 于 : 前 者 必 须 是 全 表 复 制 而 后 者 可 以 是 master 表 的 一 部 分 前 者 允 许 在 每 一 个 transaction 之 后 都 进 行 复 制, 而 后 者 是 属 于 批 处 理 复 制 两 者 都 使 用 scheduled links 进 行 数 据 同 步 操 作 Materialized View Replication 中 的 materialized view 可 能 有 以 下 几 种 类 型 : 1) Read-Only Materialized Views: 只 读 的 实 体 化 视 图 2) Updatable Materialized Views: 允 许 更 新, 同 时 允 许 将 更 新 复 制 到 master site 3) Writeable Materialized Views: 允 许 更 新, 但 是 每 次 refresh 的 时 候, 更 新 都 会 丢 失 7. 介 绍 Multimaster Replication 中 的 复 制 方 式 1) Asynchronous replication 在 一 个 master 上 发 生 的 变 化 将 在 推 后 的 时 间 内 更 新 到 其 他 的 master 上 2) Synchronous replication 在 一 个 master 上 发 生 的 变 化 将 立 刻 更 新 到 其 他 的 master 上 3) Procedural replication 必 须 给 每 个 site 上 的 包 都 生 成 一 个 wrapper, 所 有 的 数 据 变 化 应 该 通 过 包 中 的 存 储 过 程 完 成, 当 某 个 master 上 的 procedure 被 调 用,wapper 将 保 证 其 他 site 中 的 存 储 过 程 也 被 调 用 ( 同 步 或 者 不 同 步 ) 将 大 量 的 数 据 操 作 放 到 一 个 procedure 中,

3 然 后 对 于 procedure 的 调 用 将 被 同 步, 用 处 在 于 在 于 有 大 数 据 量 操 作 的 时 候 可 以 减 少 网 络 负 载 二 MR 的 概 念 和 构 架 MR 是 Master Replication, 也 就 是 主 体 站 点 复 制 的 概 念, 是 高 级 复 制 区 别 于 普 通 复 制 的 一 个 重 要 的 功 能 本 章 节 对 于 MR 中 出 现 的 种 种 概 念 作 详 细 解 释 MR 分 为 single master 和 multi master 两 种 single master 指 一 个 master site 支 持 多 个 materialized view site, 而 multi master 则 包 含 多 个 master site Multimaster Replication 也 被 称 为 peer-to-peer 或 者 n-way replication, 任 何 一 个 master 上 发 生 的 变 化 都 将 被 送 到 其 它 的 master 上 1. 为 什 么 使 用 Multimaster Replication Failover: 当 主 数 据 库 发 生 问 题 的 时 候, 可 以 通 过 配 置 Oracle Net 来 实 现 automatic connect-time failover, 需 要 将 客 户 端 的 tnsnames.ora 中 的 FAILOVER_MODE 参 数 设 置 为 ON 同 时 在 主 数 据 库 正 常 的 时 候, 其 它 的 master site 仍 然 可 以 作 为 一 个 具 有 完 全 功 能 的 数 据 库 来 支 持 其 它 业 务, 比 如 报 表 等 Load Balancing:: 提 供 读 动 态 平 衡 以 及 更 本 地 化 的 数 据 存 取 2. 比 较 RAC(Oracle Real Application Clusters) 和 Advanced Replication Load Balancing:: 高 级 复 制 提 供 读 动 态 平 衡, 而 RAC 则 提 供 读 写 动 态 平 衡 因 为 每 一 次 写 操 作 都 会 在 所 有 的 replication site 上 体 现, 所 以 高 级 复 制 不 能 提 供 写 动 态 平 衡 Survivability:: 高 级 复 制 提 供 更 加 强 有 力 的 灾 难 恢 复 功 能, 因 为 高 级 复 制 环 境 中 的 各 个 site 可 以 位 于 物 理 上 的 不 同 地 点, 而 RAC 因 为 使 用 的 是 磁 盘 阵 列 或 其 他 类 型 的 并 行 系 统, 所 以 通 常 在 同 一 个 物 理 地 点 Interoperability: 高 级 复 制 可 以 在 不 同 平 台 和 操 作 系 统 的 Oracle 之 间 实 现, 而 RAC 环 境 则 必 须 运 行 在 相 同 的 平 台 上 3. Multimaster Replication Process Asynchronous Replication: 说 明 : 使 用 非 同 步 复 制 能 够 减 少 网 络 资 源 和 硬 件 资 源 的 消 耗, 但 是 不 同 的 master sites 之 间 会 有 一 段 时 间 不 同 步, 并 且 可 能 会 造 成 数 据 冲 突 以 下 描 述 非 同 步 复 制 的 过 程 : 1) 用 户 执 行 DML 操 作 或 者 执 行 replicated procedure 的 wrapper, 当 一 个 table 被 设 定 为 需 要 复 制, 那 么 对 于 此 表 的 任 何 DML 操 作 都 会 被 捕 获 并 且 复 制 到 其 他 的 master site 对 于 每 一 行 被 插 入, 更 新 或 者 删 除 的 数 据 都 将 由 一 个 内 部 触 发 器 来 创 建 一 个 deferred remote procedure call (RPC) 并 且 放 在 deferred transaction queue 中, 如 果 一 个 存 储 过 程 被 设 置 为 需 要 复 制 并 且 它 的 wrapper 被 执 行, 则 这 个 procedure call 被 放 置 在 transaction queue 中 由 于 内 部 触 发 器 是 由 Oracle 本 身 内 部 维 护 的, 所 以 可 以 以 最 小 的 系 统 资 源 消 耗 来 很 快 地 获 取 需 要 复 制 的 对 象 的 变 化

4 2) deferred transaction queue 中 保 存 着 所 有 的 deferred RPCs 每 个 site 都 有 一 个 事 务 队 列, 这 个 队 列 可 以 被 多 个 replication group 共 用 3) 在 指 定 的 间 隔 之 后 或 者 被 手 工 调 用, 事 务 将 被 传 递 到 其 他 的 site, 每 个 site 都 可 能 有 不 同 的 间 隔 4) 事 务 在 这 些 site 上 被 应 用, 如 果 出 错 该 事 务 将 被 放 置 到 一 个 错 误 队 列 中, 以 备 DBA 检 查 处 理, 如 果 出 现 数 据 冲 突, 冲 突 解 决 方 法 将 被 调 用, 如 果 冲 突 无 法 解 决 那 么 将 被 记 录 在 错 误 队 列 中 5) 当 事 务 在 所 有 的 remote master sites 上 被 成 功 执 行 之 后, 并 不 会 从 源 site 的 事 务 队 列 中 立 刻 删 除, 删 除 工 作 将 由 另 外 的 purge job 来 执 行, 此 job 的 执 行 间 隔 可 以 由 用 户 来 定 义 Synchronous Replication: 说 明 : 同 步 复 制 始 终 在 同 一 个 transaction 中 完 成, 如 果 整 个 环 境 中 的 任 何 一 个 site 没 有 成 功 执 行 事 务, 那 么 整 个 transaction 将 被 回 滚, 包 括 源 site 这 就 保 证 了 数 据 一 致 性 以 下 描 述 同 步 复 制 的 过 程 : 1) 用 户 执 行 DML 操 作 或 者 执 行 replicated procedure 的 wrapper, 操 作 被 内 部 触 发 器 立 刻 捕 获 2) 事 务 被 传 递 到 其 他 site 并 且 立 刻 执 行, 任 何 一 个 site 出 错, 就 回 滚 整 个 事 务 4. 冲 突 解 决 方 案 的 概 念 冲 突 的 类 型 : 更 新 冲 突, 唯 一 性 冲 突, 删 除 冲 突 当 发 生 冲 突 的 时 候, 冲 突 解 决 方 法 将 被 调 用 以 解 决 冲 突, 如 果 无 法 解 决, 则 被 记 录 到 目 标 站 点 的 错 误 队 列 中 记 录 到 错 误 队 列 中 的 冲 突 只 能 由 数 据 库 管 理 员 手 动 解 决 为 了 实 现 冲 突 解 决 方 案, 可 能 会 需 要 修 改 表 结 构, 比 如 如 果 使 用 最 新 时 间 戳 的 解 决 方 案, 那 么 就 应 该 在 表 中 添 加 一 个 timestamp 列 5. 配 置 高 级 复 制 的 工 具 1) 图 形 界 面 :Oracle Enterprise Manager 提 供 了 一 个 友 好 的 GUI 界 面 用 以 配 置 高 级 复 制 2) 命 令 行 方 式 :Oracle 提 供 了 一 套 replication management application programming interface (API) 来 支 持 用 户 编 写 自 定 义 的 脚 本 用 以 配 置 高 级 复 制, 这 些 API 是 一 系 列 的 PLSQL packages 实 际 上 GUI 界 面 的 高 级 配 置 工 具 也 是 调 用 这 些 API 来 完 成 配 置 的 注 意 点 : 在 高 级 复 制 环 境 中 的 对 于 需 要 复 制 的 对 象 作 任 何 DDL 操 作, 都 应 该 使 用 高 级 复 制 配 置 工 具 来 作, 比 如 利 用 DBMS_REPCAT 包 中 的 相 应 存 储 过 程 在 有 些 场 合 下 也 可 以 用 导 出 导 入 (EXPIMP) 来 创 建 复 制 对 象 在 SQL*PLUS 中 直 接 执 行 的 任 何 DDL 操 作 都 不 会 被 复 制 到 其 它 的 site 上 6. 高 级 复 制 中 的 几 个 角 色 Replication Administrator: 默 认 名 称 是 repadmin, 也 可 以 修 改 Propagator: 一 个 高 级 复 制 环 境 中 可 能 有 多 个 RA 来 管 理 不 同 的 schema, 但 是 只 能 有 一 个 propagator 将 延 迟 处 理 事 务 队 列 中 的 事 务 传 递 到 目 标 站 点 Receiver : 负 责 接 收 和 处 理 从 propagator 处 传 来 的 延 迟 处 理 事 务 可 以 通 过

5 DBMS_REPCAT_ADMIN 包 中 REGISTER_USER_REPGROUP 存 储 过 程 来 注 册 一 个 receiver 7. Database Links 数 据 库 链 接 在 高 级 复 制 环 境 中 提 供 了 数 据 传 送 的 通 道, 在 一 个 MMR 环 境 中, 如 果 有 N 个 Master Site, 就 会 有 N-1 个 数 据 库 链 接 在 MVR 环 境 中, 则 只 需 要 从 实 体 化 视 图 站 点 上 到 主 站 点 的 数 据 库 链 接 如 果 使 用 设 置 向 导 来 创 建 dblink, 则 会 在 USING 后 面 使 用 连 接 描 述 字 串, 而 不 是 连 接 服 务 名, 这 样 在 对 方 数 据 库 发 生 变 化 的 时 候, 就 必 须 删 除 重 建 现 有 的 dblink, 所 以 我 们 应 该 手 动 设 定 dnlink, 从 而 在 USING 后 面 使 用 连 接 服 务 名 这 样 即 使 对 方 数 据 库 改 变, 我 们 也 只 需 要 修 改 tnsnames.ora 中 的 配 置 即 可, 而 不 需 要 重 建 dblink 8. 可 以 进 行 复 制 的 对 象 Tables 当 一 个 对 象 被 复 制 到 目 标 站 点 上 时, 复 制 支 持 不 会 自 动 生 成 利 用 这 个 特 点 可 以 快 速 地 发 布 一 个 标 准 的 数 据 库 环 境 到 另 外 的 站 点 上 Indexes 作 为 约 束 的 索 引, 当 表 在 主 站 点 上 被 创 建 的 时 候, 会 自 动 在 复 制 站 点 上 创 建, 但 是 对 于 提 高 性 能 的 索 引 则 不 会 被 自 动 创 建 而 必 须 手 动 指 定 对 于 索 引 被 复 制 到 目 标 站 点 之 后, 等 同 于 本 地 的 索 引, 不 需 要 再 添 加 复 制 支 持 Packages and Package Bodies 存 储 过 程 中 的 所 有 参 数 必 须 是 IN 的,OUT 和 INOUT 不 被 支 持 存 储 过 程 和 函 数 也 必 须 定 义 在 包 中, 单 独 的 存 储 过 程 和 函 数 无 法 进 行 复 制 Procedures and Functions 虽 然 单 独 的 存 储 过 程 和 函 数 无 法 进 行 复 制, 但 是 仍 然 可 以 在 高 级 复 制 环 境 中 利 用 复 制 来 将 单 独 的 存 储 过 程 和 函 数 发 布 到 远 程 的 站 点 上, 就 像 在 远 程 站 点 本 地 创 建 的 一 样 User-Defined Types and Type Bodies 所 有 的 用 户 定 义 类 型 在 所 有 的 复 制 站 点 上 都 必 须 存 在 而 且 必 须 完 全 相 同 Triggers 一 个 比 较 重 要 的 应 用 就 是 在 DML 操 作 的 时 候 在 表 的 timestmap 列 中 插 入 当 前 的 系 统 时 间 为 了 防 止 触 发 器 被 重 复 调 用, 必 须 要 使 用 API 来 判 断 DML 操 作 是 在 本 地 发 起 的 还 是 通 过 高 级 复 制 传 递 过 来 的 如 下 例 : CREATE OR REPLACE TRIGGER hr.insert_time BEFORE INSERT OR UPDATE ON hr.employees FOR EACH ROW IF DBMS_REPUTIL.FROM_REMOTE = FALSE THEN :NEW.TIMESTAMP := SYSDATE; END IF; Views, Object Views, and Synonyms 只 是 简 单 地 复 制 到 其 它 站 点, 不 会 产 生 任 何 内 部 触 发 器 或 者 包 来 监 控 这 些 被 复 制 的 对 象 的 改 变 由 于 是 复 制 对 象, 所 以 仍 然 可 以 使 用 高 级 复 制 工 具 或 者 API 来 进 行 修 改 和 删 除 Indextypes 必 须 手 工 指 定 复 制 可 以 用 高 级 复 制 工 具 或 者 CREATE_MASTER_REPOBJECT 存 储 过 程

6 User-Defined Operators 复 制 情 况 跟 视 图, 同 义 词 等 相 同, 只 是 简 单 的 复 制 而 已 注 意 : 高 级 复 制 不 支 持 sequence 如 果 想 实 现 高 级 复 制 环 境 中 的 序 列 唯 一 性, 可 以 有 以 下 几 种 方 法 : 1. 使 用 SELECT SYS_GUID() OID FROM DUAL; 这 样 将 会 产 生 全 球 唯 一 的 GUID 2. 在 序 列 前 面 添 加 站 点 名 称, 比 如 唯 一 的 GLOBAL_NAME 3. 在 各 个 复 制 站 点 规 划 不 会 重 复 的 序 列, 比 如 站 点 A 的 序 列 从 1 开 始, 以 10 递 增, 站 点 B 的 序 列 从 3 开 始, 以 10 递 增 9. 高 级 复 制 环 境 中 的 队 列 Oracle 利 用 Internal Triggers 来 捕 获 对 象 变 化, 并 且 生 成 RPCs(remote procedure calls), RPCs 中 包 含 目 标 站 点 上 的 internal procedure 的 执 行 命 令 以 及 需 要 复 制 的 数 据,RPCs 存 储 在 deferred transaction queue 中, 当 一 个 RPC 到 达 目 标 站 点, 该 站 点 上 相 应 的 internal procedure 将 被 运 行 以 应 用 RPC 来 完 成 复 制 操 作 高 级 复 制 环 境 中 的 队 列 包 含 Deferred Transaction Queue,Error Queue 和 Job Queue Job Queue 中 包 含 的 作 业 有 三 种 : 将 延 迟 事 务 推 到 远 程 主 站 点 的 作 业, 将 已 经 应 用 过 的 事 务 从 延 迟 事 务 处 理 队 列 中 删 除 的 作 业, 刷 新 实 体 化 视 图 更 新 组 的 作 业 10. 管 理 请 求 (Administrative Request)- 管 理 机 制 什 么 是 管 理 请 求? 在 DBA_REPCATLOG 视 图 中 查 看 Administrative Requests 的 状 态 当 管 理 请 求 在 所 有 的 主 站 点 上 成 功 执 行 以 后, 管 理 请 求 将 从 所 有 的 主 站 点 包 括 主 体 定 义 站 点 中 的 管 理 请 求 队 列 中, 也 就 是 DBA_REPCATLOG 视 图 中 删 除 DBA_REPCATLOG 视 图 中 管 理 请 求 的 几 种 状 态 : 1) READY: 表 示 请 求 准 备 被 执 行 如 果 长 时 间 处 于 该 状 态, 可 以 手 动 执 行 DBMS_REPCAT.DO_DEFERRED_REPCAT_ADMIN 存 储 过 程 来 执 行 请 求 2) AWAIT_CALLBACK: 这 种 状 态 只 会 出 现 在 主 体 定 义 站 点 上, 表 示 正 在 等 待 其 它 的 主 站 点 执 行 请 求 并 且 返 回 结 果 3) ERROR: 表 示 请 求 执 行 错 误 4) DO_CALLBACK: 这 种 状 态 只 会 出 现 在 非 主 体 定 义 站 点 上, 表 示 要 通 知 主 体 定 义 站 点 请 求 执 行 的 结 果 11. 主 体 组 (Master Group)- 组 织 机 制 在 高 级 复 制 环 境 中,Oracle 用 复 制 组 来 管 理 复 制 对 象 而 在 多 主 体 复 制 (multimaster replication) 环 境 中 复 制 组 就 被 称 为 主 体 组 (Master Group) 在 不 同 的 复 制 站 点 上 的 相 应 主 体 组 中 必 须 包 含 相 同 的 复 制 对 象 12. Column Groups - 组 织 机 制 Column Group 是 在 冲 突 解 决 方 案 中 扮 演 角 色 的 多 个 字 段 的 集 合 如 果 组 中 的 某 个 字 段 引 发 了 冲 突, 那 么 其 余 的 字 段 可 以 用 来 作 解 决 这 个 冲 突 打 个 比 方, 如 果 一 个 表 的 column group 中 包 含 price 和 timestamp 字 段, 那 么 当 启 用 时 间 戳 冲 突 解 决 方 案 (timestamp conflict resolution routine) 时,timestamp 字 段 就 可 以 用 来 解 决 price 字 段 中 发 生 的 冲 突

7 可 能 刚 开 始 的 时 候 会 想 把 表 中 的 所 有 字 段 都 放 入 一 个 Column Group 中, 这 样 确 实 使 配 置 和 管 理 都 更 简 单 了 些, 但 是 却 会 降 低 复 制 的 性 能 并 且 可 能 会 引 发 潜 在 的 数 据 冲 突 在 后 面 的 性 能 机 制 部 分, 大 家 将 会 看 到 如 果 一 个 column group 中 发 生 了 冲 突, 那 么 oracle 的 最 小 化 通 信 功 能 (minimum communication feature) 将 不 会 从 其 它 的 column group 中 传 递 来 数 据 所 以 将 所 有 的 字 段 全 部 放 入 一 个 column group 将 减 弱 最 小 化 通 信 功 能 带 来 的 好 处, 除 非 使 用 了 DBMS_REPCAT 包 中 的 SEND_OLD_VALUES 和 COMPARE_OLD_VALUES 存 储 过 程 在 后 面 的 冲 突 解 决 方 案 的 概 念 和 体 系 结 构 章 节 中 将 会 有 更 详 细 的 描 述 13. 传 播 类 型 - 传 播 机 制 异 步 数 据 复 制 通 常 也 被 称 为 :store-and-forward data replication 同 步 数 据 复 制 通 常 也 被 称 为 :real-time data replication 由 于 同 步 复 制 采 取 的 锁 机 制, 所 以 当 同 时 更 新 同 一 行 数 据 时, 会 产 生 死 锁 的 现 象 当 同 步 更 新 一 个 复 制 表 时,Oracle 首 先 锁 住 本 地 行, 然 后 使 用 一 个 AFTER ROW 触 发 器 来 锁 住 远 端 的 行 当 事 务 在 所 有 的 站 点 都 提 交 之 后,Oracle 才 会 解 锁 同 步 数 据 复 制 极 为 依 赖 系 统 和 网 络 的 可 用 性, 因 为 只 要 当 复 制 环 境 中 的 所 有 站 点 都 可 用 时, 事 务 才 能 正 常 进 行 混 合 模 式 的 数 据 复 制 : 1) 假 设 创 建 了 A 是 masterdef site, 然 后 添 加 了 B 为 同 步 数 据 复 制, 再 添 加 C 为 非 同 步 复 制, 那 么 此 时 AB 之 间 是 同 步,AC 和 BC 之 间 都 是 非 同 步 2) 假 设 创 建 了 A 是 masterdef site, 然 后 添 加 了 C 为 非 同 步 数 据 复 制, 再 添 加 B 为 同 步 复 制, 那 么 此 时 AB 和 BC 之 间 是 同 步,AC 之 间 是 非 同 步 14. Initiating 方 法 - 展 开 机 制 当 使 用 同 步 复 制 的 时 候,DML 传 播 被 立 刻 处 理 并 且 被 自 动 展 开 如 果 是 使 用 异 步 复 制, 那 么 可 以 用 下 面 的 方 法 传 播 延 迟 事 务 : 计 划 作 业 : 大 部 分 场 合, 都 是 利 用 计 划 作 业 在 指 定 的 时 间 间 隔 后 自 动 传 播 延 迟 事 务 手 动 传 播 : 如 果 不 想 等 待 计 划 作 业 的 自 动 传 播, 也 可 以 利 用 存 储 过 程 或 者 复 制 管 理 工 具 来 手 动 传 播 改 动 15. 并 行 传 播 (Parallel Propagation) - 性 能 机 制 16. 最 小 化 通 信 (Minimum Communication) - 性 能 机 制 17. 延 迟 秒 数 (Delay Seconds) - 性 能 机 制 上 面 三 个 参 数 (15,16,17 值 得 好 好 研 究 并 且 进 行 调 整, 以 后 会 补 齐 这 部 分 内 容 ) 18. 复 制 保 护 机 制 : 在 多 主 体 复 制 环 境 中,Oracle 将 保 证 就 算 发 生 错 误 的 时 候, 事 务 传 播 也 不 会 丢 失, 同 样 同 一 个 事 务 也 不 可 能 传 播 两 次 正 确 的 传 播 并 不 以 为 着 延 迟 事 务 在 远 程 站 点 就 正 确 执 行 了, 可 能 因 为 无 法 解 决 的 冲 突 或 者 说 远 程 站 点 磁 盘 空 间 不 足 等 原 因 延 迟 事 务 执 行 失 败, 那 么 这 样 的 错 误 将 会 记 录 在 远 程 站 点 的 错 误 队 列 中

8 19. 数 据 传 播 的 依 赖 性 维 护 非 并 行 传 播 中,Oracle 按 照 本 地 站 点 的 事 务 commit 顺 序 来 在 远 程 站 点 应 用 事 务 而 并 行 传 播 中,Oracle 则 会 记 录 最 新 事 务 产 生 的 SCN, 如 果 存 在 事 务 之 间 的 依 赖 性, 那 么 Oracle 将 先 在 远 程 站 点 应 用 比 这 个 SCN 小 或 者 等 于 这 个 SCN 的 事 务, 然 后 再 应 用 这 个 最 新 的 事 务, 这 是 一 个 非 并 行 的 应 用, 只 有 当 不 存 在 事 务 依 赖 性 的 时 候, 才 会 真 正 利 用 并 行 来 应 用 延 迟 事 务 记 录 SCN 有 两 种 方 式, 一 种 是 数 据 块 级 别 的, 一 种 是 行 级 别 的 当 创 建 表 的 时 候, 如 果 使 用 了 : NOROWDEPENDENCIES, 这 是 默 认 属 性, 那 么 Oracle 将 会 以 数 据 块 级 别 方 式 来 记 录 SCN 这 样 存 储 在 同 一 个 数 据 块 中 的 多 行 记 录 都 只 会 有 一 个 最 新 的 SCN, 旧 的 会 被 新 生 成 的 覆 盖 ROWDEPENDENCIES, 那 么 将 对 表 中 的 每 一 行 都 记 录 SCN 在 同 一 个 数 据 块 中 的 多 行 记 录 将 分 别 保 留 自 己 的 SCN, 这 样 每 一 行 记 录 都 需 要 额 外 的 6 个 字 节 的 存 储 空 间 但 是 这 将 提 高 并 行 传 播 时 应 用 延 迟 事 务 的 效 率 ( 使 用 这 个 特 性, 要 求 数 据 库 的 初 始 化 参 数 中 COMPATIBLE=9.0.1 或 者 更 高 ) 可 以 使 用 以 下 SQL 来 检 查 那 些 表 启 用 了 这 个 特 性 : SQL> SELECT OWNER, TABLE_NAME FROM DBA_TABLES WHERE DEPENDENCIES = 'ENABLED'; 如 果 没 有 使 用 ROWDEPENDENCIES, 那 么 我 们 可 以 设 法 让 事 务 依 赖 性 最 小, 这 样 来 达 到 提 高 复 制 环 境 应 用 效 率 的 目 的 比 如 我 们 可 以 创 建 多 个 freelist, 这 样 可 以 在 大 量 insert 的 时 候 将 不 同 事 务 更 新 的 数 据 放 置 到 不 同 的 数 据 块 中 另 外 在 程 序 设 计 的 时 候, 我 们 也 应 该 尽 量 避 免 大 量 的 事 务 同 时 更 新 同 一 张 小 表 的 现 象 出 现, 比 如 说 有 些 应 用 会 设 计 一 张 小 表 来 模 拟 序 列 (Sequence), 用 以 生 成 唯 一 的 主 键 这 样 就 会 迫 使 多 个 事 务 同 时 更 新 同 一 个 数 据 块 对 于 这 种 情 况, 我 们 应 该 改 为 使 用 Sequence 并 且 缓 存 Sequence 的 生 成 20. 冲 突 解 决 机 制 为 了 正 确 地 侦 测 复 制 冲 突,Oracle 必 须 能 够 找 到 在 不 同 的 站 点 之 间 对 于 相 关 行 的 唯 一 标 示 这 就 要 求 在 复 制 环 境 中, 每 个 表 都 必 须 有 主 键, 如 果 没 有 主 键, 那 么 也 必 须 指 定 多 个 字 段 的 组 合 来 作 为 唯 一 标 示 Oracle 自 己 提 供 了 以 下 几 种 冲 突 解 决 方 案 : 1) Latest and Earliest Timestamp 2) Overwrite and Discard 3) Maximum and Minimum 4) Additive and Average 5) Timestamp 6) Priority Group 7) Site Priority 如 果 上 述 Oracle 提 供 的 解 决 方 案 无 法 满 足 应 用 的 需 求, 那 么 也 可 以 利 用 PLSQL 来 编 写 自 定 义 的 冲 突 解 决 方 案 下 面 章 节 我 们 将 进 一 步 研 究 冲 突 解 决 方 案

9 三 冲 突 解 决 方 案 的 概 念 和 构 架 基 本 上 我 们 在 设 计 系 统 的 时 候, 应 该 尽 量 避 免 产 生 冲 突, 但 是 如 果 必 须 允 许 在 多 个 主 体 站 点 同 时 对 复 制 对 象 的 更 改, 那 么 我 们 就 一 定 要 考 虑 冲 突 解 决 方 案 对 于 普 通 的 插 入 ( 主 键 冲 突 ), 更 新, 删 除 产 生 的 冲 突 很 容 易 理 解, 但 是 还 有 一 些 其 它 的 情 况 也 会 产 生 冲 突, 比 如 在 3 个 或 者 3 个 以 上 的 复 制 主 站 点 环 境 中, 可 能 会 产 生 下 面 例 子 中 的 这 种 Ordering Conflicts, 其 实 也 是 更 新 冲 突 的 一 个 例 子 这 个 复 制 环 境 中 有 A,B,C 三 个 主 站 点, 每 个 站 点 都 设 置 了 优 先 级,A 是 30,B 是 25,C 是 10, 而 x 则 是 被 分 配 了 site-priority 冲 突 解 决 方 案 的 column group 中 的 一 列 Site A Site B Site C Time Action 1 所 有 的 主 体 站 点 上 x = 站 点 A 更 新 x = 站 点 C 由 于 故 障 宕 机 了, 或 者 网 络 出 现 故 障. 5 2 down 4 站 点 A 将 更 新 推 到 站 点 B. 站 点 A 和 站 点 B 上 x = down 站 点 C 仍 然 不 可 用. 这 个 更 新 事 务 仍 然 保 留 在 站 点 A 的 队 列 中. 5 站 点 C 修 复 了, 此 时 站 点 C 上 x = 2. 而 站 点 A 和 站 点 B 上 x = 站 点 B 将 x = 5 更 新 为 x = 站 点 B 将 更 新 推 到 站 点 A. 站 点 A 和 站 点 B 上 x = 7. 站 点 C 上 x = 2. 8 站 点 B 将 更 新 推 到 站 点 C. 站 点 C 认 为 旧 值 x = 2; 站 点 B 推 过 去 的 旧 值 x = 5. Oracle 检 测 到 冲 突, 然 后 应 用 站 点 B 上 的 更 新 来 解 决 冲 突 因 为 站 点 B 上 设 置 了 优 先 级 25 比 站 点 C 上 设 置 的 优 先 级 10 要 高. 所 有 站 点 上 x = 站 点 A 将 延 迟 事 务 (x = 5) 推 到 站 点 C. Oracle 检 测 到 冲 突, 因 为 站 点 C 上 的 当 前 值 (x = 7) 和 站 点 A 上 的 旧 值 (x = 2) 不 符 合. 站 点 A 比 站 点 C 有 更 高 的 优 先 级 (30). Oracle 用 这 个 过 时 的 更 新 解 决 冲 突, 这 样 站 点 C 上 的 x = 5.

10 Site Site Site Time Action A B C 因 为 这 样 的 ordering conflict, 整 个 复 制 环 境 就 不 再 一 致 了. 四 冲 突 解 决 机 制 的 研 究 实 际 上 Oracle 的 dbms_rectifier_diff.differences 过 程, 内 部 操 作 就 是 执 行 连 个 minus 操 作 把 两 边 的 差 异 记 录 下 来, 作 为 冲 突 解 决 的 数 据 这 部 分 后 台 操 作 可 以 通 过 跟 踪 Oracle 进 程 得 到 : SQL> alter session set events '10046 trace name context forever,level 12'; Session altered. Elapsed: 00:00:00.02 SQL> begin dbms_rectifier_diff.differences( 2 SNAME1 =>'HAWA', 3 ONAME1 =>'TEST', 4 REFERENCE_SITE =>'AVATAR.COOLYOUNG.COM.CN', 4 SNAME2 =>'HAWA', 6 ONAME2 =>'TEST', 7 COMPARISON_SITE =>'AUTHAA.COOLYOUNG.COM.CN', 8 WHERE_CLAUSE =>NULL, 9 COLUMN_LIST =>NULL, 10 MISSING_ROWS_SNAME =>'HAWA', 11 MISSING_ROWS_ONAME1 =>'MISSING_ROWS_TEST', 12 MISSING_ROWS_ONAME2 =>'MISSING_LOCATION_TEST', 13 MISSING_ROWS_SITE =>'AVATAR.COOLYOUNG.COM.CN', 14 MAX_MISSING =>500, 15 COMMIT_ROWS => ); 17 end; 18 PLSQL procedure successfully completed. Elapsed: 00:00:01.97 SQL> alter session set events '10046 trace name context off'; 从 跟 踪 文 件 中 我 们 可 以 清 晰 的 看 到 ( 注 意 你 所 定 义 的 所 有 参 数 在 此 都 会 有 所 体 现 ):

11 1. 首 先 是 一 个 正 向 Minus DECLARE row_count BINARY_INTEGER := 0; missing_rows BINARY_INTEGER := 0; arowid ROWID; CURSOR c IS SELECT "DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" FROM "HAWA"."TEST" MINUS SELECT "DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" FROM "HAWA"."TEST"@authaa.coolyoung.com.cn; FOR r IN c LOOP missing_rows := missing_rows + 1; IF missing_rows > 500 THEN COMMIT; EXIT; END IF; INSERT INTO "HAWA"."MISSING_ROWS_TEST" ("DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" ) VALUES (r."datlogontime", r."numgender", r."numstatus", r."numuserid", r."vc2ip", r."vc2username" ); SELECT ROWID INTO arowid FROM "HAWA"."MISSING_ROWS_TEST" WHERE ( datlogontime = r."datlogontime" OR (datlogontime IS NULL AND r."datlogontime" IS NULL) ) AND ( numgender = r."numgender" OR (numgender IS NULL AND r."numgender" IS NULL) ) AND ( numstatus = r."numstatus"

12 OR (numstatus IS NULL AND r."numstatus" IS NULL) ) AND (numuserid = r."numuserid") AND (vc2ip = r."vc2ip" OR (vc2ip IS NULL AND r."vc2ip" IS NULL)) AND ( vc2username = r."vc2username" OR (vc2username IS NULL AND r."vc2username" IS NULL) ); INSERT INTO "HAWA"."MISSING_LOCATION_TEST" (present, absent, r_id ) VALUES ('AVATAR.COOLYOUNG.COM.CN', 'AUTHAA.COOLYOUNG.COM.CN', arowid ); row_count := row_count + 1; IF row_count >= 100 THEN COMMIT; row_count := 0; END IF; END LOOP; COMMIT; 2. 其 次 是 一 个 反 向 Minus DECLARE row_count BINARY_INTEGER := 0; missing_rows BINARY_INTEGER := 0; arowid ROWID; CURSOR c IS SELECT "DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" FROM "HAWA"."TEST"@authaa.coolyoung.com.cn MINUS SELECT "DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" FROM "HAWA"."TEST"; FOR r IN c

13 LOOP missing_rows := missing_rows + 1; IF missing_rows > 500 THEN COMMIT; EXIT; END IF; INSERT INTO "HAWA"."MISSING_ROWS_TEST" ("DATLOGONTIME", "NUMGENDER", "NUMSTATUS", "NUMUSERID", "VC2IP", "VC2USERNAME" ) VALUES (r."datlogontime", r."numgender", r."numstatus", r."numuserid", r."vc2ip", r."vc2username" ); SELECT ROWID INTO arowid FROM "HAWA"."MISSING_ROWS_TEST" WHERE ( datlogontime = r."datlogontime" OR (datlogontime IS NULL AND r."datlogontime" IS NULL) ) AND ( numgender = r."numgender" OR (numgender IS NULL AND r."numgender" IS NULL) ) AND ( numstatus = r."numstatus" OR (numstatus IS NULL AND r."numstatus" IS NULL) ) AND (numuserid = r."numuserid") AND (vc2ip = r."vc2ip" OR (vc2ip IS NULL AND r."vc2ip" IS NULL)) AND ( vc2username = r."vc2username" OR (vc2username IS NULL AND r."vc2username" IS NULL) ); INSERT INTO "HAWA"."MISSING_LOCATION_TEST" (present, absent, r_id ) VALUES ('AUTHAA.COOLYOUNG.COM.CN', 'AVATAR.COOLYOUNG.COM.CN', arowid ); row_count := row_count + 1;

14 IF row_count >= 100 THEN COMMIT; row_count := 0; END IF; END LOOP; COMMIT; 经 过 这 两 个 步 骤 的 操 作,Oracle 定 位 了 冲 突 数 据 可 是 注 意, 如 果 在 解 决 这 个 问 题 时 你 没 有 挂 起 复 制,Oracle 得 到 的 数 据 可 能 是 存 在 问 题 的 而 且, 如 果 你 不 指 定 column list, 那 么 两 边 的 数 据 可 能 会 因 为 某 些 特 殊 字 段 ( 如 时 间 字 段 ) 的 特 殊 处 理 而 存 在 差 异 那 么 这 时 候 手 工 介 入 不 可 避 免 我 们 首 先 先 把 两 个 重 要 参 数 的 用 法 说 明 一 下 一 个 是 WHERE_CLAUSE, 另 外 一 个 是 COLUMN_LIST WHERE_CLAUSE 用 于 限 定 进 行 差 异 比 较 的 范 围, 这 可 以 极 大 的 缩 减 结 果 集 的 数 量, 使 用 索 引 加 快 访 问 速 度 等 比 如 我 这 里 使 用 NUMGENDER=1, 只 比 较 性 别 为 " 女 " 这 一 部 分 用 户 数 据 COLUMN_LIST 用 于 限 定 比 较 字 段, 如 果 你 能 通 过 某 个 字 段, 如 主 键 等 确 定 数 据 差 异, 那 么 你 完 全 可 以 只 比 较 单 个 字 段 而 且 显 然 可 以 轻 易 通 过 全 索 引 扫 描 来 完 成 比 较, 加 快 比 较 速 度 我 这 里 使 用 NUMUSERID, 用 户 ID 来 比 较 但 是 注 意, 这 样 的 比 较 结 果 中 将 只 包 含 NUMUSERID 信 息, 当 然 我 们 可 以 轻 易 通 过 NUMUSERID 和 原 表 的 比 较 补 全 MISSING_ROWS_TEST 表 的 信 息 begin dbms_rectifier_diff.differences( SNAME1 =>'HAWA', ONAME1 =>'TEST', REFERENCE_SITE =>'AVATAR.COOLYOUNG.COM.CN', SNAME2 =>'HAWA', ONAME2 =>'TEST', COMPARISON_SITE =>'AUTHAA.COOLYOUNG.COM.CN', WHERE_CLAUSE =>'NUMGENDER=1', COLUMN_LIST =>'NUMUSERID', MISSING_ROWS_SNAME =>'HAWA', MISSING_ROWS_ONAME1 =>'MISSING_ROWS_TEST',

15 MISSING_ROWS_ONAME2 =>'MISSING_LOCATION_TEST', MISSING_ROWS_SITE =>'AVATAR.COOLYOUNG.COM.CN', MAX_MISSING =>500, COMMIT_ROWS =>100 ); end; 这 段 代 码 供 参 考 Ok, 我 们 继 续 前 面 的 讨 论 我 们 提 到, 如 果 存 在 差 异, 通 常 需 要 手 工 介 入 清 楚 了 DIFFERENCES 的 原 理, 实 际 上 我 们 完 全 可 以 手 工 来 完 成 这 个 过 程 以 下 是 我 的 手 工 操 作 步 骤, 目 的 是 为 了 准 确 性 及 减 轻 数 据 库 压 力 : 1. 首 先 创 建 一 个 ID 差 异 表 这 个 表 不 是 必 须 的, 这 里 是 为 了 清 晰 SQL> create table hawa.prof as select NUMUSERID from hawa.hw_user where 1=0; Table created. Elapsed: 00:00: 根 据 主 键 找 到 差 异 记 录 注 意 这 里 取 决 于 你 的 数 据 库 产 生 差 异 的 原 因, 我 的 差 异 由 于 初 始 数 据 不 同 步, 即 A 全 包 含 B 并 且,A>B SQL> insert into hawa.prof 2 select * from 3 ( 4 select NUMUSERID from hawa.hw_userprofile 5 minus 6 select NUMUSERID from hawa.hw_userprofile@authaa) rows created. Elapsed: 00:00: 创 建 记 录 表 SQL> create table hawa.missing_rows_hw_userprofile

16 2 as 3 select * from hawa.hw_userprofile where 1=0; Table created. Elapsed: 00:00: 创 建 位 置 (Location) 表 注 意 这 里 Oracle 需 要 记 录 缺 失 方 向, 和 具 体 记 录 的 ROWID, 这 个 ROWID 来 自 missing_rows_hw_userprofile SQL> create table hawa.missing_loc_hw_userprofile ( 2 present VARCHAR2(128), 3 absent VARCHAR2(128), 4 r_id ROWID); Table created. Elapsed: 00:00: 根 据 差 异 信 息 查 询 到 完 整 信 息 SQL> insert into hawa.missing_rows_hw_userprofile 2 select * from hawa.hw_userprofile where NUMUSERID in 3 (select * from hawa.prof); 263 rows created. Elapsed: 00:00:00.06 SQL> commit; Commit complete. Elapsed: 00:00: 构 造 位 置 信 息 注 意 这 里 的 方 向 信 息 及 ROWID 信 息 SQL> insert into hawa.missing_loc_hw_userprofile 2 select 'AVATAR.COOLYOUNG.COM.CN','AUTHAA.COOLYOUNG.COM.CN',rowid from hawa.missing_rows_hw_userprofile; 263 rows created. Elapsed: 00:00:00.00 SQL> commit;

17 Commit complete. Elapsed: 00:00: 纠 正 数 据 冲 突 SQL> DBMS_RECTIFIER_DIFF.RECTIFY( 2 SNAME1 =>'HAWA', 3 ONAME1 =>'HW_USERPROFILE', 4 REFERENCE_SITE =>'AVATAR.COOLYOUNG.COM.CN', 5 SNAME2 =>'HAWA', 6 ONAME2 =>'HW_USERPROFILE', 7 COMPARISON_SITE =>'AUTHAA.COOLYOUNG.COM.CN', 8 COLUMN_LIST =>NULL, 9 MISSING_ROWS_SNAME =>'HAWA', 10 MISSING_ROWS_ONAME1 =>'MISSING_ROWS_HW_USERPROFILE', 11 MISSING_ROWS_ONAME2 =>'MISSING_LOC_HW_USERPROFILE', 12 MISSING_ROWS_SITE =>'AVATAR.COOLYOUNG.COM.CN', 13 COMMIT_ROWS => ); PLSQL procedure successfully completed. Elapsed: 00:00: 验 证 结 果 SQL> select count(*) from hawa.hw_userprofile; COUNT(*) Elapsed: 00:00:02.22 SQL> select count(*) from hawa.hw_userprofile@authaa; COUNT(*)

18 Elapsed: 00:00:00.21 SQL> select count(*) from hawa.hw_userprofile; COUNT(*) Elapsed: 00:00:00.59 SQL>select count(*) from COUNT(*) Elapsed: 00:00:00.20 SQL> select NUMUSERID from hawa.hw_userprofile 2 minus 3 select NUMUSERID from hawa.hw_userprofile@authaa ; no rows selected Elapsed: 00:00:23.51 SQL> 五 解 决 数 据 冲 突 -dbms_rectifier_diff 包 很 多 时 候 在 高 级 复 制 中 可 能 存 在 数 据 冲 突 和 不 一 致 现 象 Oracle 提 供 的 dbms_rectifier_diff 包 可 以 用 于 解 决 该 冲 突 以 下 通 过 实 例 来 说 明 一 下 该 Package 的 用 法 1. 创 建 复 制 组 及 复 制 对 象 SQL> execute dbms_repcat.create_master_repgroup('rep_tt'); PLSQL procedure successfully completed SQL> select gname,master,status from dba_repgroup; GNAME MASTER STATUS REP_TT Y QUIESCED

19 SQL> execute dbms_repcat.create_master_repobject(sname=>'hawa',oname=>'test', type=>'table',use_existing_object=>true,gname=>'rep_tt',copy_rows=>false); PLSQL procedure successfully completed SQL> SQL> execute dbms_repcat.generate_replication_support('hawa','test','table'); PLSQL procedure successfully completed SQL> select gname, master, status from dba_repgroup; GNAME MASTER STATUS REP_TT Y QUIESCED SQL> select * from dba_repobject; SNAME ONAME TYPE STATUS GENERATION_STATUS ID OBJECT_COMMENT GNAME MIN_COMMUNICATION REPLICATION_TRIGGER_EXISTS INTERNAL_PACKAGE_EXISTS GROUP_OWNER NESTED_TABLE HAWA TEST TABLE VALID GENERATED 8620 REP_TT Y Y Y PUBLIC N HAWA TEST$RP PACKAGE VALID 8641 SYSTEM-GENERATED: REPLICATION REP_TT PUBLIC HAWA TEST$RP PACKAGE BODY VALID 8677 SYSTEM-GENERATED: REPLICATION REP_TT PUBLIC 3 rows selected SQL> SQL> execute dbms_repcat.add_master_database(gname=>'rep_tt',master=>'authaa.coolyoung.c OM.CN',use_existing_objects=>true, copy_rows=>false, propagation_mode => 'synchronous'); PLSQL procedure successfully completed SQL> execute dbms_repcat.resume_master_activity('rep_tt',true);

20 PLSQL procedure successfully completed SQL> select * from dba_repgroup; SNAME MASTER STATUS SCHEMA_COMMENT GNAME FNAME RPC_PROCESSING_DISABLED OWNER REP_TT Y NORMAL REP_TT N PUBLIC 2. 创 建 保 存 冲 突 数 据 的 数 据 表 a.missing_rows 表 用 以 保 存 冲 突 行 SQL> create table hawa.missing_rows_test 2 as 3 select * from hawa.test where 1=0; Table created b. 用 于 保 存 缺 失 行 位 置 及 rowid SQL> create table hawa.missing_location_test ( 2 present VARCHAR2(128), 3 absent VARCHAR2(128), 4 r_id ROWID); Table created 3. 使 用 dbms_rectifier_diff.differences 查 找 缺 失 记 录 SQL> begin dbms_rectifier_diff.differences( 2 SNAME1 =>'HAWA', 3 ONAME1 =>'TEST', 4 REFERENCE_SITE =>'AVATAR.COOLYOUNG.COM.CN', 5 SNAME2 =>'HAWA', 6 ONAME2 =>'TEST', 7 COMPARISON_SITE =>'AUTHAA.COOLYOUNG.COM.CN', 8 WHERE_CLAUSE =>NULL, 9 COLUMN_LIST =>NULL, 10 MISSING_ROWS_SNAME =>'HAWA', 11 MISSING_ROWS_ONAME1 =>'MISSING_ROWS_TEST', 12 MISSING_ROWS_ONAME2 =>'MISSING_LOCATION_TEST', 13 MISSING_ROWS_SITE =>'AVATAR.COOLYOUNG.COM.CN', 14 MAX_MISSING =>500, 15 COMMIT_ROWS =>100

21 16 ); 17 end; 18 PLSQL procedure successfully completed 冲 突 记 录 被 保 存 在 我 们 创 建 的 指 定 表 中 SQL> select count(*) from hawa.missing_rows_test; COUNT(*) 共 有 172 条 差 异 记 录 SQL> select count(*) from hawa.test; COUNT(*) SQL> select count(*) from COUNT(*) SQL> select count(*) from hawa.missing_location_test; COUNT(*) 使 用 DBMS_RECTIFIER_DIFF.RECTIFY 进 行 数 据 整 合 首 先 需 要 注 意 的 是 : RECTIFY 过 程 使 用 DIFFERENCES 产 生 的 数 据 进 行 数 据 调 整 在 第 一 个 表 中 存 在, 在 第 二 个 表 中 不 存 在 的 数 据 将 被 插 入 第 二 张 表 在 第 二 个 表 中 存 在, 在 第 一 个 个 表 中 不 存 在 的 数 据 将 被 从 第 二 张 表 中 删 除 另 外, 在 这 个 数 据 纠 正 过 程 中, 你 可 以 使 用 dbms_repcat.suspend_master_activity 将 复 制 组 暂 时 挂 起 这 样 便 于 保 证 数 据 完 整 性

22 但 这 不 是 必 须 的, 如 果 复 制 一 直 激 活, 可 能 会 有 新 的 冲 突 出 现 SQL> DBMS_RECTIFIER_DIFF.RECTIFY( 2 SNAME1 =>'HAWA', 3 ONAME1 =>'TEST', 4 REFERENCE_SITE =>'AVATAR.COOLYOUNG.COM.CN', 5 SNAME2 =>'HAWA', 6 ONAME2 =>'TEST', 7 COMPARISON_SITE =>'AUTHAA.COOLYOUNG.COM.CN', 8 COLUMN_LIST =>NULL, 9 MISSING_ROWS_SNAME =>'HAWA', 10 MISSING_ROWS_ONAME1 =>'MISSING_ROWS_TEST', 11 MISSING_ROWS_ONAME2 =>'MISSING_LOCATION_TEST', 12 MISSING_ROWS_SITE =>'AVATAR.COOLYOUNG.COM.CN', 13 COMMIT_ROWS => ); PLSQL procedure successfully completed SQL> select count(*) from hawa.test@authaa; COUNT(*) SQL> select count(*) from hawa.test; COUNT(*) 数 据 矫 正 完 成 以 后, 数 据 会 自 动 从 missing_rows 表 中 删 除 SQL> select count(*) from hawa.missing_rows_test; COUNT(*) SQL> 六 MVR 的 概 念 和 构 架 Oracle 提 供 两 种 不 同 的 复 制 方 法 : 多 主 复 制 (multimaster replication) 和 物 化 视 图 复 制

23 (materialized view replication) 还 可 以 通 过 两 种 复 制 的 组 合 构 成 混 合 复 制 本 文 主 要 描 述 物 化 视 图 复 制, 也 就 是 MVR, 由 于 物 化 视 图 复 制 中 的 主 站 点 就 是 多 主 复 制 中 的 站 点, 因 此 也 会 对 相 应 的 多 主 复 制 中 涉 及 到 的 内 容 作 相 应 的 说 明 一 物 化 视 图 的 概 念 和 体 系 结 构 Oracle 的 物 化 视 图 主 要 用 在 两 个 方 面 : 高 级 复 制 和 数 据 仓 库 在 高 级 复 制 环 境 中, 物 化 视 图 用 于 复 制 数 据 到 非 主 体 站 点 在 数 据 仓 库 环 境 中, 物 化 视 图 用 于 对 代 价 昂 贵 的 查 询 进 行 缓 存 下 面 讨 论 物 化 视 图 在 高 级 复 制 环 境 中 的 使 用 1. 物 化 视 图 是 什 么 物 化 视 图 (materialized view) 是 主 体 对 象 在 某 一 时 间 点 上 的 复 制 品 这 个 主 体 对 象 即 可 以 是 主 体 站 点 (master site) 上 的 一 个 主 表, 也 可 以 是 物 化 视 图 站 点 (materialized view site) 上 的 一 个 主 物 化 视 图 在 多 主 复 制 中, 一 个 站 点 上 的 表 被 其 他 主 体 站 点 连 续 不 断 的 更 新 ( 这 个 也 是 要 分 同 步 和 异 步 的, 异 步 情 况 下 也 是 类 似 于 refresh 这 样 的 定 时 push), 而 物 化 视 图 则 是 从 一 个 主 体 站 点 或 主 物 化 视 图 站 点 批 量 的 进 行 更 新 ( 也 叫 做 刷 新 refresh) 当 物 化 视 图 进 行 快 速 刷 新 时 (fast refresh),oracle 会 检 查 主 表 (master table) 或 主 物 化 视 图 (master materialized view) 自 上 次 刷 新 以 来 的 所 有 改 变, 并 将 其 应 用 到 物 化 视 图 上 因 此, 如 果 主 体 对 象 自 上 次 刷 新 以 来 存 在 一 些 改 变, 则 刷 新 操 作 则 会 花 费 一 定 的 时 间 把 这 些 改 变 应 用 到 物 化 视 图 上 如 果 自 上 次 刷 新 以 来 没 有 发 生 任 何 变 化, 则 物 化 视 图 刷 新 操 作 会 迅 速 的 完 成 2. 为 什 么 使 用 物 化 视 图 你 可 以 使 用 物 化 视 图 来 完 成 以 下 目 标 : 减 轻 网 络 负 载 ; 创 建 一 个 Mass Deployment 环 境 ; 数 据 子 集 ; Disconnected Computing (1) 减 轻 网 络 负 载 : 你 可 以 通 过 物 化 视 图 将 数 据 分 布 到 许 多 站 点, 所 有 用 户 不 需 要 再 访 问 一 个 数 据 库 服 务 器, 负 载 被 分 散 到 多 个 数 据 库 服 务 器 上 和 多 主 复 制 不 同 的 是, 你 可 以 根 据 需 要, 只 复 制 表 中 的 一 部 分 字 段 或 者 表 中 的 一 部 分 数 据, 从 而 降 低 了 每 次 复 制 的 数 据 量 多 主 复 制 也 可 以 分 布 网 络 负 载, 但 与 物 化 视 图 相 比 它 对 网 络 的 要 求 要 严 格 得 多 由 于 多 主 复 制 各 个 站 点 间 采 用 的 是 网 状 连 接, 每 个 站 点 和 其 他 所 有 的 站 点 都 有 通 信, 而 且 多 主 复 制 一 般 用 于 提 供 实 时 或 接 近 实 时 的 复 制, 这 会 导 致 很 高 的 网 络 流 量, 对 于 网 络 状 况 要 求 比 较 严 格 物 化 视 图 采 用 高 效 的 批 量 更 新 方 式, 从 一 个 主 体 站 点 或 一 个 主 物 化 视 图 站 点 获 得 更 新 和 多 主 复 制 的 连 续 通 信 不 一 样, 物 化 视 图 复 制 只 需 要 周 期 性 的 刷 新, 从 而 对 网 络 的 要 求 大 大 降 低 (2) 创 建 Mass Deployment 环 境 : 展 开 模 板 (Deployment templete) 允 许 你 在 本 地 预 先 建 立 物 化 视 图 环 境 你 可 以 利 用 展 开 模 板 快 速 简 便 的 展 开 物 化 视 图 环 境 你 可 以 不 用 修 改 展 开 模 板, 而 是 利 用 参 数 来 建 立 不 同 用 户 的 客 户 化 数 据 集 (3) 数 据 子 集 (Data subsetting): 物 化 视 图 允 许 你 的 复 制 建 立 在 列 (column) 或 者 行 (row-level) 的 基 础 上, 而 多 主 复 制 需

24 要 复 制 整 张 表 通 过 使 用 Data subsetting, 对 于 每 个 站 点 你 可 以 仅 复 制 满 足 本 站 点 需 要 的 数 据 (4) Disconnected Deployment: 物 化 视 图 不 需 要 专 用 网 络 连 接 你 可 以 利 用 job 的 调 度 机 制 完 成 物 化 视 图 的 定 时 自 动 刷 新, 你 也 可 以 在 需 要 的 时 候 手 工 刷 新 物 化 视 图 而 这 第 二 种 方 法 是 在 笔 记 本 上 运 行 应 用 程 序 的 一 种 理 想 解 决 方 案 3. 物 化 视 图 的 分 类 物 化 视 图 分 为 只 读 可 更 新 和 可 写 三 类 不 能 对 只 读 物 化 视 图 进 行 DML 操 作 (INSERTUPDATEDELETE), 对 于 可 更 新 和 可 写 物 化 视 图 则 可 以 进 行 DML 操 作 注 意 : 对 于 只 读 可 更 新 和 可 写 物 化 视 图, 定 义 物 化 视 图 的 查 询 语 句 必 须 包 含 主 体 对 象 中 的 所 有 主 键 列 (1) 只 读 物 化 视 图 在 建 立 物 化 视 图 时, 省 略 FOR UPDATE 语 句 建 立 只 读 物 化 视 图 除 了 不 需 要 属 于 一 个 物 化 视 图 组 之 外, 只 读 物 化 视 图 的 许 多 机 制 都 和 可 更 新 物 化 视 图 相 同 使 用 只 读 物 化 视 图 可 以 消 除 在 主 体 站 点 或 者 主 物 化 视 图 站 点 上 由 物 化 视 图 引 入 的 数 据 冲 突, 这 个 优 点 的 代 价 是 只 读 物 化 视 图 不 能 进 行 dml 操 作 建 立 只 读 物 化 视 图 的 例 子 如 下 : CREATE MATERIALIZED VIEW hr.employees AS SELECT * FROM hr.employees@orc1.world; 注 意 : 使 用 只 读 物 化 视 图 只 能 消 除 由 物 化 视 图 站 点 引 入 的 冲 突, 并 不 意 味 着 使 用 只 读 物 化 视 图 就 不 会 有 冲 突 产 生, 后 面 会 举 例 详 细 说 明 (2) 可 更 新 物 化 视 图 在 建 立 物 化 视 图 时, 指 明 FOR UPDATE 语 句 建 立 可 更 新 物 化 视 图 为 了 可 更 新 物 化 视 图 的 修 改 在 刷 新 时 可 以 被 推 回 (push pack) 主 体 对 象, 可 更 新 物 化 视 图 必 须 属 于 一 个 物 化 视 图 组 由 于 可 更 新 物 化 视 图 允 许 数 据 的 修 改, 因 此 可 以 降 低 主 体 站 点 的 负 载 下 面 是 建 立 可 更 新 物 化 视 图 的 例 子 : CREATE MATERIALIZED VIEW hr.departments FOR UPDATE AS SELECT * FROM hr.departments@orc1.world; 下 面 的 语 句 建 立 一 个 物 化 视 图 组 : DBMS_REPCAT.CREATE_MVIEW_REPGROUP ( gname => 'hr_repg', master => 'orc1.world', propagation_mode => 'ASYNCHRONOUS'); 下 面 的 语 句 将 物 化 视 图 hr.departments 加 入 到 物 化 视 图 组 hr_repg 中, 使 得 物 化 视 图 hr.departments 可 更 新 DBMS_REPCAT.CREATE_MVIEW_REPOBJECT (

25 gname => 'hr_repg', sname => 'hr', oname => 'departments', type => 'SNAPSHOT', min_communication => TRUE); 注 意 : 1. 不 要 在 建 立 可 更 新 物 化 视 图 时 使 用 列 的 别 名, 否 则, 在 将 物 化 视 图 加 入 到 物 化 视 图 组 的 时 候 会 发 生 错 误 2. 主 表 或 主 物 化 视 图 列 上 的 默 认 值 不 会 自 动 应 用 到 可 更 新 物 化 视 图 上 3. 可 更 新 物 化 视 图 不 支 持 DELETE CASCADE 操 作 (3) 可 写 物 化 视 图 可 写 物 化 视 图 指 出 FOR UPDATE 语 句, 但 是 没 有 加 入 到 物 化 视 图 组 用 户 可 以 对 可 写 物 化 视 图 执 行 DML 操 作, 但 是 在 执 行 刷 新 操 作 时, 修 改 不 会 被 推 回, 因 此 所 有 的 修 改 在 刷 新 后 全 部 丢 失 所 有 允 许 只 读 物 化 视 图 的 情 况 也 同 样 允 许 可 写 物 化 视 图 由 于 可 写 物 化 视 图 很 少 使 用, 因 此 以 后 大 部 分 内 容 都 只 涉 及 只 读 物 化 视 图 和 可 更 新 物 化 视 图 4. 物 化 视 图 可 用 性 Oracle 提 供 几 种 不 同 类 型 的 物 化 视 图, 以 满 足 各 种 复 制 环 境 的 需 要 介 绍 下 列 物 化 视 图 以 及 它 们 使 用 的 环 境 : 主 键 物 化 视 图 (Primary Key Materialized Views); 对 象 物 化 视 图 (Object Materialized Views); ROWID 物 化 视 图 (ROWID Materialized Views); 复 杂 物 化 视 图 (Complex Materialized Views) 当 建 立 物 化 视 图 时, 不 管 物 化 视 图 属 于 何 种 类 型, 总 是 给 出 方 案 名 (schema), 也 就 是 查 询 语 句 中 表 的 所 有 者 名 称 例 如 : CREATE MATERIALIZED VIEW hr.employees AS SELECT * FROM hr.employees@orc1.world; 这 个 例 子 中, 方 案 名 hr 被 明 确 指 出 (1) 主 键 物 化 视 图 主 键 物 化 视 图 是 默 认 的 物 化 视 图 如 果 主 键 物 化 视 图 是 作 为 物 化 视 图 组 的 一 部 分 建 立 的, 且 指 定 了 FOR UPDATE 语 句, 那 么 这 个 物 化 视 图 是 可 更 新 的, 且 这 个 物 化 视 图 组 必 须 和 主 站 点 中 复 制 组 的 同 名 另 外, 可 更 新 物 化 视 图 必 须 和 主 复 制 组 在 不 同 的 数 据 库 中 当 修 改 发 生 后, 修 改 的 数 据 以 行 级 为 单 位 被 传 播, 每 行 数 据 由 主 键 确 定 ( 而 不 是 ROWID) 下 面 是 一 个 创 建 可 更 新 的 主 键 物 化 视 图 的 例 子 : CREATE MATERIALIZED VIEW oe.customers FOR UPDATE AS SELECT * FROM oe.customers@orc1.world; 主 键 物 化 视 图 可 以 包 含 一 个 子 查 询, 因 此 你 可 以 在 建 立 物 化 视 图 时, 建 立 所 有 数 据 的 一 个 子 集, 也 就 是 说, 建 立 物 化 视 图 时 可 以 只 选 取 你 需 要 的 数 据 行 子 查 询 是 嵌 入 在 主 查 询 中 的 查 询, 因 此 你 可 以 在 建 立 物 化 视 图 时 有 超 过 一 个 的 SELECT 语 句 子 查 询 可 以 是 简 单 的 WHERE 语 句 也 可 以 是 复 杂 的 多 层 WHERE EXISTS 语 句 嵌 套 如 果 主 站 点 中 的 主 对 象 建 立 了 物 化 视

26 图 日 志 表 (materialized view log), 那 么 一 些 包 含 特 定 类 型 子 查 询 的 主 键 物 化 视 图 仍 然 可 以 快 速 ( 增 量 ) 刷 新 快 速 刷 新 利 用 materialized view logs 只 更 新 自 上 次 刷 新 后 被 修 改 的 记 录 下 面 的 物 化 视 图 包 含 一 个 WHERE 语 句 的 子 查 询 : CREATE MATERIALIZED VIEW oe.orders REFRESH FAST AS SELECT * FROM oe.orders@orc1.world o WHERE EXISTS (SELECT * FROM oe.customers@orc1.world c WHERE o.customer_id = c.customer_id AND c.credit_limit > 10000); 这 种 类 型 的 物 化 视 图 又 叫 做 子 查 询 物 化 视 图 (2) 对 象 物 化 视 图 如 果 物 化 视 图 是 基 于 对 象 表, 并 且 在 建 立 是 指 定 了 OF TYPE 语 句, 那 么 这 个 物 化 视 图 叫 做 对 象 物 化 视 图 对 象 物 化 视 图 的 结 构 和 对 象 表 相 同 对 象 物 化 视 图 由 行 对 象 (row objects) 组 成, 每 一 个 行 对 象 由 一 个 对 象 标 识 列 OID(object identifier) 标 识 (3) ROWID 物 化 视 图 为 了 后 向 兼 容 性,Oracle 除 了 默 认 的 主 键 物 化 视 图 外, 还 支 持 ROWID 物 化 视 图 ROWID 物 化 视 图 基 于 主 对 象 中 行 记 录 的 物 理 标 识 ROWID(physical row identifiers) ROWID 物 化 视 图 只 被 用 在 基 于 Oracle7 版 本 的 主 对 象 的 物 化 视 图, 它 不 能 被 用 于 建 立 基 于 Oracle8 或 更 高 版 本 主 站 点 的 物 化 视 图 下 面 是 一 个 建 立 ROWID 物 化 视 图 的 例 子 : CREATE MATERIALIZED VIEW oe.orders REFRESH WITH ROWID AS SELECT * FROM oe.orders@orc1.world; (4) 复 杂 物 化 视 图 物 化 视 图 的 定 义 必 须 满 足 某 种 约 束, 才 能 执 行 快 速 刷 新 如 果 你 需 要 的 物 化 视 图 的 定 义 查 询 语 句 更 为 一 般 化, 不 能 满 足 限 制 条 件, 那 么 这 个 物 化 视 图 是 复 杂 的, 并 且 不 能 执 行 快 速 刷 新 一 般 来 说, 如 果 一 个 物 化 视 图 的 定 义 查 询 包 含 下 列 语 句, 则 被 认 为 是 复 杂 物 化 视 图 : CONNECT BY 语 句 ; 例 如 : CREATE MATERIALIZED VIEW hr.emp_hierarchy AS SELECT LPAD(' ', 4*(LEVEL-1)) USERNAME FROM hr.employees@orc1.world START WITH manager_id IS NULL CONNECT BY PRIOR employee_id = manager_id; INTERSECT,MINUS 或 UNION ALL 操 作 ; 例 如 : CREATE MATERIALIZED VIEW hr.mview_employees AS SELECT employees.employee_id, employees. FROM hr.employees@orc1.world UNION ALL SELECT new_employees.employee_id, new_employees. FROM hr.new_employees@orc1.world;

27 在 某 些 情 况 下 的 DISTINCT 和 UNIQUE 关 键 字 ; 包 含 DISTINCT 和 UNIQUE 关 键 字 的 并 不 都 是 复 杂 物 化 视 图, 简 单 物 化 视 图 (simple materialized view) 中 也 可 以 包 含 这 两 个 关 键 字 下 面 的 例 子 是 建 立 一 个 包 含 DISTINCT 关 键 字 的 复 杂 物 化 视 图 : CREATE MATERIALIZED VIEW hr.employee_depts AS SELECT DISTINCT department_id FROM hr.employees@orc1.world ORDER BY department_id; 聚 集 操 作 ; 如 下 例 : CREATE MATERIALIZED VIEW hr.average_sal AS SELECT AVG(salary) "Average" FROM hr.employees@orc1.world; 连 接 不 在 子 查 询 中 的 对 象 ; 例 如 : CREATE MATERIALIZED VIEW hr.emp_join_dep AS SELECT last_name FROM hr.employees@orc1.world e, hr.departments@orc1.world d WHERE e.department_id = d.department_id; 某 种 情 况 下 的 UNION 操 作 例 如 : CREATE MATERIALIZED VIEW oe.orders AS SELECT order_total FROM oe.orders@orc1.world o WHERE EXISTS (SELECT cust_first_name, cust_last_name FROM oe.customers@orc1.world c WHERE o.customer_id = c.customer_id AND c.credit_limit > 50) UNION SELECT customer_id FROM oe.orders@orc1.world o WHERE EXISTS (SELECT cust_first_name, cust_last_name FROM oe.customers@orc1.world c WHERE o.customer_id = c.customer_id AND c.account_mgr_id = 30); 以 及 其 他 任 何 不 满 足 特 定 约 束 条 件 的 子 查 询 具 体 条 件 见 物 化 视 图 中 的 数 据 子 集 (Data Subsetting with Materialized Views) 的 物 化 视 图 子 查 询 约 束 (Restrictions for Materialized Views with Subqueries)

28 注 意 : 如 果 可 能, 尽 量 避 免 使 用 复 杂 物 化 视 图, 因 为 复 杂 物 化 视 图 不 能 快 速 刷 新, 将 会 降 低 网 络 性 能 对 比 简 单 物 化 视 图 和 复 杂 物 化 视 图 : 为 了 某 种 应 用, 你 可 能 需 要 考 虑 使 用 一 个 复 杂 物 化 视 图 你 有 两 种 方 法 可 以 选 择, 它 们 各 有 利 弊, 具 体 如 下 : 图 一 : 复 杂 物 化 视 图 和 简 单 物 化 视 图 对 比 复 杂 物 化 视 图 : 上 图 中 方 法 A 展 示 了 一 个 复 杂 物 化 视 图 这 个 复 杂 物 化 视 图 在 数 据 库 Ⅱ 中 展 示 出 高 效 的 查 询 性 能, 因 为 连 接 操 作 在 物 化 视 图 刷 新 时 已 经 完 成 然 而, 由 于 是 复 杂 物 化 视 图, 必 须 执 行 完 全 刷 新, 这 将 极 为 可 能 比 执 行 快 速 刷 新 要 慢 得 多 简 单 物 化 视 图 通 过 视 图 连 接 : 上 图 中 方 法 B 在 DATABASEⅡ 展 示 了 两 个 简 单 物 化 视 图, 它 们 通 过 一 个 视 图 执 行 连 接 操 作 通 过 视 图 查 询 不 可 能 有 方 法 A 中 查 询 复 杂 物 化 视 图 那 样 的 性 能 然 而, 简 单 物 化 视 图 可 以 更 加 有 效 的 使 用 快 速 刷 新 和 物 化 视 图 日 志 (materialized view logs) 总 的 来 说 : 如 果 你 很 少 刷 新, 且 需 要 比 较 高 的 查 询 性 能, 则 使 用 方 法 A (complex materialized view) 如 果 你 经 常 刷 新, 且 可 以 牺 牲 查 询 性 能, 则 使 用 方 法 B (simple materialized view) 5. 物 化 视 图 操 作 所 需 权 限 三 种 不 同 类 型 的 用 户 对 物 化 视 图 执 行 操 作 : 建 立 者 (creator): 建 立 物 化 视 图 的 用 户 刷 新 者 (refresher): 刷 新 物 化 视 图 的 用 户 所 有 者 (owner): 拥 有 物 化 视 图 的 用 户 物 化 视 图 存 在 于 所 有 者 的 方 案 (schema) 中

29 一 个 用 户 对 物 化 视 图 可 以 执 行 所 有 的 操 作 然 而, 在 一 些 复 制 环 境 中, 不 同 的 用 户 对 物 化 视 图 执 行 不 同 的 操 作 执 行 这 些 操 作 需 要 的 权 限 取 决 于 操 作 由 同 一 个 用 户 执 行 还 是 由 不 同 的 用 户 执 行 下 面 详 细 解 释 所 需 权 限 注 意 : 下 文 没 有 包 括 用 重 写 查 询 (query rewrite) 选 项 来 创 建 物 化 视 图 时 所 需 要 的 权 限 (1) 创 建 者 是 所 有 者 如 果 一 个 物 化 视 图 的 创 建 者 同 时 也 是 一 个 物 化 视 图 的 所 有 者, 那 么 这 个 用 户 可 以 通 过 明 确 授 权 或 通 过 角 色 拥 有 下 列 权 限 来 创 建 一 个 物 化 视 图 CREATE MATERIALIZED VIEW 或 者 CREATE ANY MATERIALIZED VIEW 权 限 ; CREATE TABLE 或 者 CREATE ANY TABLE 权 限 ; 如 果 数 据 库 兼 容 性 在 以 下, 需 要 CREATE VIEW 或 者 CREATE ANY VIEW 权 限 ; 对 主 站 点 上 对 象 和 物 化 视 图 日 志 的 SELECT 权 限 或 者 SELECT ANY TABLE 系 统 权 限 如 果 主 站 点 不 是 本 地 数 据 库, 则 SELECT 权 限 必 须 授 权 给 一 个 主 站 点 用 户, 这 个 用 户 就 是 物 化 视 图 站 点 通 过 数 据 库 链 (database link) 连 接 到 主 站 点 的 用 户 ( 数 据 库 链 创 建 语 句 中 CONNECT TO 关 键 字 后 面 跟 的 用 户 ) (2) 创 建 者 不 是 所 有 者 如 果 物 化 视 图 的 创 建 者 不 是 所 有 者, 必 须 授 予 创 建 者 和 所 有 者 某 种 权 限 才 能 创 建 物 化 视 图 创 建 者 的 权 限 可 以 直 接 授 权 或 通 过 角 色 授 权, 但 是 所 有 者 的 权 限 必 须 通 过 明 确 授 权 获 得 也 就 是 说, 所 有 者 的 权 限 不 能 通 过 角 色 获 得 创 建 者 : CREATE ANY MATERIALIZED VIEW 系 统 权 限 所 有 者 : CREATE TABLE 或 者 CREATE ANY TABLE 权 限 ; 如 果 数 据 库 兼 容 性 在 以 下, 需 要 CREATE VIEW 或 者 CREATE ANY VIEW 权 限 ; 对 主 站 点 上 对 象 和 物 化 视 图 日 志 的 SELECT 权 限 或 者 SELECT ANY TABLE 系 统 权 限 如 果 主 站 点 不 是 本 地 数 据 库, 则 SELECT 权 限 必 须 授 权 给 一 个 主 站 点 用 户, 这 个 用 户 就 是 物 化 视 图 站 点 通 过 数 据 库 链 (database link) 连 到 主 站 点 的 用 户 ( 数 据 库 链 创 建 语 句 中 CONNECT TO 关 键 字 后 面 跟 的 用 户 ) (3) 刷 新 者 是 所 有 者 如 果 一 个 物 化 视 图 的 刷 新 者 同 时 也 是 物 化 视 图 的 拥 有 者, 这 个 用 户 需 要 主 站 点 上 对 象 和 物 化 视 图 日 志 的 SELECT 权 限 或 者 SELECT ANY TABLE 系 统 权 限 如 果 主 站 点 不 是 本 地 数 据 库, 则 SELECT 权 限 必 须 授 权 给 一 个 主 站 点 用 户, 这 个 用 户 就 是 物 化 视 图 站 点 通 过 数 据 库 链 (database link) 连 到 主 站 点 的 用 户 ( 数 据 库 链 创 建 语 句 中 CONNECT TO 关 键 字 后 面 跟 的 用 户 ) 权 限 可 以 通 过 直 接 授 权 或 通 过 角 色 授 权 (4) 刷 新 者 不 是 所 有 者 如 果 物 化 视 图 的 刷 新 者 不 是 所 有 者, 必 须 授 予 刷 新 者 和 所 有 者 某 种 权 限 这 些 权 限 可 以 直 接 授 权 或 通 过 角 色 授 权 刷 新 者 : ALTER ANY MATERIALIZED VIEW 系 统 权 限 所 有 者 : 主 站 点 上 对 象 和 物 化 视 图 日 志 的 SELECT 权 限 或 者 SELECT ANY TABLE 系 统 权 限 如 果 主 站 点 不 是 本 地 数 据 库, 则 SELECT 权 限 必 须 授 权 给 一 个 主 站 点 用 户, 这 个 用 户 就 是 物 化 视 图 站 点 通 过 数 据 库 链 (database link) 连 到 主 站 点 的 用 户 ( 数 据 库 链 创 建 语 句 中 CONNECT TO 关 键 字 后 面 跟 的 用 户 )

30 6. 物 化 视 图 中 的 数 据 子 集 在 某 些 情 况 下, 你 可 能 希 望 你 的 物 化 视 图 反 映 主 表 或 者 主 物 化 视 图 中 数 据 的 子 集 通 过 使 用 WHERE 语 句, 行 子 集 允 许 你 包 含 主 表 或 者 主 物 化 视 图 中 你 想 要 的 行 记 录 列 子 集 允 许 你 从 主 表 或 者 主 物 化 视 图 中 只 包 含 你 所 需 要 的 列 在 创 建 物 化 视 图 时, 通 过 在 SELECT 语 句 中 明 确 指 出 所 要 选 取 的 列 来 实 现 列 子 集 如 果 你 使 用 展 开 模 板 来 创 建 你 的 物 化 视 图, 那 么 你 可 以 在 可 更 新 物 化 视 图 上 定 义 列 子 集 (1) 使 用 数 据 子 集 的 一 些 原 因 降 低 网 络 流 量 : 在 一 个 使 用 列 子 集 的 物 化 视 图 中, 只 有 满 足 物 化 视 图 定 义 中 WHERE 条 件 语 句 的 修 改 才 会 传 播 到 物 化 视 图 站 点, 因 此 减 少 了 事 务 传 输 数 量, 降 低 了 网 络 流 量 保 护 敏 感 数 据 : 用 户 只 能 查 看 满 足 物 化 视 图 查 询 定 义 的 数 据 减 少 资 源 需 要 : 如 果 物 化 视 图 建 立 在 笔 记 本 上, 则 硬 盘 与 服 务 器 上 的 硬 盘 相 比 要 小 得 多 数 据 子 集 可 以 显 著 的 减 少 存 储 空 间 提 高 刷 新 性 能 : 由 于 较 少 的 数 据 传 播 到 物 化 视 图 站 点, 刷 新 执 行 的 更 加 迅 速 这 一 点 对 于 那 些 需 要 通 过 拨 号 连 接 来 刷 新 物 化 视 图 的 用 户 十 分 重 要 例 如 : 下 面 语 句 基 于 oe.orders@orc1.world 主 表 创 建 一 个 物 化 视 图, 而 且 只 包 括 sales_rep_id 等 于 173 的 记 录 CREATE MATERIALIZED VIEW oe.orders REFRESH FAST AS SELECT * FROM oe.orders@orc1.world WHERE sales_rep_id = 173; 主 表 中 sales_rep_id 不 等 于 173 的 记 录 被 排 除 出 物 化 视 图 (2) 带 子 查 询 的 物 化 视 图 上 面 的 例 子 是 针 对 单 个 表 的 如 果 创 建 基 于 多 个 表 的 物 化 视 图, 则 定 义 和 维 护 这 些 物 化 视 图 相 对 来 说 困 难 得 多 主 要 包 括 多 对 一 子 查 询 一 对 多 子 查 询 多 对 多 子 查 询 以 及 包 含 UNION 操 作 的 子 查 询 几 种 这 些 物 化 视 图 比 较 复 杂, 而 且 在 实 际 复 制 中 不 经 常 使 用, 因 此 这 里 不 再 详 细 描 述 如 果 对 这 部 分 有 兴 趣, 请 参 阅 Oracle9i Advanced Replication 3-18 Materialized Views with Subqueries 部 分 下 面 描 述 一 下 建 立 快 速 刷 新 子 查 询 物 化 视 图 的 条 件 物 化 视 图 子 查 询 约 束 带 子 查 询 的 物 化 视 图 为 了 能 达 到 快 速 刷 新 的 能 力, 必 须 满 足 许 多 约 束 条 件, 具 体 如 下 : 必 须 是 主 键 物 化 视 图 ; 物 化 视 图 日 志 必 须 包 括 某 些 在 子 查 询 中 出 现 的 列 ; 如 果 子 查 询 是 多 对 多 或 一 对 多 查 询, 连 接 列 中 非 主 键 的 部 分 必 须 包 括 在 物 化 视 图 日 志 中, 多 对 一 子 查 询 没 有 这 个 约 束 ; 子 查 询 必 须 是 肯 定 条 件, 比 如, 你 可 以 使 用 EXISTS, 但 是 不 能 使 用 NOT EXISTS; 子 查 询 必 须 使 用 EXISTS 连 接 到 嵌 套 层 (nested level), 不 能 使 用 IN; 每 张 表 只 允 许 一 个 EXISTS 表 达 式 ; 连 接 表 达 式 必 须 采 用 精 确 匹 配 或 等 于 连 接 ; 在 子 查 询 中, 每 张 表 只 能 被 连 接 一 次 ; 在 嵌 套 层 (nested level) 中, 每 张 表 必 须 有 主 键 存 在 ; 嵌 套 层 (nested level) 只 能 参 考 比 它 高 的 层 中 的 表 ; 子 查 询 可 以 包 含 AND 操 作, 但 是 每 个 OR 操 作 只 能 连 接 能 确 定 一 条 记 录 的 列, 子 查 询 中 多 个 OR 运 算 可 以 通 过 AND 连 接 ; 子 查 询 中 的 所 有 表 必 须 在 同 一 个 主 体 站 点 或 主 物 化 视 图 站 点 中 7. 决 定 物 化 视 图 的 快 速 刷 新 能 力

31 为 了 检 测 所 创 建 的 带 子 查 询 的 物 化 视 图 是 否 满 足 上 面 提 到 的 建 立 快 速 刷 新 物 化 视 图 的 种 种 约 束, 在 创 建 时, 如 果 违 反 任 何 约 束 条 件, 则 Oracle 会 返 回 错 误 提 示 如 果 在 建 立 物 化 视 图 时 指 明 强 制 刷 新 (force refresh), 则 不 会 收 到 任 何 错 误 信 息 因 为 在 强 制 刷 新 时, 如 果 不 能 执 行 快 速 刷 新 的 话,Oracle 会 自 动 执 行 完 全 刷 新 (complete refresh) 你 也 可 以 通 过 DBMS_MVIEW 包 中 的 EXPLAIN_MVIEW 过 程 来 检 测 已 存 在 的 物 化 视 图 甚 至 是 还 没 有 建 立 的 物 化 视 图 的 一 些 信 息, 具 体 信 息 如 下 : 物 化 视 图 的 各 种 能 力 ; 对 于 这 个 物 化 视 图 来 说 每 种 能 力 是 否 可 能 ; 如 果 不 可 能, 给 出 导 致 这 种 能 力 不 可 能 的 原 因 ; 这 些 信 息 可 以 存 储 在 varray 中, 也 可 以 存 储 在 MV_CAPABILITIES_TABLE 表 中 如 果 你 希 望 把 信 息 存 储 到 表 中, 那 么 你 必 须 在 执 行 EXPLAIN_MVIEW 存 储 过 程 以 前, 执 行 ORACLE_HOMErdbmsadmin 目 录 下 的 utlxmv.sql 脚 本 例 如 : 检 查 oe.orders 物 化 视 图 的 能 力 输 入 : EXECUTE DBMS_MVIEW.EXPLAIN_MVIEW ('oe.orders'); 或 者 如 果 物 化 视 图 不 存 在, 你 可 以 输 入 你 希 望 建 立 的 物 化 视 图 的 查 询 语 句 : DBMS_MVIEW.EXPLAIN_MVIEW ('SELECT * FROM oe.orders@orc1.world o WHERE EXISTS (SELECT * FROM oe.customers@orc1.world c WHERE o.customer_id = c.customer_id AND c.credit_limit > 500)'); 查 询 MV_CAPABILITIES_TABLE 表 得 到 结 果, 如 下 例 : SQL> set linesize 110 SQL> col RELATED_TEXT format a60 SQL> select capability_name, possible, related_text from mv_capabilities_table; CAPABILITY_NAME P RELATED_TEXT PCT N REFRESH_COMPLETE Y REFRESH_FAST N REWRITE N PCT_TABLE N 此 上 下 文 不 支 持 对 象 数 据 类 型 REFRESH_FAST_AFTER_INSERT N OE.CUSTOMERS REFRESH_FAST_AFTER_INSERT N OE.ORDERS REFRESH_FAST_AFTER_ONETAB_DML N REFRESH_FAST_AFTER_ANY_DML N REFRESH_FAST_PCT N REWRITE_FULL_TEXT_MATCH N OE.ORDERS REWRITE_FULL_TEXT_MATCH N OE.CUSTOMERS REWRITE_FULL_TEXT_MATCH N 此 上 下 文 不 支 持 对 象 数 据 类 型 REWRITE_PARTIAL_TEXT_MATCH N REWRITE_GENERAL N REWRITE_PCT N

32 已 选 择 16 行 8. 多 级 物 化 视 图 (Multitier Materialized Views) 物 化 视 图 的 创 建 可 以 基 于 表, 也 可 以 基 于 其 他 物 化 视 图, 这 种 物 化 视 图 叫 做 多 级 物 化 视 图 (multitier materialized views) 这 种 基 于 其 他 物 化 视 图 的 物 化 视 图 可 以 是 只 读 的 (read only) 也 可 以 是 可 更 新 的 (updatable) 当 使 用 多 级 物 化 视 图 时, 基 于 主 体 表 的 物 化 视 图 叫 做 第 一 层 物 化 视 图 (level 1 materialized view) 基 于 第 一 层 物 化 视 图 的 物 化 视 图 叫 做 第 二 层 物 化 视 图 (level 2 materialized view) 下 一 层 是 第 三 层, 依 此 类 推 作 为 其 他 物 化 视 图 的 主 对 象 的 物 化 视 图 叫 做 主 物 化 视 图 (master materialized view) 处 在 任 何 一 层 的 物 化 视 图 都 可 以 成 为 主 物 化 视 图, 而 且 可 以 存 在 多 个 其 他 的 物 化 视 图 基 于 同 一 个 主 物 化 视 图 主 物 化 视 图 和 主 站 点 中 的 主 表 起 相 同 的 作 用 也 就 是 说 把 第 二 层 物 化 视 图 上 的 改 变 推 到 第 一 层 物 化 视 图 上 的 操 作 和 把 第 一 次 物 化 视 图 上 的 改 变 推 到 主 表 上 的 操 作 是 完 全 一 样 的 在 主 物 化 视 图 站 点 必 须 注 册 一 个 接 收 者 (receiver) 在 多 层 物 化 视 图 站 点 中 接 收 者 负 责 接 受 和 应 用 来 自 主 物 化 视 图 站 点 传 播 者 的 延 迟 事 务 多 层 物 化 视 图 (Multitier materialized views) 在 设 计 复 制 环 境 时 提 供 了 很 高 的 灵 活 性 一 些 物 化 视 图 站 点 不 需 要 复 制 主 表 中 所 有 的 数 据, 实 际 上, 这 些 站 点 可 能 根 本 没 有 足 够 的 空 间 存 储 这 些 数 据 另 外, 只 复 制 较 少 的 数 据 意 味 着 在 网 络 上 活 动 的 数 据 也 较 少 使 用 多 层 物 化 视 图 的 限 制 条 件 : 主 物 化 视 图 和 基 于 主 物 化 视 图 的 物 化 视 图 都 必 须 满 足 下 列 条 件 : 1) 必 须 是 主 键 物 化 视 图 ; 2) 所 在 数 据 库 兼 容 性 等 于 或 者 高 于 主 物 化 视 图 的 一 些 限 制 下 列 类 型 的 物 化 视 图 不 能 作 为 可 更 新 物 化 视 图 的 主 物 化 视 图 1) ROWID 物 化 视 图 ; 2) 复 杂 物 化 视 图 ; 3) 只 读 物 化 视 图 不 过 这 三 种 物 化 视 图 可 以 成 为 只 读 物 化 视 图 的 主 物 化 视 图 基 于 物 化 视 图 的 可 更 新 物 化 视 图 的 额 外 限 制 : 1) 所 属 的 物 化 视 图 组 必 须 和 主 物 化 视 图 站 点 上 的 物 化 视 图 组 同 名 ; 2) 必 须 和 主 物 化 视 图 不 在 同 一 个 数 据 库 上 ; 3) 必 须 基 于 可 更 新 物 化 视 图, 不 能 基 于 只 读 物 化 视 图 ; 4) 主 站 点 上 的 主 物 化 视 图 组 必 须 存 在 于 PUBLIC 方 案 中 9. 包 含 用 户 定 义 类 型 的 物 化 视 图 Oracle 的 复 制 支 持 用 户 自 定 义 类 型 数 据 Oracle 不 但 支 持 行 对 象 (row object) 和 列 对 象 (column object) 而 且 还 支 持 collections 的 复 制 Collection 包 括 基 于 用 户 自 定 义 类 型 的 数 组 (VARRAY) 和 嵌 套 表 (nested table) 使 用 用 户 自 定 义 类 型 需 要 注 意 几 点 : 主 站 点 和 物 化 视 图 站 点 的 数 据 库 兼 容 性 等 于 或 高 于 9.0.1; 如 果 主 对 象 包 含 用 户 自 定 义 类 型, 则 不 能 创 建 refresh-on-commit 物 化 视 图 ; 高 级 复 制 不 支 持 对 象 的 继 承 物 化 视 图 复 制 中 对 用 户 自 定 义 类 型 的 要 求 和 限 制 于 多 主 环 境 中 的 限 制 比 较 类 似, 这 里 不 再 详

33 细 描 述, 如 果 对 这 部 分 内 容 感 兴 趣, 请 参 考 Oracle9i Advanced Replication 3-36 Materialized Views with User-Defined Types 10. 主 站 点 的 物 化 视 图 注 册 11. 主 站 点 和 主 物 化 视 图 站 点 机 制 12. 物 化 视 图 站 点 机 制 13. 组 织 机 制 14. 刷 新 处 理 三. 展 开 模 板 (Deployment Templates) 的 概 念 和 构 架 四. 多 主 复 制 和 物 化 视 图 复 制 区 别

34 附 录 一 多 主 体 复 制 站 点 的 配 置 步 骤 以 下 操 作 如 果 不 是 明 确 指 出, 均 在 master 数 据 库 中 运 行 1 检 查 安 装 好 的 数 据 库 是 否 支 持 高 级 复 制 : SQL> select value from v$option where parameter='advanced replication'; VALUE TRUE 确 保 返 回 的 结 果 是 TRUE, 如 果 是 FALSE 则 表 示 需 要 重 新 安 装 oracle 的 高 级 复 制 部 件 2 确 保 数 据 库 的 初 始 化 参 数 中 global_name=true, 同 时 因 为 高 级 复 制 依 靠 于 JOB 来 实 现, 所 以 必 须 保 证 job_queue_processes 参 数 大 于 0, 我 们 可 以 设 置 为 10 确 保 init.ora 中 包 含 一 下 初 始 化 参 数 定 义 : global_names = true open_links = 4 ( 备 注 : 一 个 process 需 要 4 个 link, 如 果 我 们 创 建 了 多 个 dblink, 并 且 同 时 运 行, 那 么 可 以 把 此 参 数 设 大, 比 如 以 下 环 境 中 我 们 应 该 设 置 为 open_links = 8) job_queue_processes = 10 3 用 sysdba 权 限 分 别 登 录 master 和 snap 数 据 库, 检 查 双 方 的 global_name, 必 须 保 证 两 边 的 域 名 相 同 才 可 以 建 立 正 确 的 dblink select * from global_name; 假 设 显 示 结 果 是 master.com, 那 么 表 示 该 数 据 库 的 域 名 是 com 那 么 我 们 可 以 设 置 snap 库 的 global_name 是 snap.com 使 用 以 下 SQL 设 置 global_name: alter database rename global_name to master.com; 4 创 建 一 个 PUBLIC DBLINK 连 接 到 snap( 此 步 骤 可 以 省 略 ) CREATE PUBLIC DATABASE LINK "snap.com" USING '(DESCRIPTION = (ADDRESS_LIST = (ADDRESS= (PROTOCOL = TCP)(Host = )(Port = 1521)))(CONNECT_DATA = (SID = test1)(server = DEDICATED)))'; 运 行 以 下 SQL 检 查 dblink 创 建 是 否 成 功, 如 果 结 果 返 回 snap 的 global_name 则 表 示 成 功 SQL> select * from global_name@snap.com; GLOBAL_NAME

35 SNAP.COM 5 创 建 repadmin 用 户, 用 于 管 理 高 级 复 制 create user repadmin identified by repadmin default tablespace users temporary tablespace temp; execute dbms_defer_sys.register_propagator('repadmin'); grant execute any procedure to repadmin; execute dbms_repcat_admin.grant_admin_any_repgroup('repadmin'); execute dbms_repcat_admin.grant_admin_any_schema(username => '"REPADMIN"'); grant comment any table to repadmin; grant lock any table to repadmin; grant select any dictionary to repadmin; 6 登 录 snap 数 据 库, 重 复 上 面 的 操 作, 创 建 public dblink 以 及 repadmin 用 户 7 用 repadmin 用 户 登 录 master, 创 建 私 有 数 据 库 连 接 create database link "snap.com" connect to repadmin identified by repadmin; 如 果 第 4 步 省 略 了, 没 有 创 建 公 有 数 据 库 连 接, 则 需 要 如 下 创 建, 在 创 建 含 有 qualifier 的 多 个 数 据 库 连 接 时 也 只 能 使 用 下 面 的 方 法 : create database link "snap.com@perday" connect to repadmin identified by repadmin USING '(DESCRIPTION = (ADDRESS_LIST = (ADDRESS= (PROTOCOL = TCP)(Host = )(Port = 1521)))(CONNECT_DATA = (SID = test1)(server = DEDICATED)))'; create database link "snap.com@perhour" connect to repadmin identified by repadmin USING '(DESCRIPTION = (ADDRESS_LIST = (ADDRESS= (PROTOCOL = TCP)(Host = )(Port = 1521)))(CONNECT_DATA = (SID = test1)(server = DEDICATED)))'; 检 查 是 否 创 建 成 功 SQL> select * from global_name@snap.com@perday; GLOBAL_NAME SNAP.COM 8 创 建 主 体 复 制 组, 添 加 复 制 对 象, 操 作 的 数 据 库 将 称 为 主 体 定 义 站 点 创 建 每 天 复 制 一 次 的 组 execute dbms_repcat.create_master_repgroup(gname => 'rep_gp_day',group_comment => 'replcation perday',qualifier => '@PERDAY'); 创 建 每 小 时 复 制 一 次 的 组 execute dbms_repcat.create_master_repgroup(gname => 'rep_gp_hour',group_comment => 'replcation perhour',qualifier => '@PERHOUR'); 备 注 : 以 下 操 作 只 以 rep_gp_day 复 制 组 为 例, 对 于 rep_gp_hour 复 制 组 则 应 该 作 相 应 更 改