基于天翼云物理机搭建 Oracle RAC 集群指南 (CentOS 6, ) 中国电信股份有限公司云计算分公司

Transcription

1 基于天翼云物理机搭建 Oracle RAC 集群指南 (CentOS 6, ) 中国电信股份有限公司云计算分公司

2 修订记录 修订记录 修改项 修改时间 初次修订 i

3 目录 目录 修订记录... i 1 说明 建议使用工具 Oracle 安装包 资源规划 云网络资源规划 云硬盘资源规划 物理机资源规划 创建资源 创建 VPC 网络... 8 创建一个 VPC 网络和一个子网 subnet-bmsorarac 创建物理机 创建共享云硬盘 创建磁盘 挂载磁盘 为物理机绑定虚拟 IP 申请虚拟 IP 绑定虚拟 IP Oracle HAIP 特性处理 添加安全组规则 检查安全组规则 物理机自定义 VLAN 配置参数 修改 Oracle RAC 节点主机名称 配置 hosts 关闭防火墙和 SElinux 关闭 linux 的 NTP 扩展 swap 分区 修改 Linux 内核参数 ii

4 目录 4.7 修改 Linux 资源配置文件 修改节点登录配置文件 创建 grid oracle 用户以及安装目录 修改节点环境变量 安装 Oracle RAC 的依赖包 禁止 avahi-daemon 服务 关闭 RemoveIPC( 仅限 CentOS 7) 配置 Oracle ASM 磁盘组 配置 Oracle 远程图形化安装界面 重启一下物理机节点 安装远程桌面软件 安装前检查 安装 Oracle RAC 软件 安装 Oracle Grid 安装 Oracle Database 配置 DATA 和 FLASH 磁盘组 创建 Oracle 数据库 验证 Oracle RAC 集群 验证 Oracle 数据库是否可以正常登录及使用 验证 Oracle RAC 节点重启后数据是否可以自动恢复 FAQ 物理机 CentOS 7 安装 11G 时遇到 ohasd 报错 BUG 如何修复? 执行 /u01/app/11.2.0/grid/root.sh 出错及解决方法 重新执行 root.sh 报错如何处理 iii

5 说明 1 说明 本手册基于天翼云编写, 指导用户基于天翼云物理机搭建 Oracle RAC( 实时应用集群,Real Application Clusters) 集群 手册示例使用的版本的 OS 版本为 CentOS 6.8,Oracle 版本为 11gR2 12c 此外, 对用户常用的 OS 版本 CentOS 7 Oracle 版本 12c 会在操作差异时给出提示 1.1 建议使用工具 工具用途说明注意事项 Putty ssh 连接工具 用于 ssh 登陆到数 据库节点 Vncviewer 远程 vnc 工具 用于连接数据库节 点的远程桌面 WinSCP 文件上传工具 用于把本地文件上 传至物理机 数据库节点需要绑定 EIP 或者使用 VPN 连接 数据库节点需要绑定 EIP 或者使用 VPN 连接 数据库节点需要绑定 EIP 或者使用 VPN 连接 以上推荐是主流使用软件工具, 可根据自身使用情况而定, 可多种选择 1

6 说明 1.2 Oracle 安装包 安装包 Cksum Md5 说明 linuxx64_12201_databa se.zip linuxx64_12201_grid_h ome.zip f2ce7709cf9 09db4c064d80aa e ac1b156334cc5e 8f8e5bd7fcdbebf f82 数据库 database 安装包, 用于数据库安装 GI 安装包, 用于 RAC 安装 以上安装包请从 Oracle 官网下载, 下载后请比对一下 cksum 或 md5 以确定安装包完整 官网链接 : 2

7 资源规划 2 资源规划 在部署之前, 需要先规划好搭建系统所需要的服务器 存储 网络资源 2.1 云网络资源规划 本示例 Oracle RAC 群集规划了两个网络平面, 分别如下 : Oracle Public Network 平面 : 数据库客户端通过 Oracle Public Network 访问数据库服务 为了保证高可用和故障恢复,Oracle RAC 要求每个节点配置一个虚拟 IP (VIP), 在故障发生时,VIP 会在不同节点之间漂移,Oracle 集群就绪服务 (Oracle Cluster Ready Service) 模块管理各节点的 VIP 在物理机服务中, 用户需要在 VPC 网络为每个节点申请一个可用的 IP 地址, 这个 IP 地址需要与 Oracle Public Network 在同一个子网 另外, 用户需要在 Oracle Public Network 子网中申请一个 scan IP, 该 scap IP 负责与数据库客户端通信, 会把请求转到对应的 VIP, 然后转到真实的 Oracle RAC 节点 Oracle Private Network 平面 :Oracle RAC 节点之间需要通过 Oracle Private Network 平面互相通信, 通信内容包括网络心跳和 Cache Fusion, 该网络平面只负责节点之间的内部通信, 并且不能被外部访问, 所以需要单独规划一个子网 在物理机服务中, 通过自配置的 VLAN 网络实现 Oracle Private Network 网址规划中的网卡信息均根据本示例情况给出, 仅供参考 本文的部署采用下述网络配置 : SCAN 名称 :rascan SCAN IP: 节点名称 Public Network IP 地址 Private Network IP 地址 Virtual IP 地址 Virtual IP 名称 oracle oracle-01-vip oracle oracle-02-vip 3

8 资源规划 每个物理机中有四块网卡 :eth0 和 eth1 用于 Oracle Public Network;eth2 和 eth3 用于 Oracle Private Network 两个 bonds:oracle Public Network(bond0) 和 Oracle Private Network(bond1) 每个物理机有三个地址, 以第一个节点 (oracle-01) 为例, 分配了以下地址 : Oracle Public Network IP 地址 : virtual static IP 地址 : private static IP 地址 : 整个 Oracle RAC 需要一个 scan IP, 配置到任意一个 Oracle RAC 节点上即可 Scan IP 地址 : 图 2-1 网络配置 如上图所示,Oracle Public Network 创建三个接口 Public network IP virtual IP 和 scan IP, 这个接口在 Linux 系统中体现为下面的形式 : Public network IP address --- bond0 Virtual IP address ---bond0:1 Scan IP address --- bond0:2 2.2 云硬盘资源规划 除了创建物理机自带的系统盘, 本示例中还创建了 5 个 SCSI 共享云硬盘, 并挂载至 Oracle RAC 节点 1 和 Oracle RAC 节点 2, 即 oracle-01 和 oracle-02 通过这 5 个共享盘创建 Oracle ASM ( 自动存储管理,Automatic Storage Management) 磁盘组, 其中磁盘的参数配置及规划如表 2-1 所示 4

9 资源规划 表 2-1 SCSI 共享盘的配置参数 ASM 磁盘组名称 磁盘容量 磁盘个数 ASM 磁盘组冗余类型 ASM 磁盘组 磁盘设备名称 使用说明 OCR 10GB 3 说明 Voting Disk 的个数您可以根据实际情况决定, 但是为了确保可靠性, 建议配置为多个, 并且个数为奇数 大小建议就设定为单个 10G 标准冗余 (Norm al) OCR1 OCR2 OCR3 /dev/sda /dev/sdb /dev/sdc 用于配置 Oracle Grid Infrastructure 的 OCR( 集群注册表,Oracle Cluster Register) 和 Voting Disk MGMT 100G 1 DATA 1000GB 1 说明 用于 oracle MGMTDB 数据库使用 说明 此处磁盘个数及容量请以业务实际需求为准 建议单个磁盘不要超过 2000G 标准冗余 (Exter nal) 外部冗余 (Exter nal) MGMT /dev/sdf 用于 MGMTDB 数据库使用, 由于 Oracle 12C 强制要求安装, 因此必须增加此磁盘 DATA /dev/sdd 数据文件磁盘组, 用于存储数据库的控制文件 在线日志文件 临时表空间文件 数据文件以及存储初始参数的 spfile 文件 FLASH 1000GB 1 外部冗余 (Exter nal) FLASH /dev/sde 用于快速恢复区 ( 以前称为闪回恢复区 ) 使用, 主要存储归档日志 控制文件 在线日志文件的冗余镜像 注意 : 该磁盘组只有当使用闪回特性才需要创建 5

10 资源规划 注意 : Orcle 12c 版本与 11g 在磁盘规划上会有差异,12c 中增加一个至少 40G MGMT 磁盘 2.3 物理机资源规划 使用物理机作为 rac 集群的服务器资源 示例的物理机选型 : 本中量创建 2 台物理机, 其中物理机参数配置如表 2-2 所示 这 2 台物理机组成一个集群 表 2-2 物理机配置参数 节点类型配置信息磁盘规格网卡信息 Oracle RAC 节点 1 节点名称 : oracle-01 RAC 实例 : ORACLE-01 物理机名称 : ecs-oracle-0001 镜像 :CentOS bit 规格 : 物理机的规格, 包括 CPU 内存 磁盘大小和扩展配置 例如 : 规格名称 : physical.s3.lar ge CPU:2*10 core Intel Xeon E V4 (2.2 GHz) Memory:128 GB DDR4 memory Disk:SAS SSD: 2*600G (Raid 1) 两个集群服务器的磁盘规格相同 : 挂载六块磁盘, 具体如下 : 1 块系统盘 : 2*600GB 5 块共享云硬盘 : 详见 云硬盘资源 Oracle RAC 节点 1 有两张网卡, 具体信息如下 : 第一张网卡 (bond0): 私有 IP 地址 : 子网掩码 : 网关 : 虚拟 IP: scan IP: 第二张网卡 (bond1): 私有 IP 地址 : 子网掩码 : Extended Configuration : 2 x 2*10GE NICs 1 x SDI NIC Oracle RAC 节点 2 节点名称 : oracle-02 RAC 实例 : 物理机名称 : oracle-02 镜像 :CentOS bit 规格 : 物理机的规格, 包括 Oracle RAC 节点 2 有两张网卡, 具体信息如下 : 第一张网卡 (bond0): 6

11 资源规划 节点类型配置信息磁盘规格网卡信息 ORACLE-02 CPU 内存 磁盘大小和扩展配置 例如 : 规格名称 : physical.s3.lar ge CPU:2*10 core Intel Xeon E V4 (2.2 GHz) Memory:128 GB DDR4 memory Disk:SAS SSD: 2*600G (Raid 1) Extended Configuration : 2 x 2*10GE NICs 1 x SDI NIC 私有 IP 地址 : 子网掩码 : 网关 : 虚拟 IP: scan IP: 第二张网卡 (bond1): 私有 IP 地址 : 子网掩码 :

12 创建资源 3 创建资源 本章节指导用户根据 1.2 节的资源规划来创建资源, 包括部署 oracle rac 所需的网络 硬盘 服务器资源 3.1 创建 VPC 网络 本章节指导用户创建 VPC 网络, 配置情况请参见 云网络资源规划 创建一个 VPC 网络和一个子网 subnet-bmsorarac 操作步骤 步骤 1 进入天翼云网站, 登录管理控制台 步骤 2 选择 网络 > 虚拟私有云 步骤 3 创建虚拟私有云 图 3-1 创建 VPC 8

13 创建资源 图 3-2 创建 VPC 网络和子网 3.2 创建物理机 操作步骤 步骤 1 进入天翼云网站, 登录管理控制台 步骤 2 选择 计算 > 物理机 进入物理机页面 步骤 3 单击 购买物理机 关于购买物理机的详细操作, 请参见 物理机用户指南 创建物理机过程中, 以下参数请按照说明配置 : 镜像 : 本示例中 2 台物理机的镜像一致, 均为 CentOS bit 磁盘 : 此处磁盘由物理机自带系统盘, 无需添加 共享云硬盘需要单独创建, 请参见 3.3 创建共享云硬盘 虚拟私有云 安全组 网卡 : 两台物理机只需要 1 张网卡 9

14 创建资源 注意 : 此处网卡 1 张做 bond0(publi network), bond1(private network) 在下章节体现 本示例的网络配置, 具体如图 3-3 所示 图 3-3 Oracle RAC 节点网络配置 弹性 IP 地址 : 远程登录物理机时需要使用弹性 IP, 即物理机的外网 IP 地址 请您根据实际情况购买或者使用已有 本示例中使用新购买的 IP, 如图 3-4 所示 图 3-4 配置弹性 IP 本示例中两台物理机为批量创建, 具体参数如图 3-5 所示 图 3-5 物理机参数 ---- 结束 10

15 创建资源 3.3 创建共享云硬盘 本章节指导用户创建 SCSI 共享云硬盘, 并挂载至 Oracle RAC 节点 1 和 Oracle RAC 节点 2, 即 oracle-01 和 oracle-02 本示例中共创建 5 个 SCSI 共享云硬盘, 配置情况请参见 云硬盘资源规划 创建磁盘 操作步骤 步骤 1 进入天翼云网站, 登录管理控制台 步骤 2 选择 存储 > 云硬盘 进入云硬盘页面 步骤 3 单击 购买磁盘, 创建共享云硬盘 高级配置中配置 SCSI 共享 关于创建云硬盘的详细操作, 请参见 云硬盘用户指南 本示例中 5 个 SCSI 共享云硬盘共有两种不同的规格, 因此分了两次进行批量创建为例, 具体参数如图 3-6 和图 3-7 所示 图 3-6 OCR 共享云硬盘参数 图 3-7 DATA 和 FLASH 共享云硬盘参数 11

16 创建资源 挂载磁盘 步骤 1 分别将 5 个 SCSI 共享云硬盘挂载至 oracle-01 和 oracle-02 如图 3-8 所示 图 3-8 挂载共享云硬盘 挂载时请注意, 共享云硬盘的在两个物理机的挂载点需要保持一致 例如,volumeoracle 挂载给 oracle-01 时, 在界面上选择的挂载点为 dev/sdb, 则挂载给 oracle-02 时, 也应该选择挂载点 dev/sdb 本示例中五个共享云硬盘在界面上选择的挂载点和物理机中对应的设备名称如表 3-1 所示 表 3-1 共享云硬盘的挂载点及设备名称 共享云硬盘名称 界面的挂载点 物理机中的设备名称 volume-oracle dev/sdb /dev/sda volume-oracle dev/sdc /dev/sdb volume-oracle dev/sdd /dev/sdc volume-oracle dev/sde /dev/sdd volume-oracle dev/sdf /dev/sde ---- 结束 12

17 创建资源 3.4 为物理机绑定虚拟 IP 本章节指导用户申请虚拟 IP, 并为已创建的两台物理机绑定虚拟 IP 本示例中共需要 3 个虚拟 IP 地址 ( 两个 VIP, 一个 Scan IP), 申请虚拟 IP 申请虚拟 IP 的方法, 具体请参见 虚拟私有云用户指南 > 虚拟 IP > 申请虚拟 IP 地址 本示例中虚拟 IP 与第一张网卡位于同一个子网, 都属于 Oracle Public Network 平面 绑定虚拟 IP 操作步骤 步骤 1 进入天翼云网站, 登录管理控制台 步骤 2 选择 计算 > 物理机 进入物理机页面 步骤 3 在服务器列表中, 单击待查询物理机的名称 进入物理机详情页面 步骤 4 选择 网卡 页签 进入网卡详情页面 步骤 5 在第一张网卡所在行单击 管理虚拟 IP 地址 进入虚拟 IP 详情页 步骤 6 单击目标虚拟 IP 所在行的操作列下的 更多 > 绑定服务器 弹出 绑定服务器 窗口, 如图 3-9 所示 选择需要绑定的物理机, 并选择网卡为 public 网络所在的网卡 该配置页面单次只能选择一个虚拟机, 所以对于需要挂载多个虚拟机的 IP, 需要重复操作 13

18 创建资源 图 3-9 绑定服务器 步骤 7 选择目标服务器, 并核对网卡信息, 单击 确定, 完成绑定 本示例中虚拟 IP 与物理机的绑定关系如表 3-2 所示 注意 : 所有节点都需要绑定 VIP 和 scan IP, 否则出现故障, 导致 VIP 无法漂移 表 3-2 虚拟 IP 与物理机的绑定关系 物理机名称 虚拟 IP 地址 oracle oracle Oracle HAIP 特性处理 Oracle RAC 软件中的 haip 服务会在安装的时候使用 /16 网段的 IP 进行通信, 该网段的 IP 会在心跳网络的网卡上起的子接口上进行配置 Oracle 安装完成后的心跳网卡上的网络配置如下图 : 图 3-10 心跳网络示意 14

19 创建资源 Eth1 网卡上的 /24 网段是 VPC 中的 private 子网,Eth1:1 是 Eth1 网卡上的一个子网卡, 配置的 IP 是 Oracle 软件从 /16 这个地址池 ( 无法修改 ) 中随机分配的 IP 添加安全组规则 图 3-11 添加 xx.xx 的安全组规则 在安全组入方向添加 xx.xx 的安全组规则, 出方向默认是通的, 所以不需要添加 3.6 检查安全组规则 由于配置网络时有些网段的安全组规则是默认配置的, 有些则需要主动添加 ( 如 中的 HAIP 安全组规则 ), 在创建资源完成后检查一下安全组规则是否符合要求 15

20 创建资源 表 3-3 安全组规则 类型协议端口范围远端用途 IPv4 Any Any /24 IPv4 Any Any /24 IPv4 Any Any /16 Public 所在网段, 保证 public 网段内部的通信及 VIP 和 scan IP 的互通 Private 所在的网段, 保证 private 网段内部的通信 Oracle 中 haip 特性需要使用到的 IP 段, 需要放通 IPv4 TCP /0 linux 虚拟机远程桌面需要使用到的端口 IPv4 TCP /0 Linux 虚拟机 ssh 登录端口 IPv4 TCP /0 windows 虚拟机远程桌面需要使用到的端口 3.7 物理机自定义 VLAN 以 CentOS 6.8 (x86_64) 操作系统为例, 举例介绍物理机的自定义 VLAN 网络配置方法 : 步骤 1 以 root 用户, 使用密钥或密码登录物理机 步骤 2 进入物理机的命令行界面, 查询网卡信息 ip link 返回信息示例如下 : 步骤 3 执行以下命令, 查看 /etc/udev/rules.d/ 目录下是否有 80- persistent-net.rules 配置文件 ll /etc/udev/rules.d/ grep 80-persistent-net.rules 16

21 创建资源 如果存在 80-persistent-net.rules, 且该配置文件中已存在步骤 2 中查询到的除 b ond0 和 lo 以外的其它所有网卡和对应的 MAC 地址, 请执行步骤 6 否则, 继续执行步骤 4 步骤 4 执行以下命令, 将 /etc/udev/rules.d/70-persistent-net.rules 文件拷贝一份 ( 文件名为 /etc/udev/rules.d/80-persistent-net.rules ) cp -p /etc/udev/rules.d/70-persistent-net.rules /etc/udev/rules.d/80-persisten t-net.rules 步骤 5 设置 udev 规则 将步骤 2 中查询到的除 eth0 和 eth1 以外的网卡 ( 即 /etc/udev/rules.d/70-pe rsistent-net.rules 中未体现的网卡 MAC 地址和名称 ), 写入 /etc/udev/rules.d/80- persistent-net.rules 文件中, 使得物理机重启复位后, 网卡名称和顺序不会发生改变 vi /etc/udev/rules.d/80-persistent-net.rules 修改后的示例如下 : 修改完成后, 按 Esc, 输入 :wq 保存并退出 步骤 6 执行以下命令, 将网络配置文件 /etc/sysconfig/network-scripts/ifcfgbond0 拷贝为 /etc/sysconfig/network-scripts/ifcfg-bond1, 将网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0 拷贝为 /etc/sysconfig/network-scripts/ifcfg-eth3 和 /etc/sysconfig/network/ ifcfg-eth5 cp -p /etc/sysconfig/network-scripts/ifcfg-bond0 /etc/sysconfig/network-scri pts/ifcfg-bond1 cp -p /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-script s/ifcfg-eth3 cp -p /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-script s/ifcfg-eth5 17

22 创建资源 步骤 7 执行以下命令, 编辑 /etc/sysconfig/network-scripts/ifcfg-eth3 和 /etc/sysconfig/network-scripts/ifcfg-eth5, 配置 eth3 设备和 eth5 设备的网络配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth3 eth3 按以下格式编辑 : USERCTL=no MTU=8888 NM_CONTROLLED=no BOOTPROTO=static DEVICE=eth3 TYPE=Ethernet ONBOOT=yes MASTER=bond1 SLAVE=yes 其中, BOOTPROTO 参数取值修改为 static, DEVICE 为对应的网络设备名 称, 取值即为 eth3, MASTER 为对应的自定义 VLAN 网络端口的名称, 取值如 bond1, 其他参数可保持不变 vi /etc/sysconfig/network-scripts/ifcfg-eth5 eth5 按以下格式编辑 ( 格式和规则和 eth3 一致 ): USERCTL=no MTU=8888 NM_CONTROLLED=no BOOTPROTO=static DEVICE=eth5 TYPE=Ethernet ONBOOT=yes MASTER=bond1 SLAVE=yes 步骤 8 执行以下命令, 编辑 /etc/sysconfig/network-scripts/ifcfg-bond1 vi /etc/sysconfig/network-scripts/ifcfg-bond1 18

23 创建资源 按以下格式编辑 : MACADDR=f4:4c:7f:3f:da:07 BONDING_MASTER=yes USERCTL=no ONBOOT=yes NM_CONTROLLED=no BOOTPROTO=static BONDING_OPTS="mode=1 miimon=100" DEVICE=bond1 TYPE=Bond IPADDR= NETMASK= MTU=8888 其中, MACADDR 参数取值修改为自定义 VLAN 网络 eth3 或者 eth5 设备的 MA 地 址 BOOTPROTO 参数取值修改为 static DEVICE 参数取值修改为 bond1 IPADDR 参数取值修改为待给 bond1 分配的 IP 地址 ( 为自定义 VLAN 网络规 划的 IP 地址在没有与 VPC 网段冲突的情况下可任意规划, 需要通过自定义 VLAN 网 络通信的物理机须将自定义 VLAN 网络配置在同一个网段 ), 如 NETMASK 参数为给自定义 VLAN 网络 bond1 配置的 IP 的子网掩码 其他参 数可保持不变 修改完成后, 按 Esc, 输入 :wq 保存并退出 步骤 9 执行以下命令, 启动自定义 VLAN 网络端口组 bond1 ifup bond1 19

24 创建资源 步骤 10 参见上述步骤, 完成其他物理机的配置 步骤 11 待其他物理机配置完成后, 互相 ping 对端自定义 VLAN 网络配置的同网段 IP, 检查是否可以 ping 通 ---- 结束 20

25 配置参数 4 配置参数 本章节指导用户对 Oracle RAC 节点进行配置, 包括主机名称 host 防火墙等 4.1 修改 Oracle RAC 节点主机名称 本章节指导用户修改 2 台 Oracle RAC 节点的主机名称 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/sysconfig/network 文件 vi /etc/sysconfig/network 回显类似如下信息 : [root@oracle-01 ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=oracle-01.novalocal NOZEROCONF=yes 步骤 3 按 i 进入编辑模式 步骤 4 修改 Oracle RAC 节点 1 的 HOSTNAME 为 oracle-01, 请参考以下回显样例进行配置 : 21

26 配置参数 NETWORKING=yes HOSTNAME=oracle-01 NOZEROCONF=yes 步骤 5 按 Esc, 输入 :wq!, 并按 Enter 步骤 6 执行以下命令修改, 编辑配置文件 /etc/cloud/cloud.cfg vi /etc/cloud/cloud.cfg 按需选择如下两种方法, 修改配置文件 方法一 : 修改或添加 preserve_hostname 参数项 如果文件 /etc/cloud/cloud.cfg 中已有参数项 preserve_hostname: false, 将其修改为 preserve_hostname: true 即可 如果文件 /etc/cloud/cloud.cfg 中没有该参数项, 需要在 cloud_init_modules 模块前, 添加语句 preserve_hostname: true 方法二 : 删除或者注释如下语句 update_hostname 执行以下命令, 保存并退出文件 按 Esc, 输入 :wq!, 并按 Enter 步骤 7 修改物理机网络配置脚本 bms-network-config.conf a. bms-network-config.conf 的配置参数 enable_preserve_hostname 默认为 False, 表示每次单板复位自动刷新主机名 将其修改为 True 即可关闭该功能 b. 执行以下命令, 编辑配置脚本 bms-network-config.conf c. vi /opt/huawei/network_config/bms-network-config.conf d. 将参数项 enable_preserve_hostname 设置为 True e. enable_preserve_hostname: True f. 执行以下命令, 保存并退出文件 g. 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 ---- 结束 步骤 8 参考步骤 1~ 步骤 7, 配置 Oracle RAC 节点 2 的 HOSTNAME 为 oracle 配置 hosts 本章节指导用户配置 2 台 Oracle RAC 节点的网络, 包括配置 hosts, 并关闭防火墙和 SElinux 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 22

27 配置参数 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/hosts 文件 vi /etc/hosts 回显类似如下信息 : [root@oracle-01 ~]# vi /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 步骤 3 按 i 进入编辑模式 步骤 4 将 2 台 Oracle RAC 节点两张网卡的私有 IP 地址 虚拟 IP 地址以及 IP 地址对应的 host 名称添加至 hosts 文件末尾, 请参考以下回显样例进行配置 : #public ip oracle oracle-02 #private ip oracle-01-priv oracle-02-priv #virtual ip oracle-01-vip oracle-02-vip #scan ip scan 其中,IP 地址的名称为自定义, 后续安装 Oracle 软件的时候需要使用 步骤 5 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 6 参考步骤 1~ 步骤 5, 配置 Oracle RAC 节点 2 的 /etc/hosts 文件 ---- 结束 23

28 配置参数 4.3 关闭防火墙和 SElinux 本章节指导用户关闭 2 台 Oracle RAC 节点的防火墙和 SElinux 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 Cent OS 7 与 Cent OS 6 命令略有差异, 差异见操作步骤后的提示 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 永久关闭防火墙, 重启物理机后也不会启动 chkconfig iptables off 步骤 3 执行以下命令, 关闭防火墙 service iptables stop 步骤 4 执行以下命令, 关闭 SElinux setenforce 0 回显类似如下信息 : setenforce: SELinux is disabled 表示 SElinux 已经关闭 步骤 5 执行以下命令, 永久关闭 SElinux, 重启物理机后也不会启动 sed -i 's/selinux=enforcing/selinux=disabled/' /etc/selinux/config 步骤 6 参考步骤 1~ 步骤 5, 关闭 Oracle RAC 节点 2 的防火墙和 SElinux ---- 结束 CentOS 7 的操作命令参考 : 关闭防火墙 以 root 登录服务器, 执行以下命令, 关闭防火墙 systemctl stop firewalld.service 禁止开机启动 24

29 配置参数 关闭防火墙之后, 使用以下命令禁止开机启动 systemctl disable firewalld.service 查看状态 查看默认防火墙状态 ( 关闭后显示 notrunning, 开启后显示 running) firewall-cmd --state Selinux 修改 如果 SELinux 没有被禁止, 那就通过如下方式修改 vi /etc/selinux/config 改成 SELINUX=disabled 4.4 关闭 linux 的 NTP 本章节指导用户关闭 2 台 Oracle RAC 节点的 NTP 服务, 使用 Oracle 自带的 NTP 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 25

30 配置参数 步骤 2 执行以下命令, 临时关闭 NTP 服务 service ntpd stop 回显类似如下信息 : Shutting down ntpd: 关闭 NTP 服务的操作会立即生效, 重启物理机后,NTP 服务会自动开启 步骤 3 执行以下命令, 查看 NTP 服务的状态 service ntpd status 回显类似如下信息 : ntpd (pid 2069) is running... 步骤 4 执行以下命令, 将 NTP 服务设置为永久关闭, 重启物理机后也不会开启 chkconfig ntpd off 步骤 5 执行以下命令, 查看 NTP 服务是否已经关闭 chkconfig ntpd --list 回显类似如下信息 : ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off 表示所有的 NTP 服务已经关闭 步骤 6 执行以下命令, 删除默认 NTP 配置 mv /etc/ntp.conf /etc/ntp.conf.org ---- 结束 当 Oracle RAC 集群安装完成后, 就会自动运行 Oracle 自带的 NTP 步骤 7 参考步骤 1~ 步骤 6, 配置 Oracle RAC 节点 2 的 NTP 服务 4.5 扩展 swap 分区 本章节指导用户关闭修改扩展 swap 分区大小 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 26

31 配置参数 按照 Oracle 官方建议, 当单节点内存总量大于 16GB 时,swap 设置为 16GB, 但是当前镜像中的 swap 分区普遍较小, 因此使用 root 命令执行如下命令扩展 swap 分区为 16GB: dd if=/dev/zero of=/home/swap bs=1g count=16 mkswap /home/swap swapon /home/swap vi /etc/fstab 在该文件末尾增加如下内容 /home/swap swap swap defaults 修改 Linux 内核参数 本章节指导用户修改 2 台 Oracle RAC 节点的 Linux 内核参数 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/sysctl.conf 文件 vi /etc/sysctl.conf 步骤 3 修改 Oracle RAC 节点 1 的内核, 请参考以下说明进行配置 : 1. 注释掉配置中原有的 kernel.shmmax 和 kernel.shmall 参数 # Controls the maximum shared segment size, in bytes # kernel.shmmax = # Controls the maximum number of shared memory segments, in pages # kernel.shmall = 将以下字段添加至文件末尾, 参数修改参考官方最佳实践 fs.aio-max-nr = fs.file-max = kernel.shmall = kernel.shmmax =

32 配置参数 kernel.shmmni = 4096 kernel.sem = net.ipv4.ip_local_port_range = net.core.rmem_default = net.core.rmem_max = net.core.wmem_default = net.core.wmem_max = 步骤 4 按 Esc, 输入 :wq!, 并按 Enter 步骤 5 执行以下命令, 使修改 Linux 内核参数的配置生效 sysctl -p 回显类似如下信息 : net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = kernel.msgmax = fs.aio-max-nr = fs.file-max = kernel.shmall = kernel.shmmax = kernel.shmmni = 4096 kernel.sem = net.ipv4.ip_local_port_range = net.core.rmem_default = net.core.rmem_max = net.core.wmem_default = net.core.wmem_max = 可以在回显中看到步骤 4 中添加的字段, 表示配置成功 步骤 6 参考步骤 1~ 步骤 6, 修改 Oracle RAC 节点 2 的 Linux 内核参数 ---- 结束 4.7 修改 Linux 资源配置文件 本章节指导用户修改 2 台 Oracle RAC 节点的 Linux 资源配置文件 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 28

33 配置参数 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/security/limits.conf 文件 vi /etc/security/limits.conf 回显类似如下信息 : [root@oracle-01 ~]# vi /etc/security/limits.conf # - nofile - max number of open file descriptors # - rss - max resident set size (KB) # - stack - max stack size (KB) # - cpu - max CPU time (MIN)... # End of file 步骤 3 按 i 进入编辑模式 步骤 4 请将以下回显样例的内容添加至文件末尾 : grid soft nproc 2047 grid hard nproc grid soft nofile 1024 grid hard nofile grid soft stack grid hard stack oracle soft nproc 2047 oracle hard nproc oracle soft nofile 1024 oracle hard nofile oracle soft stack oracle hard stack oracle soft memlock oracle hard memlock 步骤 5 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 6 参考步骤 1~ 步骤 5, 修改 Oracle RAC 节点 2 的 Linux 资源配置文件 ---- 结束 4.8 修改节点登录配置文件 本章节指导用户修改 2 台 Oracle RAC 节点的登录配置文件 29

34 配置参数 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/pam.d/login 文件 vi /etc/pam.d/login 步骤 3 请将以下回显样例的内容添加至文件末尾 : session required pam_limits.so 步骤 4 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 5 参考步骤 1~ 步骤 5, 修改 Oracle RAC 节点 2 的登录配置文件 ---- 结束 4.9 创建 grid oracle 用户以及安装目录 本章节指导用户为 2 台 Oracle RAC 节点创建 grid oracle 用户以及安装目录 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 创建 grid oracle 用户以及安装目录 /usr/sbin/groupadd -g 502 oinstall 30

35 配置参数 /usr/sbin/groupadd -g 503 dba /usr/sbin/groupadd -g 504 oper /usr/sbin/groupadd -g 505 asmadmin /usr/sbin/groupadd -g 506 asmoper /usr/sbin/groupadd -g 507 asmdba /usr/sbin/useradd -g oinstall -G dba,asmdba,oper oracle /usr/sbin/useradd -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid mkdir -p /u01/app/oracle/app chown -R oracle:oinstall /u01/app/oracle/app chmod -R 775 /u01/app/oracle/app mkdir -p /u01/app/oracle/product/12.2/db chown -R oracle:oinstall /u01/app/oracle/product/12.2/db chmod -R 775 /u01/app/oracle/product/12.2/db mkdir -p /u01/app/grid/app chown -R oracle:oinstall /u01/app/grid/app chmod -R 775 /u01/app/grid/app mkdir -p /u01/app/grid/ chown -R grid:oinstall /u01/app/grid/ chmod -R 775 /u01/app/grid/ mkdir -p /u01/app/grid/orainventory chmod -R 775 /u01/app/grid/orainventory chown -R grid:oinstall /u01/app/grid/orainventory 步骤 3 执行以下命令, 修改 grid 用户的密码 passwd grid 根据回显提示设置密码, 符号 回显类似如下信息 : Changing password for user grid. New password: Retype new password: passwd: all authentication tokens updated successfully. 步骤 4 执行以下命令, 修改 oracle 用户的密码 passwd oracle 根据回显提示设置密码, 符号 回显类似如下信息 : Changing password for user oracle. New password: 31

36 配置参数 Retype new password: passwd: all authentication tokens updated successfully 修改节点环境变量 本章节指导用户修改 2 台 Oracle RAC 节点的用户登录时运行的环境变量 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 打开 Oracle RAC 节点 1 的 /etc/profile 文件 vi /etc/profile 步骤 3 按 i 进入编辑模式 步骤 4 请将以下回显样例的内容添加至文件末尾 : if [ $USER = "oracle" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p ulimit -n else ulimit -u n fi fi 步骤 5 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 6 执行以下命令, 使修改环境变量的配置生效 source /etc/profile 步骤 7 执行以下步骤, 配置 grid 环境变量 1. 执行以下命令, 从 root 切换至 grid 用户 su - grid 2. 执行以下命令, 打开 Oracle RAC 节点 1 的.bash_profile 文件 vi.bash_profile 回显类似如下信息 : 32

37 配置参数 ~]$ vi.bash_profile #.bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then. ~/.bashrc fi 按 i 进入编辑模式 4. 请将以下回显样例的内容添加至文件末尾 : export ORACLE_SID=+ASM1 export ORACLE_BASE=/u01/app/grid/app/ export ORACLE_HOME=/u01/app/grid/12.2.0/ export PATH=$ORACLE_HOME/bin:/usr/sbin:/bin:/usr/bin/X11:/usr/local/bin: /sbin:$path export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr /lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/j lib:$oracle_home/network/jlib export THREADS_FLAG=native if [ $USER = "oracle" ] [ $USER = "grid" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p ulimit -n else ulimit -u n fi umask 022 fi Oracle RAC 节点 1 的 ORACLE_SID 为 +ASM1, Oracle RAC 节点 2 的 ORACLE_SID 为 +ASM2 5. 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 8 执行以下步骤, 配置 oracle 环境变量 1. 执行以下命令, 从 root 切换至 grid 用户 su - oracle 2. 执行以下命令, 打开 Oracle RAC 节点 1 的.bash_profile 文件 vi.bash_profile 回显类似如下信息 : [grid@oracle-01 ~]$ vi.bash_profile #.bash_profile 33

38 配置参数 # Get the aliases and functions if [ -f ~/.bashrc ]; then. ~/.bashrc fi 按 i 进入编辑模式 4. 请将以下回显样例的内容添加至文件末尾 : export DISPLAY=1.0 export ORACLE_SID=oracle-01 export ORACLE_BASE=/u01/app/oracle/app export ORACLE_HOME=/u01/app/oracle/product/12.2/db export TNS_ADMIN=$ORACLE_HOME/network/admin #export ORA_NLS10=/u01/app/oracle/product/12.2/db/nls/data export NLS_LANG="SIMPLIFIED CHINESE_CHINA.ZHS16GBK" export PATH=$ORACLE_HOME/bin:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin:/ u01/app/common/oracle/bin:$path export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/oracm/lib:/lib:/usr /lib:/usr/local/lib export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/j lib:$oracle_home/network/jlib export THREADS_FLAG=native if [ $USER = "oracle" ] [ $USER = "grid" ]; then if [ $SHELL = "/bin/ksh" ]; then ulimit -p ulimit -n else ulimit -u n fi umask 022 fi Oracle RAC 节点 1 的 ORACLE_SID 为 oracle-01, Oracle RAC 节点 2 的 ORACLE_SID 为 oracle 结束 5. 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 9 参考步骤 1~ 步骤 8, 配置 Oracle RAC 节点 2 34

39 配置参数 4.11 安装 Oracle RAC 的依赖包 本章节指导用户为 2 台 Oracle RAC 节点安装依赖包 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录物理机 步骤 2 执行以下命令, 安装 Oracle RAC 的依赖包 yum -y install gcc gcc-c++ make binutils compat-libstdc++-33 elfutils-libelf elfutilslibelf-devel glibc glibc-common glibc-devel libaio libaio-devel libgcc libstdc++ libstdc++-devel compat-libcap1 ksh sysstat unixodbc unixodbc-devel libxp 回显类似如下信息 : [root@oracle-01 ~]# yum -y install gcc gcc-c++ make binutils compatlibstdc++-33 elfutils-libelf elfutils-libelf-devel glibc glibc-common glibc-devel libaio libaio-devel libgcc libstdc++ libstdc++-devel compat-libcap1 ksh sysstat unixodbc unixodbc-devel libxp Loaded plugins: fastestmirror... Updated: libgcc.x86_64 0: el6_9.2 libstdc++.x86_64 0: el6_ 结束 Complete! 步骤 3 参考步骤 1~ 步骤 2, 为 Oracle RAC 节点 2 安装依赖包 步骤 4 如果有安装包未安装, 则使用如下命令进行安装, 以 compat-libstdc++ 为例 yum install compat-libstdc++ -y 步骤 5 注意修改 CentOS 的 yum 源, 推荐使用 ISO 制作的本地 yum 源, 也可百度搜索一下国内其他的 yum 源 4.12 禁止 avahi-daemon 服务 本章节指导用户禁止 avahi-daemon 服务 avahi-daemon 服务会影响 oracle 的多波通信, 进而导致节点重启 oracle 环境下不能启用 avahi-daemon 服务 : 35

40 配置参数 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 Cent OS 7 与 Cent OS 6 命令有差异, 差异见操作步骤后的提示 操作步骤 : 步骤 1 使用 root 用户登录物理机 执行 service avahi-daemon stop 步骤 2 若回显如下, 表示未安装该软件, 可跳过本章节 : [root@ecs-oracle-0002 ~]# service avahi-daemon stop avahi-daemon: unrecognized service 执行 chkconfig avahi-daemon off CentOS 7 的操作命令参考 : 使用 root 登录物理机 执行 systemctl stop avahi-daemon.service 执行 systemctl disable avahi-daemon.service 4.13 关闭 RemoveIPC( 仅限 CentOS 7) 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 本章节为 Cent OS 7.2 后版本需要执行 在 RHEL7.2 中,systemd-logind 服务引入了一个新特性, 该新特性是 : 当一个 user 完全退出 os 之后,remove 掉所有的 IPC objects 该特性由 /etc/systemd/logind.conf 参数文件中 RemoveIPC 选项来控制 在 RHEL7.2 中,RemoveIPC 的默认值为 yes, 因此, 当最后一个 oracle 或者 Grid 用户退出时, 操作系统会 remove 掉这个 user 的 shared memory segments and semaphores 由于 Oracle ASM 和 database 使用 shared memory segments, 删除 shared memory segments 将会 crash 掉 Oracle ASM 和 database instances 使用 root 登录物理机 修改 /etc/systemd/logind.conf 36

41 配置参数 vi /etc/systemd/logind.conf 修改 login.conf 中的 RemoveIPC 为 no RemoveIPC=no 4.14 配置 Oracle ASM 磁盘组 本章节指导用户使用 UDEV 配置 Oracle ASM 磁盘组 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 本示例中共有 2 台 Oracle RAC 节点需要配置, 请按照操作步骤分别在两个节点上执行相应的操作 Cent OS 7 与 Cent OS 6 命令略有差异, 差异见操作步骤后的提示 操作步骤 步骤 1 使用 root 用户登录 Oracle RAC 节点 1 步骤 2 执行以下命令, 查询所有共享云硬盘的 UUID 值 scsi_id --whitelisted --replace-whitespace --device= 磁盘设备名称本示例中共有 5 块共享云硬盘, 命令示例如下 : scsi_id --whitelisted --replace-whitespace --device=/dev/sda scsi_id --whitelisted --replace-whitespace --device=/dev/sdb scsi_id --whitelisted --replace-whitespace --device=/dev/sdc scsi_id --whitelisted --replace-whitespace --device=/dev/sdd scsi_id --whitelisted --replace-whitespace --device=/dev/sde 回显类似如下信息 : [root@oracle-01 ~]# scsi_id --whitelisted --replace-whitespace -- device=/dev/sda fa5fa16f46e [root@oracle-01 ~]# scsi_id --whitelisted --replace-whitespace -- device=/dev/sdb fa4fa16f46e [root@oracle-01 ~]# scsi_id --whitelisted --replace-whitespace -- device=/dev/sdc fa6fa16f46e [root@oracle-01 ~]# scsi_id --whitelisted --replace-whitespace -- device=/dev/sdd f8afa16f46e

42 配置参数 ~]# scsi_id --whitelisted --replace-whitespace -- device=/dev/sde f89fa16f46e 记录共享云硬盘的 UUID 步骤 3 执行以下步骤, 在 /etc/udev/rules.d/ 目录中创建一个名称为 99- oracle-asmdevices.rules 的 UDEV 规则文件 1. 执行以下命令, 进入 /etc/udev/rules.d/ 目录 cd /etc/udev/rules.d/ 2. 执行以下命令, 新建一个名称为 99-oracle-asmdevices.rules 的 UDEV 规则文件 vi 99-oracle-asmdevices.rules 3. 按 i 进入编辑模式 4. 在新建的 UDEV 规则文件中, 按照如下格式添加所有共享云硬盘的 UDEV 规则 请参考以下说明及回显样例进行配置 : KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id -- whitelisted --replace-whitespace --device=/dev/$name", RESULT==" 共享云硬盘的 UUID", SYMLINK+="ASM 磁盘组在 /dev/ 下的目录名 +ASM 磁盘名称 ", OWNER="grid", GROUP="asmadmin", MODE="0660" 其中, 需要根据实际情况配置的具体参数说明如下 : RESULT:RESULT 的取值样例为 fa5fa16f46e , RESULT 的值为步骤 2 查询到的共享云硬盘的 UUID SYMLINK:SYMLINK 取值样例为 oracleasm/disks/ocr1, 其中 oracleasm/disks/ 为 ASM 磁盘组在 /dev/ 下的目录名, 该目录需要自己手动创建 OCR1 为 ASM 磁盘名称, 按照实际的磁盘规划填写, 具体请参见 2 资源 OWNER 和 GROUP: 取值样例为 OWNER="grid", GROUP="asmadmin", 请按照实际情况填写, 以 grid 用户和规划好的用户组 asmadmin 为例 本示例中共有 5 块共享云硬盘, 配置示例如下 : KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" fa5fa16f46e ", SYMLINK+="oracleasm/disks/OCR1", OWNER="grid", GROUP="asmadmin", MODE="0660" KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" fa4fa16f46e ", SYMLINK+="oracleasm/disks/OCR2", OWNER="grid", GROUP="asmadmin", MODE="0660" KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" fa6fa16f46e ", SYMLINK+="oracleasm/disks/OCR3", OWNER="grid", GROUP="asmadmin", MODE="0660" 38

43 配置参数 KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" f8afa16f46e ", SYMLINK+="oracleasm/disks/DATA", OWNER="grid", GROUP="asmadmin", MODE="0660" KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" f89fa16f46e ", SYMLINK+="oracleasm/disks/FLASH", OWNER="grid", GROUP="asmadmin", MODE="0660" 5. 按 Esc, 输入 :wq!, 并按 Enter 保存设置并退出 vi 编辑器 步骤 4 通过 WinSCP 将 99-oracle-asmdevices.rules 拷贝到 Oracle RAC 节点 2 步骤 5 拷贝完成后, 继续返回 Oracle RAC 节点 1, 执行以下命令, 重新加载 UDEV 规则 udevadm control --reload-rules udevadm trigger --type=devices --action=change 步骤 6 使用 root 用户登录另一台 Oracle RAC 节点 此处为 Oracle RAC 节点 2 步骤 7 在 Oracle RAC 节点 2, 执行以下命令, 重新加载 UDEV 规则 udevadm control --reload-rules udevadm trigger --type=devices --action=change 步骤 8 执行以下命令, 检查 ASM 磁盘组的配置是否生效 ll /dev/oracleasm/disks/* 回显类似如下信息 : [root@oracle-01]$ ll /dev/oracleasm/disks/* brw-rw root root 8, 49 Jul 4 17:52 /dev/oracleasm/disks/data brw-rw root root 8, 65 Jul 4 17:52 /dev/oracleasm/disks/flash brw-rw root root 8, 1 Jul 4 17:52 /dev/oracleasm/disks/ocr1 brw-rw root root 8, 17 Jul 4 17:52 /dev/oracleasm/disks/ocr2 brw-rw root root 8, 33 Jul 4 17:52 /dev/oracleasm/disks/ocr3 表示 ASM 磁盘组的配置成功 ---- 结束 CentOS 7 的操作命令参考 : 使用以下命令获取磁盘的 uuid /usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/sdb 39

44 配置参数 或者 /usr/lib/udev/scsi_id -g -u /dev/sdb 以下两个节点都需要做 UDEV 规则文件中, 按照如下格式添加所有共享云硬盘的 UDEV 规则 : KERNEL=="sd*", SUBSYSTEM =="scsi", PROGRAM== =="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT==" 共享云硬盘的 UUID", SYMLINK+="ASM 磁盘组在 /dev/ 下的目录名 +ASM 磁盘名称 ", OWNER="grid", GROUP="asmadmin", MODE="0660" 重新加载分区表命令 : /usr/sbin/partprobe /dev/sd* 启动 udev /usr/sbin/udevadm control --reload-rules systemctl status systemd-udevd.service systemctl enable systemd-udevd.service 4.15 配置 Oracle 远程图形化安装界面 安装 Oracle 数据库时建议您选择图形化界面, 主要有以下两个步骤 : 安装带有图形化界面的操作系统 为物理机配置弹性 IP, 使用一台可访问公网的 PC 通过 vncviewer 方法登录物理机, 通过图形化界面来安装 Oracle 本章节指导用户安装图形化界面 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 该操作只需要在一台 Oracle RAC 节点执行即可, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录 Oracle RAC 节点 1 40

45 配置参数 本示例中选择在 Oracle RAC 节点 1 上安装数据库 步骤 2 执行以下命令, 安装图形化界面 yum groupinstall -y "X Window System" yum groupinstall -y "Desktop" 回显类似如下信息 : [root@ecs-oracle-0001 ~]# yum groupinstall "X Window System" Loaded plugins: fastestmirror Setting up Group Process Loading mirror speeds from cached hostfile * base: centos.ustc.edu.cn * epel: mirrors.ustc.edu.cn... Complete! 表示图形化界面安装完成 4.16 重启一下物理机节点 在安装之前需要重启一下云服务节点, 以保证上述的系统配置均生效 本章节指导用户如何重启节点 所有的 Oracle RAC 节点均需要执行本章节配置, 本示例中共有 2 台 Oracle RAC 节点, 本操作以配置 Oracle RAC 节点 1 为例 步骤 1 使用 root 用户登录物理机 步骤 2 执行如下命令重启机器 reboot 4.17 安装远程桌面软件 要使用 Oracle 的图形化界面, 需要在 Linux 系统中安装远程桌面软件或者使用天翼云界面上的远程登陆功能, 并在系统中使用相应用户执行 startx 启动桌面 本章节指导用户安装配置 tigervnc-server 远程桌面软件 41

46 配置参数 该操作只需要在一台 Oracle RAC 节点执行即可, 本操作以配置 Oracle RAC 节点 1 为例 操作步骤 步骤 1 使用 root 用户登录 Oracle RAC 节点 1 步骤 2 执行如下命令, 安装 tigervnc-server 软件 yum install -y tigervnc-server 步骤 3 配置显示分辨率 vi /etc/sysconfig/vncservers 将以下内容添加到文件末尾 : VNCSERVERS="2:root" VNCSERVERARGS[2]="-geometry 1024x768 -nolisten tcp" 步骤 4 执行如下命令配置 vnc 桌面环境及密码 vncserver 根据提示输入密码步骤 5 配置桌面使用的软件 vi /root/.vnc/xstartup 配置完成后的文件内容如下, 主要修改的是最下面三行 : #!/bin/sh [ -r /etc/sysconfig/i18n ] &&. /etc/sysconfig/i18n export LANG export SYSFONT vncconfig -iconic & unset SESSION_MANAGER unset DBUS_SESSION_BUS_ADDRESS OS=`uname -s` if [ $OS = 'Linux' ]; then case "$WINDOWMANAGER" in *gnome*) if [ -e /etc/suse-release ]; then PATH=$PATH:/opt/gnome/bin export PATH fi ;; esac fi if [ -x /etc/x11/xinit/xinitrc ]; then exec /etc/x11/xinit/xinitrc fi if [ -f /etc/x11/xinit/xinitrc ]; then exec sh /etc/x11/xinit/xinitrc fi 42

47 配置参数 [ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources xsetroot -solid grey #xterm -geometry 80x ls -title "$VNCDESKTOP Desktop" & #twm & gnome-session & 步骤 6 重启 vncserver 服务 service vncserver restart 现在可以使用 vncviewer 工具连接节点 1 的远程桌面了, 端口号为 安装前检查 重点检查项 相关章节 Oracle 物理机网络必须在同一个 VPC 下 创建物理机 Oracle 自定义 VLAN 物理机自定义 VLAN 安全组规则配置 检查安全组规则 安装包的完整性 1.2 Oracle 安装包 43

48 安装 oracle rac 软件 5 安装 Oracle RAC 软件 5.1 安装 Oracle Grid 本章节指导用户安装 Oracle Grid 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 本示例中共有 2 台 Oracle RAC 节点需要配置, 请按照操作步骤分别在两个节点上执行相应的操作 前提条件 已获取安装所需的软件包, 本示例中需要获取的软件包如下 : linuxx64_12201_database.zip linuxx64_12201_grid_home.zip 操作指导 步骤 1 使用 root 用户登录 Oracle RAC 节点 1 步骤 2 通过 WinSCP 将软件报拷贝到 Oracle RAC 节点 1 的根目录下 步骤 3 执行以下命令分别给安装包修改用户权限 chown grid:oinstall linuxx64_12201_grid_home.zip chown oracle:oinstall linuxx64_12201_database.zip 步骤 4 将 grid 安装包拷贝到 / u01/app/grid/ 目录下, 将 database 安装包移动到 /u01/app/oracle/app 目录中 44

49 安装 oracle rac 软件 mv linuxx64_12201_grid_home.zip / u01/app/grid/ mv linuxx64_12201_database.zip /u01/app/oracle/app 步骤 5 分别以 grid oracle 用户到安装包所在目录下执行以下命令, 将软件包解压缩值 u01 目录下 grid 用户 : cd / u01/app/grid/ unzip linuxx64_12201_grid_home.zip oracle 用户 : cd /u01/app/oracle/app unzip linuxx64_12201_database.zip 若操作系统中未自带 unzip 解压缩工具, 请执行 yum install unzip 命令进行安装 步骤 6 解压完后, 将 /u01/app/grid/12.2.0/cv/rpm 目录下的 rpm 软件包拷贝到 Oracle RAC 节点 2 的 /u01 目录下 此处 rpm 格式的软件包名称为 cvuqdisk rpm 步骤 7 执行以下步骤, 在 Oracle RAC 节点 1 安装 rpm 软件包 1. 执行以下命令, 进入安装目录 cd /u01/app/grid/12.2.0/cv/rpm 2. 执行以下命令, 安装 smartmontools yum install -y smartmontools 3. 执行以下命令, 安装 rpm 软件包 export CVUQDISK_GRP=asmadmin rpm -ivh cvuqdisk rpm 回显类似如下信息 : [root@oracle-01 rpm]# rpm -ivh cvuqdisk rpm Preparing... ########################################### [100%] Using default group oinstall to install package 1:cvuqdisk ########################################### [100%] 步骤 8 执行以下步骤, 在 Oracle RAC 节点 2 安装 rpm 软件包 1. 使用 root 用户登录 Oracle RAC 节点 2 2. 执行以下命令, 进入安装目录 cd /u01 3. 执行以下命令, 安装 smartmontools yum install -y smartmontools 4. 执行以下命令, 安装 rpm 软件包 export CVUQDISK_GRP=asmadmin rpm -ivh cvuqdisk rpm 45

50 安装 oracle rac 软件 回显类似如下信息 : [root@oracle-02 u01]# rpm -ivh cvuqdisk rpm Preparing... ########################################### [100%] Using default group oinstall to install package 1:cvuqdisk ########################################### [100%] 步骤 9 使用 vncviewer 工具远程连接到节点 1, 并切换到 grid 用户 1. 打开终端, 并执行如下命令 xhost + 2. 执行如下命令, 切换到 grid 用户 su grid 3. 导入环境变量 source ~/.bash_profile 步骤 10 执行以下命令, 进入安装目录并打开安装界面 cd /u01/app/grid/ / gridsetup.sh 弹出 Oracle Grid 安装向导的 Select Configuration Option 窗口, 如图 5-1 所示 图 5-1 Select Configuration Option 步骤 11 保持默认选项, 选择 Configure Oracle Grid Infrastructure for a New Cluster, 单击 Next 46

51 安装 oracle rac 软件 请耐心等待几分钟, 进入 Select cluster Configuration 页面, 如图 5-2 所示 图 5-2 Select cluster Configuration 步骤 12 保持默认选项, 选择 Configure an Oracle Standalone Cluster, 单击 Next 进入 Grid Plug and Play Information 页面, 如图 5-3 所示 47

52 安装 oracle rac 软件 图 5-3 Grid Plug and Play Information 步骤 13 填写 Cluster Nname:orcl SCAN Name:orcl-scan( 必须和 hosts 配置中一致 ), 单击 Next 进入 Cluster Node Information 页面, 如图 5-4 所示 48

53 安装 oracle rac 软件 图 5-4 Cluster Node information 步骤 14 根据界面提示手动添加节点 2 信息, 分别填写 2 节点的 hosts 中配置的解析名, 以及 vip 的解析名 ( 可仿照 1 节点 ), 单击 SSH Connectivity 并输入 grid oracle 用户密码, 单击 Setup, 开始建立各节点间的 SSH 等价关系, 单击 Next 进入互信检测 进入 Specify Network Interface Usage 页面, 如图 5-5 所示 49

54 安装 oracle rac 软件 图 5-5 Gri Specify Network Interface Usage 步骤 15 默认选择, 单击 Next 进入 Storage Option Informatio 页面, 如图 5-6 所示 50

55 安装 oracle rac 软件 图 5-6 Storage Option Informatio 步骤 16 选择第一个 Configure ASM using block device 点击 Next 进入 Create ASM Disk Group 页面, 如图 5-7 所示 图 5-7 Create ASM Disk Group 51

56 安装 oracle rac 软件 步骤 17 在 Disk group name 一栏配置自定义 OCR 磁盘名称, 选择 Normal 选择 3 个 10G 的磁盘, 点击 Next 进入 Create GIMR Data Group 如图 5-8 所示 图 5-8 Create GIMR Data Group 步骤 18 选择之前配置好的 MGMT 磁盘 100G, 选择 External, 点击 Next 进入 Specify ASM Password 页面, 如图 5-9 所示 52

57 安装 oracle rac 软件 图 5-9 Specify ASM Password 步骤 19 选择 Use same Password for these accounts, 输入 2 次相同密码, 单击 Next 进入 Specify Interface Location 页面, 如图 5-10 所示 图 5-10 Specify Interface Location 53

58 安装 oracle rac 软件 步骤 20 根据 grid 环境变量配置, 设置 Oracle base 指向目录 /u01/app/grid/app, 单击 Next 进入 Create Inventory 页面, 如图 5-11 所示 图 5-11 Create Inventory 步骤 21 此处目录默认值, 如果提示目录不存在检查默认路径下是否存在, 若不存在手动后台创建, 单击 Next 进入 Root Script execution configuration 页面, 如图 5-12 所示 图 5-12 Root Script execution configuration 步骤 22 默认直接单击 Next, 下一步 54

59 安装 oracle rac 软件 进入预检查 Perform Prerequisite checks, 如图 5-13 所示 图 5-13 Perform Prerequisite checks 步骤 23 检查出现的告警, 此处三个告警均可以忽略, 勾选 Ignore All, 单击 Next 另外, 忽略以下可能出现的其他错误 : pdksh 包未安装 : 已安装 ksh 软件, 该错误忽略 Network Time Protocol: 该错误忽略, 单击 Next 进入 Summary 页面, 如图 5-14 所示 55

60 安装 oracle rac 软件 图 5-14 Summary 步骤 24 检查配置无误, 点击 Install, 进行安装 安装到 44% 时会弹出对话框, 执行脚本操作 进入 Install Product 页面, 如图 5-15 所示 图 5-15 Failure Isolation Support 步骤 25 首先复制第一行命令脚本分别在两台机器上执行, 然后再执行第二个 root.sh, 脚本执行需要使用 root 用户执行, 分别是 : 56

61 安装 oracle rac 软件 /u01/app/grid/orainventory/orainstroot.sh /u01/app/grid/12.2.0/root.sh 首先在 RAC 节点 1 上执行, 执行成功在切换到 RAC 节点 2 上执行, 分别执行成功后, 回到页面上点击 OK, 继续安装 以下是脚本执行过程, 如下截图中全红部分需要手动, 回车继续如图 5-16 所示 57

62 安装 oracle rac 软件 图 5-16 Root.shzhixing 58

63 安装 oracle rac 软件 步骤 26 脚本执行完毕后, 单击 OK 等待安装完成 以下两天由于没有开时间同步以及 DNS 可忽略, 如图 5-17 所示 59

64 安装 oracle rac 软件 图 5-17 Install Product 步骤 27 选择 Skip, 单击 OK 界面显示安装成功, 如图 5-18 所示 图 5-18 Create Inventory 点击 Next, 完成安装 ---- 结束 5.2 安装 Oracle Database 本章节指导用户安装 Oracle Database 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 60

65 安装 oracle rac 软件 本示例中共有 2 台 Oracle RAC 节点需要配置, 请按照操作步骤分别在两个节点上执行相应的操作 操作指导 步骤 1 使用 vncviewer 工具远程连接到节点 1, 并切换到 oracle 用户 1. 打开终端, 并执行如下命令 xhost + 2. 执行如下命令, 切换到 oracle 用户 su oracle 3. 导入环境变量 source ~/.bash_profile 步骤 2 执行以下命令, 进入安装目录并打开安装界面 cd /u01/app/oracle/app/database./runinstaller 弹出 Oracle Grid 安装向导的 Configure Security Updates 窗口, 如图 5-19 所示 图 5-19 Configure Security Updates 61

66 安装 oracle rac 软件 步骤 3 根据界面提示填写 , 并去除 I wish to receive security updates via My Oracle Support, 单击 Next 如果不输入 , 会提示错误, 点击 yes 进入 Select Insta 页面, 如图 5-20 所示 图 5-20 Select Installation Option 步骤 4 只安装 Oralce 软件, 选择 Install database software only, 单击 Next 进入 Select Database installation Option, 如图 5-21 所示 62

67 安装 oracle rac 软件 图 5-21 Select Database Installation Option 步骤 5 选择 Oracle Real Application Clousters database installation, 单击 Next 进入 Select list of nodes 页面, 如图 5-22 所示 63

68 安装 oracle rac 软件 图 5-22 Select list of nodes 步骤 6 勾选所有 Oracle RAC 节 步骤 7 Oracle RAC 节点添加完成后, 单击 SSH Connectivity 并输入 oracle 用户密码, 单击 Setup, 开始建立各节点间的 SSH 等价关系 若弹出如图 5-23 所示窗口, 单击 OK 图 5-23 成功建立各节点间的 SSH 等价关系 步骤 8 以 oracle 登录每个 Oracle RAC 节点执行 ssh oracle-01 date;ssh oracle-02 date 命令 步骤 9 验证完成后, 单击 Next 步骤 10 进入 Select Database Edition 页面, 如图 5-24 所示 64

69 安装 oracle rac 软件 图 5-24 Select Database Edition 步骤 11 安装企业版软件, 选择 Enterprise Edition (7.5 GB), 单击 Next 进入 Specify Installation Location 页面, 如图 5-25 所示 65

70 安装 oracle rac 软件 图 5-25 Specify Installation Location 步骤 12 指定 Oracle Database 软件的安装目录, 此处保持默认配置, 单击 Next 此处的默认目录即为 0 创建 grid oracle 用户以及安装目录中创建的安装目录 进入 Privileged Operating System Groups 页面, 如图 5-26 所示 图 5-26 Privileged Operating System Groups 步骤 13 选择 Oracle 用户组, 此处保持默认配置, 单击 Next 请耐心等待几分钟, 进入 Perform Prerequisite Checks 页面, 如图 5-27 所示 66

71 安装 oracle rac 软件 图 5-27 Perform Prerequisite Checks 步骤 14 检查出现的告警, 此处三个告警均可以忽略, 勾选 Ignore All, 单击 Next 进入 Summary 页面, 如图 5-28 所示 图 5-28 Summary 步骤 15 检查确认安装信息无误后, 单击 Install, 开始安装 当安装进程为 97% 时, 弹出如图 5-29 所示窗口, 需要按照提示, 以 root 登录每个 Oracle RAC 节点执行依次执行以下脚本 : 67

72 安装 oracle rac 软件 /u01/app/oracle/product/12.2/db/root.sh 图 5-29 Execute Configuration scripts 步骤 16 脚本执行完成后, 单击 OK, 等待安装完成, 关闭对话框即可 ---- 结束 5.3 配置 DATA 和 FLASH 磁盘组 操作场景 本章节指导用户 Oracle ASM 磁盘组中的 DATA 和 FLASH 磁盘组 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 68

73 安装 oracle rac 软件 该操作只需要在一台 Oracle RAC 节点执行即可, 本示例中共有 2 台 Oracle RAC 节点需要配置, 本操作以配置 Oracle RAC 节点 1 为例 操作指导 步骤 1 使用 vncviewer 工具远程连接到节点 1, 并切换到 grid 用户 1. 打开终端, 并执行如下命令 xhost + 2. 执行如下命令, 切换到 grid 用户 su grid 3. 导入环境变量 source ~/.bash_profile 步骤 2 执行以下命令, 运行 asmca 配置界面, 创建用于存放数据的 ASM 磁盘组 DATA asmca 弹出 asmca 配置界面的 Disk Groups 窗口, 如图 5-30 所示 图 5-30 Disk Groups 步骤 3 在 Disk Groups 页签下, 单击 Create 进入 Create Disk Groups 页面, 如图 5-31 所示 69

74 安装 oracle rac 软件 图 5-31 Create Disk Groups (DATA) 步骤 4 创建新的磁盘组 DATA, 设置以下参数, 完成后单击 OK 返回 Disk Groups 页面 Disk Group Name: 设置 DATA 磁盘组名称, 例如 :DATA DATA 磁盘组冗余类型 : 此处建议选择 External (None) DATA 磁盘组中的磁盘 : 请根据实际磁盘规划选择, 本示例中选择 /dev/oracleasm/disks/data 步骤 5 继续创建新的磁盘组, 单击 Create 进入 Create Disk Groups 页面, 如图 5-32 所示 70

75 安装 oracle rac 软件 图 5-32 Create Disk Groups (FLASH) 步骤 6 创建新的磁盘组 DG_data(FLASH), 设置以下参数, 完成后单击 OK 图 5-33 Disk Groups 返回 Disk Groups 页面, 如图 5-33 所示 Disk Group Name: 设置 FLASH 磁盘组名称, 例如 :FLASH FLASH 磁盘组冗余类型 : 此处建议选择 External (None) FLASH 磁盘组中的磁盘 : 请根据实际磁盘规划选择, 本示例中选择 /dev/oracleasm/disks/flash 71

76 安装 oracle rac 软件 ---- 结束 步骤 7 在 Disk Groups 页面中, 可以看到已创建的 OCR DATA 和 FLASH 三个磁盘组, 并且这三个磁盘组均已被挂载至 Oralce RAC 节点, 单击 Exit 完成配置 5.4 创建 Oracle 数据库 操作场景 本章节指导用创建数据库 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 该操作只需要在一台 Oracle RAC 节点执行即可, 本示例中共有 2 台 Oracle RAC 节点需要配置, 本操作以配置 Oracle RAC 节点 1 为例 操作指导 步骤 1 使用 vncviewer 工具远程连接到节点 1, 并切换到 oracle 用户 1. 打开终端, 并执行如下命令 xhost + 2. 执行如下命令, 切换到 oracle 用户 su oracle 3. 导入环境变量 source ~/.bash_profile 步骤 2 执行以下命令, 运行 dbca 配置界面, 创建集群数据库 dbca 步骤 3 选择 Oracle Real Applicaton Cluster (RAC) database, 创建集群数据库, 单击 Next 进入 Operations 页面, 如图 5-34 所示 72

77 安装 oracle rac 软件 图 5-34 Operations 步骤 4 选择 Create a Database, 单击 Next 进入 Database Templates 页面, 如图 5-35 所示 图 5-35 Database Templates 步骤 5 选择 Custom Database, 自定义安装, 单击 Next 进入 Database Identification 页面, 如图 5-36 所示 73

78 安装 oracle rac 软件 图 5-36 Database Identification 步骤 6 设置数据库的以下参数, 完成后单击 Next 进入 Specify Database Identifcation Details 页面, 如图 5-37 所示 Configuration Type: 选择配置类型为 Admin-Managed Global Database Name: 设置数据库名称, 例如 :rac SID Prefix: 实例名称前缀, 例如 :rac Oracle RAC 节点 : 选择所有 Oracle RAC 节点, 请根据实际情况选择, 本示例中选择 oracle-01 和 oracle-02 74

79 安装 oracle rac 软件 图 5-37 Specify Database Identifcation Details 步骤 7 保持默认配置, 单击 Next 进入 Select Database Storage Option 页面, 如图 5-38 所示 75

80 安装 oracle rac 软件 图 5-38 Select Database Storage Option 步骤 8 按照图中所示, 默认设置, 单击 Next Storage Type: 选择数据库存储为 Automatic Storage Management (ASM) Storage Locations: 选择 Use Oracle-Managed Files Database Area: 选择数据区域为之前创建的 DATA 磁盘组, 本示例中为 +DATA 进入 Select Fast Recovery Option 页面, 如图 5-39 所示 76

81 安装 oracle rac 软件 图 5-39 Select Fast Recovery Option 步骤 9 此处什么都不选, 默认下一步, 单击 Next 进入 Select Database Options 页面, 如图 5-40 所示 77

82 安装 oracle rac 软件 图 5-40 Select Database Options 步骤 10 此节默认即可, 完成后单击 Next 进入 Specify Configuration Options 页面, 如图 5-41 所示 78

83 安装 oracle rac 软件 图 5-41 Specify Configuration Options 步骤 11 此处设置选择 简体中文, 单击 Next 进入 Management Options 页面 79

84 安装 oracle rac 软件 80

85 安装 oracle rac 软件 步骤 12 选择默认信息, 单击 Next 进入 Database User Credentials 页面, 如图 5-42 所示 图 5-42 Database User Credentials 步骤 13 设置用户密码, 单击 Next 进入 Database Creation Option, 如下图所示 81

86 安装 oracle rac 软件 图 5-43 Database Rreation Option 步骤 14 如图选择后, 单击 Next 进入 Perform Prerequisite Checks, 界面如下图所示 : 图 5-44 Perform Prerequisite checks 步骤 15 如图检查无误, 可以选择 lgnore all, 单击 Next 进入 Perform Prerequisite Checks, 界面如下图所示 : 82

87 安装 oracle rac 软件 图 5-45 Perform Prerequisite checks 步骤 16 如图检查无误, 单击 Finish 进入 Progress Page, 界面如下图所示 : 图 5-46 Perform Prerequisite checks 83

88 安装 oracle rac 软件 步骤 17 等待安装完毕, 预计 40 分钟可完成 安装完成, 界面如下图所示 : 图 5-47 Finish ---- 结束 84

89 验证 oracle rac 集群 6 验证 Oracle RAC 集群 6.1 验证 Oracle 数据库是否可以正常登录及使用 操作场景 本章节指导用户验证是否可以成功登录两台 Oracle RAC 数据库节点, 并创建一个简单数据库验证数据库是否可以正常使用 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 本示例中共有 2 台 Oracle RAC 节点需要配置, 请按照操作步骤分别在两个节点上执行相应的操作 操作步骤 步骤 1 使用 oracle 用户登录 Oracle RAC 节点 1 步骤 2 执行以下命令, 通过 sysdba 用户登录数据库 sqlplus / as sysdba 回显类似如下信息 : 85

90 验证 oracle rac 集群 表示登录数据库成功 步骤 3 使用 oracle 用户登录 Oracle RAC 节点 2 步骤 4 执行以下命令, 通过 sysdba 用户登录数据库 sqlplus / as sysdba 回显类似如下信息 : 表示登录数据库成功 步骤 5 在任意一个 Oracle RAC 节点创建一个简单的数据库, 验证数据库是否可以正常使用 ---- 结束 首次使用数据库, 可能需要执行 startup 命令开启数据库 6.2 验证 Oracle RAC 节点重启后数据是否可以自动恢复 操作场景 本章节指导用户验证证 Oracle RAC 节点重启后数据是否可以自动恢复 本文以物理机的操作系统为 CentOS bit 为例 不同物理机的操作系统的配置可能不同, 本文仅供参考, 具体操作步骤和差异请参考对应操作系统的产品文档 86

91 验证 oracle rac 集群 本示例中共有 2 台 Oracle RAC 节点需要配置, 请按照操作步骤分别在两个节点上执行相应的操作 操作步骤 步骤 1 使用 oracle 用户登录 Oracle RAC 节点 1 步骤 2 执行以下命令, 通过 sysdba 用户登录数据库 sqlplus / as sysdba 步骤 3 执行以下命令, 关闭 Oracle RAC 节点 1 的数据库 shutdown immediate 步骤 4 使用 grid 用户登录 Oracle RAC 节点 2 步骤 5 执行以下命令, 查看 Oracle RAC 节点 1 数据库的信息 crsctl stat res -t 回显类似如下信息 : 步骤 6 使用 oracle 用户登录 Oracle RAC 节点 1 87

92 验证 oracle rac 集群 步骤 7 执行以下命令, 通过 sysdba 用户登录数据库 sqlplus / as sysdba 步骤 8 执行以下命令, 开启 Oracle RAC 节点 1 的数据库 startup 步骤 9 使用 grid 用户登录 Oracle RAC 节点 2 步骤 10 执行以下命令, 查看 Oracle RAC 节点 1 数据库的是否可以正常启动 crsctl stat res -t 回显类似如下信息 : 若 Oracle-01 的 ora.asm 状态为 Started, 并且 ora.rac.db 的状态为 Open, 表示 Oracle RAC 节点 1 数据库已正常启动 若 Oracle RAC 节点 1 数据库未正常启动, 请参见处理 步骤 11 执行以下命令, 查看 ASM 磁盘组状态 asmcmd 回显类似如下信息 : 88

93 验证 oracle rac 集群 若 ASM 磁盘组 State 为 MOUNTED, 则表示 ASM 磁盘组状态正常 若 ASM 磁盘组状态异常, 请参见 ( 可选 ) 修改数据库资源 AUTO_START 属性处理 ---- 结束 89

94 FAQ 7 FAQ 7.1 物理机 CentOS 7 安装 11G 时遇到 ohasd 报错 BUG 如何修复? 由于 CentOS 7 安装 11G 使用 systemd 而不是 initd 运行进程和重启进程, 而 11G 版本 root.sh 通过传统的 initd 运行 ohasd 进程 因此执行 root.sh 报错如下 : 在 CentOS 7 中 ohasd 需要被设置为一个服务, 在运行脚本 root.sh 之前, 以下操作 2 个节点分别执行 步骤如下 : 以 root 用户登录 RAC 节点 (2 个节点分别进行, 以下以 oracle-01 为例 ) 创建 ohasd 服务文件 touch /usr/lib/systemd/system/ohas.service chmod 777 /usr/lib/systemd/system/ohas.service 将以下内容添加到新创建的 ohas.service vi /usr/lib/systemd/system/ohas.service 90

95 FAQ 添加如下内容 : [Unit] Description=Oracle High Availability Services After=syslog.target [Service] ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple Restart=always [Install] WantedBy=multi-user.target 执行 wq! 保存退出配置完成 如下图 : 以 root 用户执行以下命令 systemctl daemon-reload systemctl enable ohas.service systemctl start ohas.service 查看 ohasd.service 运行状态 systemctl status ohas.service 如图所示 :( 在 root.sh 未执行成功时此状态无法查看, 因此需要 root.sh 执行同时进行以上操作 ) 以上步骤执行, 可在执行 root.sh 前执行操作, 且最后是否启动, 是需要服务自动拉起, 如果在执行 root.sh 过程中报错, 配置完成后重新执行, 手动启动 ohasd 服务即可, 等待脚本自动拉起服务即可 --- 结束 91

96 7.2 执行 /u01/app/11.2.0/grid/root.sh 出错及解决方法 FAQ 92

97 FAQ 7.3 重新执行 root.sh 报错如何处理 93