Postgres_2017象行中国杭州第一期_张文杰（卓刀）_Greenplum备份恢复浅析

Size: px

Start display at page:

Download "Postgres_2017象行中国杭州第一期_张文杰（卓刀）_Greenplum备份恢复浅析"

首廉
5 years ago
Views:

1 Greenplum 备份恢复浅析姓名 : 张文杰邮箱 :zhuodao.zwj@alibaba-inc.com 公司 : 阿里云

2 Greenplum 数据备份恢复 : 1. 数据量较大 2. 不能完全使用 Xlog 日志备份 3. 需要保证数据完整性和一致性

3 Greenplum 提供了 : 1. 非并行备份和恢复 : --pg_dump 和 pg_dumpall(pg_restore) --copy psql 2. 并行备份和恢复 --gpcrondump(gpdbrestore)

4 并备份和恢复 gpcrondump gpdbrestore

5 gpcrondump 法 (1/3) gpcrondump -x database_name [-s <schema> -S <schema> -t <schema>.<table> -T <schema>.<table>] [--table-file=<filename> --exclude-table-file=<filename>] [--schema-file=<filename> --exclude-schema-file=<filename>] [-u backup_directory] [-R post_dump_script] [--incremental] [ -K <timestamp> [--list-backup-files] ] [--prefix <prefix_string> [--list-filter-tables] ] [-c] [-z] [-r] [-f <free_space_percent>] [-b] [-h] [-j -k] [-g] [-G] [-C] [-d <master_data_directory>] [-B <parallel_processes>] [-a] [-q] [-y <reportfile>] [-l <logfile_directory>] [-- -file <path_to_file> ] [-v] { [-E encoding] [--inserts --column-inserts] [--oids] [--no-owner --use-set-session-authorization] [--no-privileges] [--rsyncable]

6 gpcrondump 法 (2/3) gpcrondump 命令使用 -K <timestamp> 来指定唯一时间戳来标示某个备份集文件, 其中如果当前备份目录中存在更未来的备份集, 则备份报错 gpcrondump 命令使用 -t 或者 --table-file,-t 或者 --exclusive-table-file,-s 或者 --schema-file,-s 或者 --exclusive-schema-file 灵活指定需要全量备份的某个 table 或者某个 schema, 其中 -s 和 -t 选项不能同时使用 gpcrondump 命令使用选项 --incremental 和 --prefix 执行增量备份, 但是这里的增量备份实际上只对有如下操作的表进行备份 ; ALTER TABLE DELETE INSERT TRUNCATE UPDATE DROP and then re-create the table

7 gpcrondump 法 (3/3) gpcrondump 命令使用 --list-backup-files 可以将备份产生的所有文件都列举出来, 分为两类, 分别是 : 1. Pipes files 包括每个 segment 的数据文件 ( 可以流式输出 ) master 产生的 post_data 文件包含 indexes, triggers, primary key constraints 等数据库对象,master 产生的全局对象包含角色和表空间等 2. Regular files 包括各类辅助文件, 例如存储着 create database 语句的文件, 备份状态报告文件等其中最核心的每个 segment 的数据文件, 命名格式如下 : xxx_gp_dump_0_2_ gz 其中 XXX 表示用户定义的文件前缀,0 代表是非 master 节点,2 代表该文件产生的 segment 对应 dbid, 是前面所说的时间戳在恢复时, 会根据这个命名规则, 找到对应的文件

8 gpcrondump 具体实现 (1/2)

9 gpcrondump 具体实现 (2/2) gpcrondump 实际是对 gp_dump 的封装, 具体步骤如下 : 1. 读取参数, 检测合理性 2. master 执行对 pg_class 加锁操作 3. 封装并执行 gp_dump 命令 4. 检测每个 segment 备份状态 5. 其他操作, 例如备份全局对象 ( 角色和表空间 ) 备份 config 文件清理旧备份集以及 VACCUM 等

10 gp_dump 具体实现

11 数据恢复 (1/2) 非并行数据恢复如果恢复前后的数据库节点个数不同, 则推荐使用非并行数据恢复, 不过需要保证备份集完整, 而且都位于 master 所在的机器上, 具体执行步骤如下 1.createdb database_name 2.psql database_name -f /gpdb/backups/gp_dump_1_1_ $ psql database_name -f /gpdb/backups/gp_dump_0_2_ $ psql database_name -f /gpdb/backups/gp_dump_0_3_ $ psql database_name -f /gpdb/backups/gp_dump_0_4_ $ psql database_name -f /gpdb/backups/gp_dump_0_5_ psql database_name -f /gpdb/backups/gp_dump_0_5_ _post_data 5. gunzip -c /data/gpdb/master/gpseg- 1/db_dumps/ /gp_dump_1_1_ gz egrep SET search_path SELECT pg_catalog.setval" > schema_path_and_seq_next_val psql test_restore -f schema_path_and_seq_next_val

12 数据恢复 (2/2) 并行恢复如果恢复前面实例的节点个数相同, 并且备份文件在对应所属的 segment host 上, 可以使用 gpdbrestore 并发恢复提高恢复的速度, 其使用方法如下 : gpdbrestore { -t <timestamp_key> { [-L] [--netbackup-service-host <netbackup_server> [--netbackup-block-size <size>] ] } -b <YYYYMMDD> -R <hostname>:<path_to_dumpset> -s <database_name> } [--noplan] [--noanalyze] [-u <backup_directory>] [--list-backup] [--prefix <prefix_string> ] [--report-status-dir <report_directory> ] [-T <schema>.<table> [,...]] [--table-file <file_name>] [--truncate] [-e] [-G] [-B <parallel_processes>] [-d <master_data_directory>] [-a] [-q] [-l <logfile_directory>] [-v] [--ddboost ] [--redirect <database_name> ]

13 并备份恢复存在的问题虽然并行备份和恢复大大提高了备份和恢复的速度, 但是仍然存在很多问题 : 1. 大量数据需要落盘 2. 使用 dbid 作为备份文件命名规则, 在主备切换或者 primary 和 mirror 后会出现问题 3. 可能会出现各个 segment 数据不一致的情况...

14 并备份恢复优化 (1/3) uploader uploader uploader OSS

15 并备份恢复优化 (2/3) 使用 dbid 作为备份文件命名规则, 在主备切换或者 primary 和 mirror 后会出现问题, 例如 : dbid=2 master dbid=5 primary mirror primary mirror? test_gp_dump_0_5_ gz test_gp_dump_0_2_ gz

16 并备份恢复优化 (3/3) 目前 GP 的并行备份, 为了保证数据的一致性, 有以下 2 步 : 1. 给 pg_class 加排他锁 2. 每个 segment 备份时设置隔离级别为串行化, 保证每个 segment 的数据一致性但是, 各个 segment 的数据设置隔离级别的动作存在时间差, 而 master 仍然接受新的事务, 从而导致各个 segment 上的数据不一致我们可以通过实现 barrier 机制来避免这种情况 : 1. 使数据库只读 2. 等待所有的事务全部提交, 开始备份 3. 给 pg_class 加锁, 等待每个 segment 备份时设置隔离级别为串行化, 恢复数据库为可读可写

17 Thanks! Q & A

sql> startup mount 改变数据库的归档模式 sql> alter database archivelog # 打开数据库 sql> alter database open 禁止归档模式 sql> shutdown immediate sql>startup mount sql> al

sql> startup mount 改变数据库的归档模式 sql> alter database archivelog # 打开数据库 sql> alter database open 禁止归档模式 sql> shutdown immediate sql>startup mount sql> al RMAN sql> sqlplus / as sysdba 查看数据库版本 sql> select * from v$version; 查看数据库名称 sql> show parameter db_name; 一使用 RMAN 时, 需要将数据库设置成归档模式 sql> conn / as sysdba; sql> show user 查看数据库是否为归档模式 sql> archive log list