产品简介 RDS 概述产品概述 RDS 概述云数据库 (Relational Database Service, 简称 RDS) 是一种稳定可靠可弹性伸缩的在线数据库服务基于飞天分布式系统和高性能存储,RDS 支持 MySQL SQL Server PostgreSQL 和 PPAS( 高度

Size: px

Start display at page:

Download "产品简介 RDS 概述产品概述 RDS 概述云数据库 (Relational Database Service, 简称 RDS) 是一种稳定可靠可弹性伸缩的在线数据库服务基于飞天分布式系统和高性能存储,RDS 支持 MySQL SQL Server PostgreSQL 和 PPAS( 高度"

己匡
5 years ago
Views:

1 云数据库 RDS 产品简介

2 产品简介 RDS 概述产品概述 RDS 概述云数据库 (Relational Database Service, 简称 RDS) 是一种稳定可靠可弹性伸缩的在线数据库服务基于飞天分布式系统和高性能存储,RDS 支持 MySQL SQL Server PostgreSQL 和 PPAS( 高度兼容 Oracle) 引擎, 并且提供了容灾备份恢复监控迁移等方面的全套解决方案, 彻底解决数据库运维的烦恼! RDS for MySQL 简介 MySQL 是全球最受欢迎的开源数据库, 作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python) 中的重要一环, 广泛应用于各类应用 Web2.0 时代, 风靡全网的社区论坛软件系统 Discuz 和博客平台 Wordpress 均基于 MySQL 实现底层架构 Web3.0 时代, 阿里巴巴 Facebook Google 等大型互联网公司都采用更为灵活的 MySQL 构建了成熟的大规模数据库集群 RDS for MySQL 基于 Alibaba 的 MySQL 源码分支, 经过双 11 高并发大数据量的考验, 无论压力大小始终拥有优良的性能和吞吐量除此之外 RDS for MySQL 还实现了经过优化的读写分离数据压缩智能调优等高级功能 RDS for SQL Server 简介 SQL Server 是发行最早的商用数据库产品之一, 作为 Windows 平台 (IIS+.NET+SQL Server) 中的重要一环, 支撑着大量的企业应用 SQL Server 自带的 Management Studio 管理软件内置了大量图形工具和丰富的脚本编辑器用户通过可视化界面即可快速上手各种数据库操作 RDS for SQL Server 不仅覆盖了微软的 License 费用, 而且附带高可用架构和任意时间点的数据恢复功能, 强力支撑各种企业应用 RDS for PostgreSQL 简介 PostgreSQL 是全球最先进的开源数据库作为学院派关系型数据库管理系统的鼻祖, 它的优点主要集中在对 SQL 规范的完整实现以及丰富多样的数据类型支持 (JSON 数据 IP 数据和几何数据等, 大部分商业数据库都不支持 ) 除了完美支持事务子查询多版本控制 (MVCC) 数据完整性检查等特性外,RDS for PostgreSQL 集成了高可用备份恢复等重要功能, 减轻用户的运维压力 RDS for PPAS 简介 1

3 PPAS(Postgres Plus Advanced Server) 是一个稳定安全且可扩展的企业级关系型数据库, 基于全球最先进的开源数据库 PostgreSQL, 并在性能应用方案和兼容性等方面进行了增强, 提供直接运行 Oracle 应用的能力用户可以在 PPAS 上稳定地运行各种企业应用, 同时得到更高性价比的服务 RDS for PPAS 集成了账号管理资源监控备份恢复和安全控制等功能, 并将持续地进行自我完善 RDS 术语产品术语连接信息中文术语 Term 含义连接串内网地址外网地址网络类型访问模式 Connection String Intranet Address Internet Address Network Type Connection Mode 连接串包括连接地址端口数据库名数据库账号和账户对应的密码, 例如 yuncs.com:3306,username/p assword 为来源 IP 为私网的客户端提供服务的连接地址为来源 IP 为公网的客户端提供服务的连接地址网络类型定义了 RDS 实例内网地址可被访问的范围 Classic 类型 ( 经典网络 ) 支持公有云范围内的访问 ;VPC 类型 ( 专有网络 ) 只支持一个 VPC 网络范围内的访问访问模式定义了 RDS 实例的数据包传输路径 Performance 类型为标准访问模式,Safty 类型为高安全访问模式性能指标中文术语 Term 含义 RDS 规格 CPU 核存储空间 Class Code vcpu Storage/Disk 表示 RDS 实例计算能力的代码, 例如 rds.mys2.large RDS 实例可以使用的计算能力上限 1 个 vcpu 拥有不低于 2.3GHz 超线程 (Intel Xeon 系列 Hyper-Threading) 的计算能力 RDS 实例可以使用的存储空间上限包括数据和日志开销, 不包括备份开销 2

4 内存 Memory RDS 实例可以使用的内存上限连接 IOPS 事务数查询数 Connection IOPS TPS QPS 客户端和 RDS 实例之间的 TCP 连接如果客户端使用了连接池, 则客户端和 RDS 实例之间的连接为长连接, 反之则为短连接以 4KB 为单位, 每秒进行块设备读写操作的次数上限每秒事务处理量, 包括 Insert Delete 和 Update 等操作每秒查询处理量, 包括 Select Insert Delete 和 Update 等操作容灾术语中文术语 Term 含义地域 Region RDS 实例所在的物理位置可用区多可用区可用性目标恢复点目标 Zone/AVZone MZone/MAVZone RTO RPO 同一地域内电力网络互相独立的物理区域, 可对应至机房概念由同一区域内不同可用区组合成的物理区域, 能够应对可用区级别的故障 RTO 是 Recovery Time Object 的缩写, 代表故障发生后恢复服务需要的最长时间 RPO 是 Recovery Point Object 的缩写, 代表故障发生后允许丢失的数据量 RDS 优势产品优势便宜易用即开即用用户可以通过阿里云官网或者 Open API 进行 RDS 规格定制, 下发订单后 RDS 实时生产出目标实例 RDS 配合 ECS 一起使用, 在降低应用响应时间的同时还可以节省公网流量费用按需升级在业务初期, 用户可以购买小规格的 RDS 实例来应对业务压力随着数据库压力和数据存储量的变化, 用户可 3

5 以灵活调整实例规格, 且升级期间 RDS 不会中断数据链路服务透明兼容 RDS 与原生数据库引擎的使用方法一致, 用户无需二次学习, 上手即用另外 RDS 兼容用户现有的程序和工具使用通用的数据导入导出工具即可将数据迁移到 RDS, 迁移过程中的人力开销非常低管理便捷阿里云负责 RDS 的日常维护和管理, 包括但不限于软硬件故障处理数据库补丁更新等工作, 保障 RDS 运转正常用户也可自行通过阿里云控制台完成数据库的增加删除重启备份恢复等管理操作性能卓越参数优化阿里云聚集国内顶尖的数据库专家, 所有 RDS 实例的参数都是经过多年的生产实践优化而得在 RDS 实例的生命周期内,DBA 持续对其进行优化, 确保 RDS 一直基于最佳实践在运行 SQL 优化建议针对用户的应用场景特点,RDS 会锁定效率低下的 SQL 语句并提出优化建议, 以便用户优化业务代码高端硬件投入 RDS 使用的所有服务器硬件都经过多方评测, 保证在性能和稳定性上都遥遥领先安全防 DDOS 攻击小型攻击, 流量异常, 系统将自动触发流量清洗大型攻击, 清洗服务无效后, 系统将自动触发黑洞操作访问控制策略用户可定义允许访问 RDS 的 IP 地址, 指定之外的 IP 地址将被拒绝访问每个帐号只能看到操作自己的数据库系统安全 RDS 处于多层防火墙的保护之下, 可以有力地抗击各种恶意攻击, 保证数据的安全 RDS 服务器不允许直接登陆, 只开放特定的数据库服务所需要的端口 RDS 服务器不允许主动向外发起连接, 只能接受被动访问专业安全团队阿里巴巴集团安全部门负责 RDS 的安全技术支持可靠 4

6 双机热备 RDS 采用热备架构, 物理服务器出现故障后服务秒级完成切换整个切换过程对应用透明多副本冗余 RDS 服务器中的数据构建于 RAID 之上, 数据备份存储在 OSS 上数据备份提供自动备份的机制用户可以自行选择备份周期, 也可以根据自身业务特点随时发起临时备份数据恢复支持按备份集和指定时间点的恢复根据数据和日志的备份, 用户可以将指定时间点的数据恢复到 RDS 临时实例上, 数据验证无误后即可将数据迁回 RDS 主实例, 从而完成数据回溯 RDS 场景数据异地容灾场景数据异地容灾场景自建机房里面的服务器已经非常多了, 而且公司有足够的运维能力来管理所有应用但是为数据容灾在异地建一个机房看起来还是一个投入产出比很低的事情通过 DTS 数据传输服务, 用户可以将自建机房的数据库实时同步到公有云上任一地域的 RDS 实例里面即使发生机房损毁的灾难, 数据永远在阿里云有一个备份缓存数据持久化缓存数据持久化 / 多结构数据存储 RDS 支持搭配云数据库 Memcached\Redis\OSS 等存储产品使用, 实现多样化存储扩展 5

7 缓存数据持久化将云数据库 Memcached 云数据库 Redis 与 RDS 搭配使用, 组成高吞吐, 低延迟的存储解决方案与 RDS 相比云数据库缓存产品产品有两个特性 : 1 响应速度快, 云数据库 Memcached\Redits 请求的时延通常在几毫秒以内 ; 2 缓存区能够支持比 RDS 更高的 QPS( 每秒处理请求数 ) 下面以云数据库 Memcached 与 RDS 的搭配使用为例说明 : 云数据库 Memcached 环境配置 ( 以 Python 为例 ) 依赖于 bmemcached( 支持 SASL 扩展 ), 下载链接 ECS 或本地环境在已经安装了 python pip 的环境下执行 pip install python-binary-memcached 即完成云数据库 Memcached 依赖 bmemcached 扩展的安装云数据库 Memcached 与 RDS 搭配使用代码实例 #!/usr/bin/env python import bmemcached Memcached_client = bmemcached.client(( ip:port ), user, passwd ) # 在云数据库 Memcached 中查找某个值 res = os.client.get( test ) if res is not None: return res # 查询到值则返回 else: # 未查询到值, 则在 RDS 查询操作 res = mysql_client.fetchone(sql) Memcached_client.put( test, res) # 向云数据库 Memcached 中写入缓存数据 return res 多结构数据存储 OSS 是阿里云对外提供的海量, 安全, 低成本, 高可靠的云存储服务搭配 RDS 使用, 组成多类型数据存储解决方案 OSS 与 RDS 结合使用时, 当 ECS 应用为论坛时, 注册用户的图像帖子内容的图像等资源可以交由 OSS 来存储 6

8 , 减少 RDS 的存储压力 OSS 与 RDS 搭配使用示例 1 初始化 OssApi from oss.oss_api import * endpoint= oss-cn-hangzhou.aliyuncs.com accesskeyid, accesskeysecret= your id, your secret oss = OssAPI(endpoint, accesskeyid, accesskeysecret) 2. 新建 Bucket # 设置 bucket 权限为私有 res = oss.create_bucket(bucket,"private") print "%s\n%s" % (res.status, res.read()) 3. 上传 Object res = oss.put_object_from_file(bucket, object, "test.txt") print "%s\n%s" % (res.status, res.getheaders()) 4. 获取对应 Object res = oss.get_object_to_file(bucket, object, "/filepath/test.txt") print "%s\n%s" % (res.status, res.getheaders()) ECS 应用代码中,RDS 中存储了每个用户的 id, 而用户对应的头像资源存储于 OSS 中, 以简单的 python 代码为例 : #!/usr/bin/env python from oss.oss_api import * endpoint= oss-cn-hangzhou.aliyuncs.com accesskeyid, accesskeysecret= your id, your secret oss = OssAPI(endpoint, accesskeyid, accesskeysecret) user_id = mysql_client.fetch_one(sql)# 从 RDS 中查找用户的 user_id # 获取用户头像并下载到对应路径 oss.get_object_to_file(bucket, object, your_path/user_id+.png ) # 处理用户上传头像 oss.put_object_from_file(bucket, object, your_path/user_id+.png ) 搜索引擎场景搜索引擎场景开放搜索服务 (OpenSearch) 是一款结构化数据搜索托管服务, 为移动应用开发者和网站站长提供简单高效稳定低成本和可扩展的搜索解决方案通过 OpenSearch 自带功能, 可将 RDS 中的数据自动同步至 OpenSearch 实现各类复制搜索 7

9 操作步骤 1 登录 OpenSearch 控制台定义数据表及索引结构 2 填写 RDS 实例下数据库连接信息自动实现数据同步 8

10 3 OpenSearch 生成索引列表 4 进行各类搜索操作 opensearch SDK 支持 java php 以及.net, 同样可以使用 restful 风格的 api 调用以下以 python 简单演示 opensearch 的搜索 #!/usr/bin/env python import requests url = """ index_name=bbs&queryconfig=start:0,hit:10, format=fulljson&&query=default:' 的 '&& filter=create_timestamp> && sort=+type;-rank&fetchfields=id;title;body;url; type;create_timestamp&br/>first_formula_name=first_bbs&br/>formula_name=second_bbs&summarysummary_sn ipped:1, summary_field:title,summary_element:high, summary_len:32,summary_ellipsis:...; summary_snipped:2,summary_field:body, summary_element:high,summary_len:60, summary_ellipsis:... """ res = requests.get(url)\ print res.json() 读写分离场景 9

11 读写分离场景 RDS for MySQL 支持直接挂载只读实例, 分担主实例压力每个只读实例有独立的连接串, 可由应用端自动分配读取压力支持搭配 DRDS 使用, 实现服务端自动的读写分离 DRDS 读写分离服务 >> 大数据分析大数据分析开放数据处理服务 (Open Data Processing Service, 简称 ODPS) 可服务于批量结构化数据的存储和计算, 提供海量数据仓库的解决方案以及针对大数据的分析建模服务通过数据集成服务, 可将 RDS 数据导入 ODPS, 实现大规模的数据计算操作步骤 1 创建数据集成控制台 pipeline 之后, 启动 job 注意事项 : RDS 实例必须加上 CDP 的白名单, 否则无法连接 CDP 白名单 : 10

12 / / 创建 ODPS 数据表 3 在数据集成控制台配置 RDS 源库和 ODPS 目标库的信息 11

13 4 完成配置, 将数据导入 ODPS 7 ODPS 执行查询操作 RDS 架构基础架构 RDS 由六个服务构成, 分别是数据链路服务高可用服务备份服务 ( 含恢复 ) 监控服务调度服务和迁移服务 12

14 数据链路服务数据链路服务主要提供数据操作, 包括表结构和数据的增删改查 DNS DNS 模块提供域名到 IP 的动态解析功能, 以便屏蔽 RDS 实例 IP 地址变化带来的影响举例来说, 某 RDS 实例的域名为 test.rds.aliyun.com, 而这个域名对应的 IP 地址为某程序连接池中配置为 test.rds.aliyun.com 或 , 都可以正常访问 RDS 实例当该 RDS 实例发生了可用区迁移或者版本升级后,IP 地址就可能变为如果程序连接池中配置的是 test.rds.aliyun.com, 仍然可以正常访问 RDS 实例如果程序连接池中配置的是 , 就无法访问 RDS 实例了 SLB SLB 模块提供实例 IP 地址 ( 包括内网和外网 IP), 以便屏蔽物理服务器变化带来的影响举例来说, 某 RDS 实例的内网 IP 地址为 , 对应的 Proxy 或者 DB Engine 运行在上在正常情况下,SLB 模块会将访问的流量重定向到上当发生了故障, 处于热备状态的接替了的工作此时 SLB 模块会将访问的流量重定向到上,RDS 实例仍旧正常提供服务 Proxy Proxy 模块提供数据路由流量探测和会话保持等功能, 该模块还在不断发展中数据路由功能 : 支持大数据场景下的分布式复杂查询聚合和相应的容量管理流量探测功能 : 降低 SQL 注入的风险, 在必要情况下支持 SQL 日志的回溯会话保持功能 : 解决故障场景下的数据库连接中断问题 DB Engine RDS 全面支持主流的数据库协议, 具体情况如下表所示 : RDBMS Version MySQL 5.1(Deprecated), 5.5, 5.6 SQL Server 2008 R2 PostgreSQL 9.4 PPAS 9.3, 高度兼容 Oracle DMS DMS(Data Management Service, 简称 DMS) 是一个访问管理云端数据的 WEB 服务, 提供了数据管理对 13

15 象管理数据流转和实例管理等功能目前支持 MySQL SQL Server PostgreSQL PPAS 和 ADS 等数据源高可用服务高可用服务主要保障数据链路服务的可用性, 除此之外还负责处理数据库内部的异常另外, 高可用服务由多个 HA 节点提供, 本身具有高可用的特点 Detection Detection 模块负责检测 DB Engine 的主节点和备节点是否提供了正常的服务通过间隔为 8-10 秒的心跳信息,HA 节点可以轻易获得主节点的健康情况再结合备节点的健康情况和其他 HA 节点的心跳信息,Detection 模块可以排除网络抖动等异常引入的误判风险, 在 30 秒内完成异常切换操作 Repair Repair 模块负责维护 DB Engine 的主节点和备节点之间的复制关系, 还会修复主节点或者备节点在日常运行中出现的错误如 : 主备复制异常断开的自动修复主备节点表级别损坏的自动修复主备节点 Crash 的现场保存和自动修复 Notice Notice 模块负责将主备节点的状态变动通知到 SLB 或者 Proxy, 保证用户访问正确的节点举例来说, Detection 模块发现主节点异常, 并通知 Repair 模块进行修复 Repair 模块进行了尝试后无法修复主节点, 通知 Notice 进行流量切换 Notice 模块将切换请求转发至 SLB 或者 Proxy, 此时用户流量全部指向备节点与此同时,Repair 在别的物理服务器上重建了新的备节点, 并将变动同步给 Detection 模块 Detection 模块开始重新检测实例的健康状态, 并通过备份服务备份服务主要提供数据的离线备份转储和恢复 Backup Backup 模块负责将主备节点上面的数据和日志压缩和上传 RDS 默认将备份上传到到 OSS 中, 在特定场景下还支持将备份文件转储到更加廉价和持久的 OAS 上在备节点正常运作的情况下, 备份总是在备节点上面发起, 以避免对主节点提供的服务带来冲击 ; 在备节点不可用或者损坏的情况下,Backup 模块会通过主节点创建备份 Recovery Recovery 模块负责将 OSS 上面的备份文件恢复到目标节点上 14

16 回滚主节点功能 : 客户发起数据相关的误操作后可以通过回滚功能按时间点恢复数据修复备节点功能 : 在备节点出现不可修复的故障时自动新建备节点来降低风险创建只读实例功能 : 通过备份来创建只读实例 Storage Storage 模块负责备份文件的上传转储和下载目前备份数据全部上传至 OSS 进行存储, 客户可以根据需要获取临时链接来下载在某些特定场景下,Storage 模块支持将 OSS 上面的备份文件转储至 OAS 来提供更长时间和更低费用的离线存储监控服务 Service Service 模块负责服务级别的状态跟踪举例来说, Service 模块会监控 SLB OSS OAS 和 SLS 等 RDS 依赖的其他云产品是否正常, 包括功能和响应时间等另外对 RDS 内部的服务,Service 也会通过日志来判定是否正常运作 Network Network 模块负责网络层面的状态跟踪举例来说, ECS 与 RDS 之间的连通性监控 RDS 物理机之间的连通性监控路由器和交换机的丢包率监控 OS OS 模块负责硬件和 OS 内核层面的状态跟踪举例来说, 硬件检修 :OS 模块会不断检测 CPU 内存主板存储等设备的工作状态, 并预判是否会发生故障, 并提前进行自动报修 OS 内核监控 :OS 模块会跟踪数据库的所有调用, 并从内核态分析调用缓慢或者出错的原因 Instance Instance 模块负责 RDS 实例级别的信息采集举例来说, 实例的可用信息实例的容量和性能指标实例的 SQL 执行记录调度服务调度服务主要提供资源调配和实例版本管理 15

17 Resource Resource 模块主要负责 RDS 底层资源的分配和整合, 对用户而言就是实例的开通和迁移举例来说, 用户通过控制台或者 Open API 创建实例,Resource 模块会计算出最适合的物理服务器来承载流量 RDS 实例跨可用区迁移的情况类似在经过长时间的实例创建删除和迁移后,Resource 模块会计算可用区内的资源碎片化程度, 并定期发起资源整合以提高可用区的服务承载量 Version Version 模块主要负责 RDS 实例的版本升级举例来说, MySQL 大版本升级 :MySQL 5.1 升级至 5.5 和 5.6;MySQL 5.5 升级至 5.6 MySQL 小版本升级 :MySQL 源码存在的 bug 修复迁移服务迁移服务主要帮助用户把数据从自建数据库迁移到 RDS 里面 DTS DTS(Data Transfer Service, 简称 DTS) 是一个云上的数据传输服务, 目前支持 MySQL SQL Server 和 PostgreSQL 三种数据库 DTS 还提供了三种迁移模式, 分别为结构迁移全量迁移和增量迁移结构迁移 :DTS 会将迁移对象的结构定义迁移到目标实例, 目前支持结构迁移的对象有表视图触发器存储过程和存储函数全量迁移 :DTS 会将源数据库迁移对象在的数据全部迁移到目标实例在全量迁移过程中, 为了保证数据一致性无主键的非事务表会被锁定, 锁定期间这些表无法写入, 锁定时长依赖于这些表的数据量大小, 在这些无主键非事务表迁移完成后, 锁才会释放增量迁移 : 增量迁移会将迁移过程进行数据变更同步到目标实例, 如果迁移期间进行了 DDL 操作, 那么这些结构变更不会同步到目标实例 FTP FTP 模块主要负责 RDS for SQL Server 的全量迁移上云用户在自建的 SQL Server 数据库上进行一次备份后, 可以通过 FTP 客户端将备份文件上传至 RDS 提供的专用 FTP 上,FTP 模块会将备份还原到指定的 RDS 实例上 RDS 发展历史发展历史 2011 年 16

18 6 月,RDS for MySQL 5.1 上线 12 月,RDS for SQL Server 2008 R2 上线 2012 年 7 月,RDS 支持高安全访问模式 11 月,RDS 支持电商云 ( 聚石塔 ), 处理双十一淘宝和天猫的部分订单 12 月,RDS 支持 SQL 明细采集 2013 年 2 月,RDS 支持备份转储 OSS 5 月,RDS for MySQL 5.5 上线 7 月,RDS 支持指定时间点恢复 8 月,RDS 支持金融云 ( 聚宝盆 ) 11 月,RDS 处理双十一淘宝和天猫的 50% 订单 2014 年 2 月,DMS 数据管理服务上线 7 月,RDS for MySQL 5.6 上线 10 月,RDS for MySQL 只读实例上线 10 月,RDS 开放 Open API, 支持按量付费实例 11 月,RDS 处理双十一淘宝和天猫的 98% 订单 12 月,RDS 支持多可用区容灾实例 2015 年 2 月, 云数据库管家上线 4 月,RDS 支持专有网络 VPC 6 月,RDS for PostgreSQL 9.4 上线 7 月,RDS for MySQL 支持 TokuDB, 具有 5 倍的数据压缩能力 7 月,RDS for PPAS 9.3 上线 9 月,DTS 数据传输服务上线 12 月,RDS for MySQL 权限放开 2016 年 1 月,RDS for MySQL 异地灾备实例上线 17

A API Application Programming Interface 见应用程序编程接口 ARP Address Resolution Protocol 地址解析协议为 IP 地址到对应的硬件地址之间提供动态映射阿里云内

A API Application Programming Interface 见应用程序编程接口 ARP Address Resolution Protocol 地址解析协议为 IP 地址到对应的硬件地址之间提供动态映射阿里云内容分发网络 Alibaba Cloud Content Delivery Network 一

产品简介 RDS 概述 产品概述 RDS 概述 云数据库 (Relational Database Service, 简称 RDS) 是一种稳定可靠 可弹性伸缩的在线数据库服务 基于飞天分布式系统和高性能存储,RDS 支持 MySQL SQL Server PostgreSQL 和 PPAS( 高度

产品简介 RDS 概述产品概述 RDS 概述云数据库 (Relational Database Service, 简称 RDS) 是一种稳定可靠可弹性伸缩的在线数据库服务基于飞天分布式系统和高性能存储,RDS 支持 MySQL SQL Server PostgreSQL 和 PPAS( 高度