OneProxy透明读写分离

Size: px

Start display at page:

Download "OneProxy透明读写分离"

愚颜
7 years ago
Views:

1 y OneProxy 系列 OneProxy 透明读写分离不用修改应用程序, 实现透明读写分离的高可用方案楼方鑫著杭州平民软件有限公司 2015/1/25 OneProxy 透明读写分离第一页

2 目录一 OneProxy 简介... 三二 OneProxy 功能... 三三 OneProxy 读写分离方法... 四四 OneProxy 读写分离功能实现... 七第二页

3 不用修改应用程序, 也可以实现透明读写分离的高可用方案一 OneProxy 简介 OneProxy 平民软件完全自主开发的分布式数据访问层, 帮助用户在 MySQL/PostgreSQL 集群上快速搭建支持分库分表的分布式数据库中间件, 也是一款具有 SQL 白名单 ( 防 SQL 注入 ) 及 IP 白名单功能的 SQL 防火墙软件采用与 MySQL Proxy 一致的反向协议输出模式, 对应用非常简单和透明易用, 让用户畏惧的分库分表 (Horizontal Partitioning) 工作变得极其简单可控! 基于 Libevent 机制实现, 单个实例可以实现 25 万的 SQL 转发能力, 用一个 OneProxy 节点可以带动整个 MySQL 集群二 OneProxy 功能从信息服务的角度, 数据库层对上的服务有三种行为 : 读取存入和计算, 比如页面显示主要是查询, 交易处理主要是写入, 而报表汇总则是计算基本上的信息业务都可以分解为这三种行为的一定比例构成, 对任何一种行为来讲, 都需要考虑服务能力的扩展 (Capacity) 及服务的可靠性 (Availability), 比如在京东淘宝支付宝等网站上购买东西时, 可能需要先登录, 登录过程其实是一个信息的读取的行为, 考虑到他们的用户量, 一定会要求做到, 系统可以随时扩容, 并且当一台物机机器发生故障不可用时, 要求服务能不受影响对于以读取为主的信息服务, 可以考虑将数据复制多份出来, 并且当用户登录时, 可以从任何一份复制出来的数据里进行检索, 这样既扩展了系统的信息读取能力, 也使得任何一份数据复制失效也不会产生大的影响数据库本身都提供了数据复制的便捷手段, 比如 Oracle 的 Active Data Guard MySQL 的 Replication 等, 为了简化事务管理, 通常数据库的复制节点是只读的, 称之为从节点或备节点, 而用于写入的那个原始节点称为主节点, 主第三页

基于 Libevent 机制实现, 单个实例可以实现 25 万的 SQL 转发能力, 用一个 OneProxy 节点可以带动整个 MySQL 集群二 OneProxy 功能从信息服务的角度, 数据库层对上的服务有三种行为 : 读取存入和计算, 比如页面显示主要是查询,

4 节点和从节点之间构成一套主从节点集群或主备节点集群由于从节点或备节点是能读取但不能写入的, 所以要扩展读能力, 先要做读写分离, 通常这一步要梳理和修改应用代码, 进行详尽的线下测试, 再进行仔细的应用发布, 然后再修改应用程序对读取操作的数据源管理和选择方式, 可能是一个非常复杂的软件项目当后台用的是 MySQL 数据库, 或兼容 MySQL 协议的数据库时, 就可以不用修改应用程序, 使用 OneProxy 透明地实现读写分离功能, 因为 OneProxy 可以识别 MySQL 协议, 可以清晰地识别协议包中的 SQL 语句, 对不同类型的语句进行透明的转发处理, 就可以实现对应用透明的读写分离了, 完全不需要启动前面所说的复杂的软件项目三 OneProxy 读写分离方法 OneProxy 里有两种不同的读写分离方法 : 第一种是 Master 节点不参与读流量, 比如有较多的读节点的场合 OneProxy 启动参数如下所示 : /usr/local/oneproxy/oneproxy \ --proxy-address=:3307 \ --proxy-master-addresses= :3306@default \ --proxy-slave-addresses= :3306@default \ --proxy-slave-addresses= :3306@default \ --proxy-slave-addresses= :3306@default \ --proxy-user-list=test/1378f6cc3a8e8a43ca388193fbed fbbd3@test \ --proxy-group-policy=default:read-slave \ 第四页

$读写分离方法 : 第一种是 Master 节点不参与读流量, 比如有较多的读节点的场合 OneProxy 启动参数如下所示 : /usr/local/oneproxy/oneproxy \ --proxy-address=:3307 \ --proxy-master-addresses=10.128.$

5 --event-threads=8 --proxy-charset=utf8_general_ci \ --log-file=/usr/local/oneproxy/log/oneproxy.log \ --pid-file=/usr/local/oneproxy/log/oneproxy.pid 第二种是 Master 节点参与读流量, 比如一主一备的场景, 只需要分流一部份读操作到备就行了 OneProxy 启动参数如下所示 : /usr/local/oneproxy/oneproxy \ --proxy-address=:3307 \ --proxy-master-addresses= :3306@default \ --proxy-slave-addresses= :3306@default \ --proxy-user-list=test/1378f6cc3a8e8a43ca388193fbed fbbd3@test \ --proxy-group-policy=default:read-balance \ --event-threads=8 --proxy-charset=utf8_general_ci \ --log-file=/usr/local/oneproxy/log/oneproxy.log \ --pid-file=/usr/local/oneproxy/log/oneproxy.pid 可以看到, 只是策略 ( 请注意 proxy-group-policy 选项的值变化 ) 的不同而已, 并且可以在运行时动态调整在 OneProxy 中, 所有的多行事务中的读操作都被认为是写入操作, 会从 Master 中执行, 就算是只读事务, 也从 Master 中执行, 这一点是需要大家知道的如果想让一个普通的查询操作强制从 Master 第五页

$128.238:3306@default \ --proxy-slave-addresses=10.128.128.38:3306@default \ --proxy-user-list=test/1378f6cc3a8e8a43ca388193fbed5405982fbbd3@test \ --proxy-group-policy=default:read-balance \ pid 可以$

6 读取, 也可以在注释中加入 master 提示, 只要在注释中有一个完整的 master 单词 ( 不分大小写 ) 就会被路由到 Master 上执行如下所示 : select /* master */ * from user_info where user_id =... 如果是已有的应用切到 OneProxy 实现读写分离时, 可能发现某些表不适合做读写分离, 应用暂时也不方便修改, 则可以用 proxy-force-master 选项来指定某些表永远从 Master 读取数据, 比如余额库存存量这样的表如下所示 : /usr/local/oneproxy/oneproxy \ --proxy-address=:3307 \ --proxy-master-addresses= :3306@default \ --proxy-slave-addresses= :3306@default \ --proxy-user-list=test/1378f6cc3a8e8a43ca388193fbed fbbd3@test \ --proxy-group-policy=default:4 \ --proxy-force-master=t_balance \ --proxy-force-master=t_ammount \ --event-threads=8 --proxy-charset=utf8_general_ci \ --log-file=/usr/local/oneproxy/log/oneproxy.log \ --pid-file=/usr/local/oneproxy/log/oneproxy.pid 有些客户端工具可能会自动过滤 SQL 语句中的注释, 比如官方的 MySQL 客户端 ( 需要加命令行选项 -c ) 这是在测试时需要注意的另外一个点第六页

$/usr/local/oneproxy/oneproxy \ --proxy-address=:3307 \ --proxy-master-addresses=10.128.$

7 四 OneProxy 读写分离功能实现 OneProxy 的读写分离功能, 已经有用户在线上使用了, 已经在 Java 程序 Discuz 论坛 PHPWind 论坛 Zabbix 监控程序上得到过验证了, 可以放心使用即使是不精通应用代码的 DBA 也可以不写任何一行代码地实现读写分离的高可用方案第七页

8 如对本文有任何疑问请联系 : 杭州平民软件有限公司联系方式 : 邮箱 :flou@onexsoft.com 网址 : 地址 : 杭州文二路 391 号西湖国际大厦 D 楼中区 6F, 第八页

中国软科学年第期!!!

中国软科学年第期!!! 山寨模式的形成机理及其对组织创新的启示山寨模式的形成机理及其对组织创新的启示陶厚永李燕萍骆振心武汉大学经济与管理学院武汉大学中国产学研合作问题研究中心湖北武汉北京大学经济研究所光华天成博士后工作站北京本