大型网站架构与自动化运维.1 认识 Memcached Memcached 是一套开源的高性能分布式内存对象缓存系统, 它将所有的数据都存储在内存中, 因为在内存中会统一维护一张巨大的 Hash 表, 所以支持任意存储类型的数据很多网站通过使用 Memcached 提高网站的访问速度, 尤其是对于

Size: px

Start display at page:

Download "大型网站架构与自动化运维.1 认识 Memcached Memcached 是一套开源的高性能分布式内存对象缓存系统, 它将所有的数据都存储在内存中, 因为在内存中会统一维护一张巨大的 Hash 表, 所以支持任意存储类型的数据很多网站通过使用 Memcached 提高网站的访问速度, 尤其是对于"

准逻边
5 years ago
Views:

因为在内存中会统一维护一张巨大的 Hash 表, 所以支持任意存储类型的数据很多网站使用 Memcached 以提高网站的访问速度,

1 第章技能目标高性能内存对象缓存 Memcached 理解 Memcached 核心概念会进行 Memcached 相关部署操作会进行 Memcached 主主复制操作会进行 Memcached 服务高可用配置本章导读 Memcached 是一套开源的高性能分布式内存对象缓存系统, 它将所有的数据都存储在内存中, 因为在内存中会统一维护一张巨大的 Hash 表, 所以支持任意存储类型的数据很多网站使用 Memcached 以提高网站的访问速度, 尤其是对于大型的需要频繁访问数据的网站 Memcached 主主复制是指在任意一台 Memcached 服务器修改数据都会被同步到另外一台, 可以使用 keepalived 提供高可用架构知识服务

2 大型网站架构与自动化运维.1 认识 Memcached Memcached 是一套开源的高性能分布式内存对象缓存系统, 它将所有的数据都存储在内存中, 因为在内存中会统一维护一张巨大的 Hash 表, 所以支持任意存储类型的数据很多网站通过使用 Memcached 提高网站的访问速度, 尤其是对于大型的需要频繁访问数据的网站 Memcached 是典型的 C/S 架构, 因此需要安装 Memcached 服务端与 Memcached API 客户端 Memcached 服务端是用 C 语言编写的, 而 Memcached API 客户端可以用任何语言来编写, 如 PHP Python Perl 等, 并通过 Memcached 协议与 Memcached 服务端进行通信常用典型架构如图.1 所示图.1 Memcached 常用架构当 Web 客户端发送请求到 Web 服务器的应用程序时, 应用程序会通过调用 Memcached API 客户端程序库接口去连接 Memcached 服务器, 进而查询数据如果此时 Web 客户端所请求的数据已经在 Memcached 服务端中缓存, 则 Memcached 服务端会将数据返回给 Web 客户端 ; 如果数据不存在, 则会将 Web 客户端请求发送至 MySQL 数据库, 由数据库将请求的数据返回给 Memcached 以及 Web 客户端, 与此同 0

3 第章高性能内存对象缓存 Memcached 时 Memcached 服务器也会将数据进行保存, 以方便用户下次请求使用 1. 存储方式与数据过期方式 Memcached 具有独特的存储方式和数据过期方式 (1) 数据存储方式 :Slab Allocation Slab Allocation 即按组分配内存, 每次先分配一个 Slab, 相当于一个大小为 1MB 的页, 然后在 1MB 的空间里根据数据划分大小相同的 Chunk, 如图. 所示该方法可以有效解决内存碎片问题, 但可能会对内存空间有所浪费图. Slab Allocation () 数据过期方式 :LRU Laxzy Expiration LRU 是指追加的数据空间不足时, 会根据 LRU 的情况淘汰最近最少使用的记录 Laxzy Expiration 即惰性过期, 是指使用 get 时查看记录时间, 从而检查记录是否已经过期.Memcached 缓存机制缓存是常驻在内存的数据, 能够快速进行读取而 Memcached 就是这样一款非常出色的缓存软件, 当程序写入缓存数据请求时,Memcached 的 API 接口将 Key 输入路由算法模块路由到集群中一台服务器, 之后由 API 接口与服务器进行通信, 完成一次分布式缓存写入, 如图.3 所示图.3 Memcached 缓存机制 3.Memcached 分布式 Memcached 分布式部署主要依赖于 Memcached 的客户端来实现, 多个 Memcached 服务器是独立的分布式数据如何存储是由路由算法所决定的 1

4 大型网站架构与自动化运维当数据到达客户端程序库时, 客户端的算法就依据路由算法来决定保存的 Memcached 服务器读取数据时, 客户端依据保存数据时的路由算法选中和存储数据时相同的服务器来读取数据, 如图.4 所示图.4 Memcached 分布式 4.Memcached 路由算法 (1) 求余数 hash 算法求余数 hash 算法先用 key 做 hash 运算得到一个整数, 再去做 hash 算法, 根据余数进行路由这种算法适合大多数据需求, 但是不适合用在动态变化的环境中, 比如有大量机器添加或者删除时, 会导致大量对象的存储位置失效 () 一致性 hash 算法一致性 hash 算法适合在动态变化的环境中使用原理是按照 hash 算法把对应的 key 通过一定的 hash 算法处理后, 映射形成一个首尾相接的闭合循环, 然后通过使用与对象存储一样的 hash 算法将机器也映射到环中, 按顺时针方向将所有对象存储到离自己最近的机器中, 如图.5 所示图.5 一致性 hash 算法

5 第章高性能内存对象缓存 Memcached. 安装 Memcached 案例本案例使用两台 CentOS7.3 系统完成, 一台是 Memcached 服务器, 另一台是基于 LAMP 架构进行 Memcached 扩展的 Memcached API 客户端, 可以根据企业需求进行架构调整案例环境如表 -1 所示表 -1 案例环境名称 IP 地址角色主要软件包 Memcached Memcached 服务器 Memcached API Memcached API 客户端 libevent stable.tar.gz memcached tar.gz httpd-.4.5.tar.gz php tar.gz libmemcached tar.gz memcached-..0.tgz..1 安装 Memcached 服务器 1. 安装 Libevent Libevent 是一款跨平台的事件处理接口的封装, 可以兼容多个操作系统的事件访问 Memcached 的安装依赖于 Libevent, 因此需要先完成 Libevent 的安装 ~]# wget ~]# tar xzvf libevent b-stable.tar.gz libevent b-stable]#./configure --prefix=/usr/local/libevent libevent b-stable]# make && make install 到此 Libevent 安装完毕, 接下来就可以开始安装 Memcached. 安装 Memcached 采用源码的方式进行 Memcached 的编译安装, 安装时需要指定 Libevent 的安装路径 ~]# wget ~]# tar xzvf memcached tar.gz ~]# cd memcached / memcached ]#./configure --prefix=/usr/local/memcached --with-libevent= /usr/local/libevent memcached ]#make && make install 3. 设置 Memcached 服务脚本 Memcached 服务器安装完成后, 可以使用安装目录下的 bin/memcached 来启动服 3

6 大型网站架构与自动化运维务, 但是为了更加方便地管理 Memcached, 还是编写脚本来管理 Memcached 服务 ~]# vi /usr/local/memcached/memcached_service.sh #!/bin/bash CMD="/usr/local/memcached/bin/memcached" start(){ $CMD -d -m 18 -u root stop(){ killall memcached; ACTION=$1 case $ACTION in 'start') start;; 'stop') stop;; 'restart') stop sleep start;; *) echo 'Usage:{start stop restart' esac 其中启动 Memcached 时,-d 选项的作用是以守护进程的方式运行 Memcached 服务 ; -m 是为 Memcached 分配 18MB 的内存, 应根据企业需要进行调整 ;-u 指定运行的用户账号之后设置脚本权限, 启动 Memcached 服务 [root@memcached ~]# chmod 755 /usr/local/memcached/memcached_service.sh [root@memcached ~]# /usr/local/memcached/memcached_service.sh start 服务启动之后, 监听 1111/tcp 端口 [root@memcached ~]# netstat -antp grep memcached tcp : :* LISTEN 10196/memcached tcp6 0 0 :::1111 :::* LISTEN 10196/memcached.. Memcached API 客户端为了使得程序可以直接调用 Memcached 库和接口, 可以使用 Memcached 扩展组件将 Memcached 添加为 PHP 的一个模块此扩展使用了 Libmemcached 库提供的 API 4

7 第章高性能内存对象缓存 Memcached 与 Memcached 服务端进行交互 1. 编译安装 Libmemcached 在编译 Memcached 扩展组件时, 需要指定 Libmemcached 库的位置, 所以先安装 Libmemcached 库 ~]# wget libmemcached tar.gz ~]# tar xzvf libmemcached tar.gz ~]# cd libmemcached / libmemcached ]#./configure --prefix=/usr/local/libmemcached --withmemcached=/usr/local/memcached libmemcached ]# make && make install. 编译安装 Memcached 扩展然后就可以进行 PHP 的 Memcached 扩展组件安装 ~]# wget ~]# tar xzvf memcached-..0.tgz ~]# cd memcached-..0/ 注意配置 Memcached API 时,memcached-..0.tgz 源码包中默认没有 configure 配置脚本, 需要使用 PHP 的 phpize 脚本生成配置脚本 configure memcached-..0]# /usr/local/php/bin/phpize Configuring for: PHP Api Version: Zend Module Api No: Zend Extension Api No: memcached-..0]#./configure --enable-memcached --with-php-config=/usr/ local/php/bin/php-config--with-libmemcached-dir=/usr/local/libmemcached --disable-memcached-sasl 注意配置时使用 --disable-memcached-sasl 选项关闭 Memcached 的 SASL 认证功能, 否则会报错 memcached-..0]# make memcached-..0]#make test memcached-..0]# make install Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-zts-01316/ // 共享组件的位置 3. 配置 PHP 添加 Memcached 组件编辑 PHP 配置文件 php.ini, 添加 Memcached 组件 5

大型网站架构与自动化运维 [root@memcached-api ~]# cd /usr/local/php/ [root@memcached-api php]# vi etc/php.ini 添加如下内容 extension_dir = "/usr/local/php/lib/php/extensions/no-debug-zts-01316/" extension=memcached.

8 大型网站架构与自动化运维 ~]# cd /usr/local/php/ php]# vi etc/php.ini 添加如下内容 extension_dir = "/usr/local/php/lib/php/extensions/no-debug-zts-01316/" extension=memcached.so 4. 启动 php-fpm 测试模块是否添加成功 [root@memcached-api php]# cp etc/php-fpm.conf.default etc/php-fpm.conf [root@memcached-api php]#./sbin/php-fpm -c etc/php.ini -y etc/php-fpm.conf [root@memcached-api php]# ps aux grep php root ? Ss 08:51 0:00 php-fpm: master process (etc/php-fpm.conf) nobody ? S 08:51 0:00 php-fpm: pool www nobody ? S 08:51 0:00 php-fpm: pool www root pts/1 S+ 08:51 0:00 grep --color=auto php 可以通过 phpinfo(), 查看是否已经添加 Memcached 扩展模块 [root@memcached ~]# vi /usr/local/apache/htdocs/index.php <?php phpinfo();?> 使用浏览器进行访问, 结果如图.6 所示, 已经添加成功图.6 phpinfo 信息 5. 测试 Memcached API 功能通过编写简单的 PHP 测试代码调用 Memcache 程序接口, 来测试是否与 6

第章高性能内存对象缓存 Memcached Memcached 服务器协同工作, 代码如下 : [root@memcached-api ~]# vi /usr/local/apache/htdocs/test.php <?php $memcache = new Memcached(); $memcache->addserver('19

9 第章高性能内存对象缓存 Memcached Memcached 服务器协同工作, 代码如下 : [root@memcached-api ~]# vi /usr/local/apache/htdocs/test.php <?php $memcache = new Memcached(); $memcache->addserver(' ', 1111); $memcache->set('key', 'Memcache test successful!', 0, 60); $result = $memcache->get('key'); unset($memcache); echo $result;?> 此段代码的作用是在客户端连接 Memcached 服务器, 设置名为 'key' 的键的值为 'Memcache test successful!', 并读取显示显示成功, 则表示服务器与客户端协同工作正常使用浏览器进行访问, 测试结果如图.7 所示图.7 测试页面.3 Memcached 数据库操作与管理 Memcached 协议简单, 可直接使用 telnet 连接 Memcached 的 1111 端口, 对 Memcached 数据库进行操作与管理 [root@memcached ~]# telnet Trying Connected to Escape character is '^]'. // 输入操作指令操作命令格式 : <command name><key><flags><exptime><bytes><data block> 1. 常见操作指令 (1) 添加一条键值数据 add username example STORED 7

10 大型网站架构与自动化运维其中 add username 表示键值名为 username, 标记位表示自定义信息为 0, 过期时间为 0( 永不过期, 单位为秒 ), 字节数为 7 example 为键值, 注意输入长度为 7 字节, 与设定值相符合 () 查询键值数据 get username VALUE username 0 7 example gets username VALUE username example 其中 get 后跟键值名, 如果检查最近是否更新, 可以使用 gets, 最后一位显示的是更新因子, 每更新一次更新因子数会加 1 (3) 更新一条键值数据 set username everything STORED get username VALUE username 0 10 everything 其中 set 后跟需要更新的键值名标记位过期时间字节数如果键值名不存在, set 相当于 add 如果仅仅是想单纯地更新没有添加的功能, 使用 replace 此时更新的键值名必须存在, 如果键值名不存在, 就会报 NOT_STORED 的错误 replace username lodging STORED gets username VALUE username lodging replace username example NOT_STORED (4) 清除一条缓存数据 delete username DELETED get username 8

11 第章高性能内存对象缓存 Memcached 使用 delete 删除一条键值为 username 的缓存数据, 使用 get 查看发现没有内容存在 (5) 检查后更新 gets username VALUE username example cas username lodging EXISTS cas username lodging STORED gets username VALUE username lodging 如果 cas 的最后一个更新因子数与 gets 返回的更新因子数相等, 则更新, 否则返回 EXISTS (6) 追加数据 append username example STORED get username VALUE username 0 14 lodgingexample // 后追加 7 字节在键值名 username 的原键值后追加数据使用 append prepend username 0 0 un STORED get username VALUE username 0 16 unlodgingexample // 前追加字节在键值名 username 的原键值前追加数据使用 prepend (7) 清除所有缓存数据 flush_all OK (8) 查看服务器统计信息 stats stats items // 返回所有键值对的统计信息 9

12 大型网站架构与自动化运维 stats cachedump 1 0 stats slabs stats sizes stats reset // 返回指定存储空间的键值对 // 显示各个 slab 的信息, 包括 chunk 的大小数目使用情况等 // 输出所有 item 的大小和个数 // 清空统计数据.4 Memcached 实现主主复制和高可用的方式 Memcached 主主复制是指在任意一台 Memcached 服务器修改数据都会被同步到另外一台, 但是 Memcached API 客户端是无法判断连接到哪一台 Memcached 服务器的, 所以需要设置 VIP 地址, 提供给 Memcached API 客户端进行连接可以使用 keepalived 产生的 VIP 地址连接主 Memcached 服务器, 并且提供高可用架构本案例使用两台 Memcached 服务器来完成, 实验环境如表 - 所示表 - 案例环境名称 IP 地址操作系统主要软件包 Memcached Centos 7.3 Memcached Centos 7.3 libevent stable.tar.gz memcached-1..8-repcached-..tar.gz keepalived el7.x86_64 libevent stable.tar.gz memcached-1..8-repcached-..tar.gz keepalived el7.x86_ Memcached 主主复制架构 Memcached 的复制功能支持多个 Memcached 之间进行相互复制 ( 双向复制, 主备都是可读可写的 ), 可以解决 Memcached 的容灾问题要使用 Memcached 复制架构, 需要重新下载支持复制功能的 Memcached 安装包安装过程与之前安装的 Memcached 方法相同, 下面简略描述一下 1. 安装带有复制功能的 Memcached 安装完成 Libevent 之后, 将下载的 memcached-1..8-repcached-..tar.gz 进行解压, 然后完成编译安装 [root@memcached1 ~]# cd memcached-1..8-repcached-./ [root@memcached1 memcached-1..8-repcached-.]#./configure --prefix=/usr/local/ memcached_replication --enable-replication --with-libevent=/usr/local/libevent [root@memcached1 memcached-1..8-repcached-.]# make && make install. 启动 Memcached 服务支持复制功能的 Memcached 安装完成之后, 需要将编译安装的 libevent-1.4.so. 30

13 第章高性能内存对象缓存 Memcached 模块复制到 /usr/lib64 目录下, 否则在启动带有复制功能的 Memcached 服务时会报错 ~]# ln -s /usr/local/libevent/lib/libevent-1.4.so. /usr/lib64/libevent-1.4.so. 启动服务时, 使用 -x 选项指向对端 ~]# /usr/local/memcached_replication/bin/memcached -d -u root -m 18 -x ~]# netstat -antp grep memcached tcp : :* LISTEN 8163/memcached tcp : :* LISTEN 8163/memcached tcp6 0 0 :::1111 :::* LISTEN 8163/memcached 同样启动 Memcached 服务器, 注意启动 Memcached 服务时指向对端 3. 使用 telnet 进行简单验证复制功能 (1) 在 Memcached1 上插入一条具有特点的键值 [root@memcached1 ~]# telnet Trying Connected to Escape character is '^]'. set username STORED get username VALUE username quit Connection closed by foreign host. () 在 Memcached 上查看刚刚插入的键值 [root@memcached ~]# telnet Trying Connected to Escape character is '^]'. get username VALUE username get username quit Connection closed by foreign host. 同理, 在 Memcached 上插入的数据, 在 Memcached1 上也可以查看到这就是 Memcached 的主主复制 31

14 大型网站架构与自动化运维.4. Memcached 主主复制 +Keepalived 高可用架构因为 Memcached 主主复制这种架构, 在程序连接时不知道应该连接哪个主服务器, 所以需要在前端加 VIP 地址, 实现高可用架构这里用 Keepalived 实现, 因而 Keepalived 的作用是用来检测 Memcached 服务器的状态是否正常, 如图.8 所示 Keepalived 不断检测 Memcached 主服务器的 1111 端口, 如果检测到 Memcached 服务发生宕机或者死机等情况, 就会将 VIP 从主服务器移至从服务器, 从而实现 Memcached 的高可用性图.8 Memcached 高可用架构 1. 安装配置 keepalived ~]# yum install keepalived (1) 配置主 keepalived ~]# vi /etc/keepalived/keepalived.conf! Configuration File for keepalived global_defs { notification_ { admin@example.com notification_ _from Alexandre.Cassen@firewall.loc smtp_server smtp_connect_timeout 30 router_id LVS_DEVEL // 路由标识, 主从保持一致 3

15 第章高性能内存对象缓存 Memcached vrrp_sync_group cluster { group { mem_ha vrrp_instance mem_ha { state MASTER interface ens33 virtual_router_id 51 priority 100 advert_int 1 nopreempt // 主备状态均为 MASTER // 虚拟路由 ID, 主从相同 // 优先级, 主的高于备 // 不主动抢占资源, 只在 Master 或者高优先级服务器上进行设置 authentication { auth_type PASS auth_pass 1111 virtual_ipaddress { // 定义 VIP 地址 virtual_server { delay_loop 6 persistence_timeout 0 protocol TCP sorry_server real_server { weight 3 notify_down /root/memcached.sh //VIP 故障检测 // 对端 // 本机 // 当 memcached 宕机, 停止 keepalived 服务 TCP_CHECK { connect_timeout 3 nb_get_retry 3 delay_before_retry 3 connect_port 1111 设置执行脚本如下 : [root@memcached1 ~]# echo "/usr/bin/systemctl stop keepalived" > memcached.sh [root@memcached1 ~]# chmod +x memcached.sh () 配置备 keepalived 主从 keepalived 配置文件内容差不多, 可以直接复制进行修改, 以下只把不一样 33

16 大型网站架构与自动化运维的地方整理出来 ~]# scp /etc/keepalived/keepalived.conf :/etc/keepalived/ // 省略 vrrp_instance mem_ha { state MASTER // 从也使用 MASTER interface ens33 virtual_router_id 51 priority 90 // 优先级低 advert_int 1 // 去掉 nopreempt authentication { auth_type PASS auth_pass 1111 // 省略 virtual_server { delay_loop 6 persistence_timeout 0 protocol TCP sorry_server // 对端 real_server { // 本机 weight 3 notify_down /root/memcached.sh // 省略同样设置脚本如下 : [root@memcached ~]# echo "/usr/bin/systemctl stop keepalived" > memcached.sh [root@memcached ~]# chmod +x memcached.sh. 测试验证分别启动主从的 keepalived 服务 [root@memcached1 ~]# systemctl start keepalived [root@memcached ~]# systemctl start keepalived (1) 验证主 keepalived 获取 VIP 地址使用 ip address show 命令查看 VIP 地址 ( 使用 ifconfig 查看不到 ) [root@memcached1 ~]# ip address // 省略 : ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:9:1c:8c:6 brd ff:ff:ff:ff:ff:ff inet /4 brd scope global ens33 valid_lft forever preferred_lft forever inet /3 scope global ens33 // 已获得 VIP 地址 34

第章高性能内存对象缓存 Memcached valid_lft forever preferred_lft forever inet6 fe80::0c:9ff:fe1c:8c6/64 scope link valid_lft forever preferred_lft forever () 验证高可用性关闭 Memcached1 服务器的 Memcached 服务, 在 Memcached

17 第章高性能内存对象缓存 Memcached valid_lft forever preferred_lft forever inet6 fe80::0c:9ff:fe1c:8c6/64 scope link valid_lft forever preferred_lft forever () 验证高可用性关闭 Memcached1 服务器的 Memcached 服务, 在 Memcached 服务器上查看地址信息 ~]# killall memcached ~]# ip addr // 省略 : ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:0c:9:db:af:6a brd ff:ff:ff:ff:ff:ff inet /4 brd scope global ens33 valid_lft forever preferred_lft forever inet /3 scope global ens33 // 已获取 VIP 地址 valid_lft forever preferred_lft forever inet6 fe80::0c:9ff:fedb:af6a/64 scope link valid_lft forever preferred_lft forever 本章总结 Memcached 是分布式内存对象缓存系统, 因为所有数据都存储在内存中, 从而常用于网站加速 Memcached 分布式实现不是在服务端实现的而是在客户端实现的 Memcached 可以通过 keepalived 实现 Memcached 服务的高可用性 35

最佳实践 HaVip 最佳实践概览最佳实践 HaVip 的最佳实践使用 keepalived 搭建具备高可用能力的 SNAT 网关自建高可用 SNAT 网关使用 keepalived 和 HaVip 搭建具备高可用能力的 SNAT 网关在 VPC 中, 为一台 ECS 绑定 EIP, 并

最佳实践 HaVip 最佳实践概览最佳实践 HaVip 的最佳实践使用 keepalived 搭建具备高可用能力的 SNAT 网关自建高可用 SNAT 网关使用 keepalived 和 HaVip 搭建具备高可用能力的 SNAT 网关在 VPC 中, 为一台 ECS 绑定 EIP, 并专有网络 VPC 最佳实践最佳实践 HaVip 最佳实践概览最佳实践 HaVip 的最佳实践使用 keepalived 搭建具备高可用能力的 SNAT 网关自建高可用 SNAT 网关使用 keepalived 和 HaVip 搭建具备高可用能力的 SNAT 网关在 VPC 中, 为一台 ECS 绑定 EIP, 并在该 ECS 上搭建代理软件, 可以将该 ECS 实例建设为一个 SNAT