PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

浒清阮
5 years ago
Views:

1 Linux 下的 MySQL 数据库监控吴诗展 MySQL 专家组核心成员 cnwsz#QQ.com Blog:

2 主要内容概述服务器层面被动监控健康监控数据库层面被动监控健康监控同步监控监控工具

3 概述监控的重要性那在黑暗里行走的, 不知道往何处去 -- 新约监控是一个大而复杂的任务, 不同的应用有不同的环境而且关注点不同, 监控项也不同, 所以会有很多不同的监控侧重点今天所讲侧重于故障监控和性能监控监控思想工具会很快过时, 思想远比工具重要知道花费了什么 / 获得了什么 / 投资回报率? 用户体验被赋予最高优先权

4 服务器层面被动监控树倒猢狲散如何监控? 事后监控 /sms/ 需立刻处理健康监控预警型监控 / 如何敲定报警阈值 Memory:Free ( 关 swap) CPU:vmstat 1 ; load average IO:iostat -x 1 ( 关注 IOPS)

5 健康监控

6 数据库层面被动监控如何监控 Mysql Crash? 端口? 语义? Mysql pid? 注 : 端口监控引起的连接出错问题? 调大 max_connect_errors=10000

7 数据库层面数据库健康监控总体情况一些关注项同步监控

8 总体情况 mysql >SHOW /*!50000 GLOBAL */ VARIABLES; SHOW /*!50000 GLOBAL */ VARIABLES like key% 为什么加 /*!50000 GLOBAL */? MySQL4 和 MySQL5 区别. 即 MySQL4: SHOW VARIABLES;MySQL5 :SHOW GLOBAL VARIABLES; 后继默认为 MySQL 5 mysql> SHOW /*!50000 GLOBAL */ STATUS; ]$ mysqladmin extended ( 绝对值, 全局 ) ]$ mysqladmin extended -i10 -r ( 相对值, 每隔 10 秒 ) mysql> SHOW FULL PROCESSLIST; ]$ mysqladmin processlist Tcpdump 抓包 mysql> SHOW ENGINE INNODB STATUS; mysql> SHOW /*!50000 GLOBAL */ STATUS LIKE 'innodb%'; ]$ mysql -e "show innodb status" mysql> SHOW MASTER STATUS; SHOW SLAVE STATUS;

9 一些关注项 : 通用情况每秒查询率 QPS: questions 增量 /time 间隔时间参考 : 10s,1h,24h show status like Questions : 已经发送给服务器的查询个数 ( 不单是 select 操作 ) com_xxx 计数器 Com_delete/Com_insert/Com_update/Com_delete 等 show status like Com_xxx : 表示 xxx 语句执行的次数例如,Com_delete 统计 DELETE 语句执行的次数 show global status like com_insert ; & show status like com_insert ; (Mysql5 下区分 ) 事务 : Com_rollback, Com_commit, Com_begin, 等 Com_rollback+Com_commit=? 读写比率 : ( select + qcache_hits ) / ( insert+update+delete+replace ) QCACHE_hits: 查询缓存被访问的次数

10 一些关注项 : 通用情况表缓存 :opened_tables 增量 /time 时间间隔建议为 1h 或 24h Opened_tables: 已经打开的表的数量如果 Opened_tables 较大,table_cache 值可能太小高峰期查看 :variable:table_cache status:open_tables 线程缓存 :threads_created 增量 /time Threads_created: 创建用来处理连接的线程数如果 Threads_created 较大, 你可能要增加 thread_cache_size 值高峰期查看 : variable:thread_cache_size status:threads_cached 连接数 :Connections variable:max_connections status:max_used_connections variable:max_connections - status:threads_connected

11 查询缓存命中率一些关注项 : 查询缓存 Qcache_hits/(Com_select+Qcache_hits) Qcache_hits: 查询缓存命中的次数查询缓存删除速率 Qcache_lowmem_prunes / time Qcache_lowmem_prunes: 由于内存较少从缓存删除的查询数量增大查询缓存值 query_cache_size, 以减小 lowmem, 增加缓存命中率

12 Key 缓存命中率一些关注项 : 存储引擎 MyISAM 1 - (key_reads / key_read_requests) Key_reads 从硬盘读取键的数据块的次数 key_read_requests 从缓存读键的数据块的请求数命中率低则调大 Key_buffer_size MyISAM 连接锁比率 table_locks_waited / table_locks_immediate <1% 佳, 1% 需引起注意, >3% 性能问题 table_locks_waited: 不能立即获得的表的锁的次数 Table_locks_immediate: 立即获得的表的锁的次数

13 Cache 命中率 : 一些关注项 : 存储引擎 Innodb 1 - ( Innodb_buffer_pool_reads / Innodb_buffer_pool_read_requests) Innodb_buffer_pool_reads: 不能满足 InnoDB 必须单页读取的缓冲池中的逻辑读数量 Innodb_buffer_pool_read_requests:InnoDB 已经完成的逻辑读请求数变量 innodb_buffer_pool_size InnoDB 缓冲池 Innodb_buffer_pool_wait_free: 向 InnoDB 缓冲池写时, 如果需要读或创建页, 并且没有干净的页可用, 则需等待页面清空的次数该值应小, 否则需调大缓冲池 innodb_buffer_pool_size 大小日志 Innodb_log_waits: 因为日志缓冲区太小, 必须等待清空的时间此值尽量小, 否则需调大 innodb_log_file_size,

14 一些关注项 : 慢查询和临时表慢查询率 :Slow_queries/time Slow_queries: 查询时间超过 long_query_time 秒的查询的个数 select_full_join: 没有使用索引的联接的数量如果该值不为 0, 应仔细检查表的索引配置项中开启慢查询日志以便优化 : log-slow-queries = slow.log 临时表创建率 created_tmp_tables/time 写硬盘的临时表 : created_disk_tmp_tables / created_tmp_tables tmp_table_size 是否足够大? 临时表目录考虑用内存替代? 查询 blob/text 多吗?

15 Mysql > slave slave status\g 是否工作 : Slave_IO_running: YES Slave_SQL_running: YES 延迟情况 : Seconds_behind_master 更新速率 : 同步监控 Read_Master_Log_Pos 增量 /sec, Exec_Master_Log_Pos 增量 /sec Binlog 缓存 : binlog_cache_disk_use / binlog_cache_use 溢出后临时文件保存的事务数 / 二进制日志缓存的事务数变量 : binlog_cache_size 注 :Log_Pos 会 hang 住? 数据导入期的同步监控屏蔽?

16 监控工具分为交互式监控工具和非交互式监控工具交互监控工具特性实时的观察服务器状态非交互式监控工具特性 : 很多非交互式监控都不是专门为 MySQL 而单独设计的, 而是多用途的定期的检查系统状态值, 对特定参数的衡量或预警, 监控失败或是超过某安全值时报警或是触发某动作持续性的自动记录和保留数据库状态, 监控并在 web 端画图在数据库越来越慢的时候, 进行诊断, 可以了解历史值以及以往的变化情况好的监控会在灾难来临前给出警示, 并帮助你确定问题关键所在

17 监控工具交互性监控工具 innotop: High Performance MySQL Second Edition 作者之一 Mysqlreport: mtop: mytop:

18 非交互式监控工具 Nagios: 开源, 定期检查并报警阈值可做 plug-in 运行任何程序, 有现成的 mysql 监控的外挂缺点 : 有些复杂, 不好管理 Zabbix: 配置文件和数据都在数据库中画图效果等都好于 Nagios 更灵活且更容易配置 MySQL 企业版监控企业版附带不开源收费优点是有很多预制的建议

19 非交互式监控工具 Zenoss : Hyperic HQ OpenNMShttp:// Groundwork Open Source MONyog 基于 RRDTool 的监控系统 MRTG: Munin: Cacti: Cricket: Ganglia:

20 Q&A? 参考 & 推荐 MySQL 手册深入浅出 MySQL 数据库开发优化与管理维护构建 oracle 高可用环境 SQL 语言艺术 Uderstanding MySQL Internals High Performance MySQL Second Edition Monitoring Mysql Expert MySQL 联系方式 : 吴诗展 cnwsz#QQ.com blog:

21 MySQL 专家组 : MySQL 专家组介绍英文名称 MySQL Expert Group, 简称 MEG MEG 是由知名 MySQL DBA 发起, 各大互联网公司 DBA 开发人员组成的 MySQL 组织 ; 成员具有丰富的 MySQL 数据库开发管理和优化经验, 具备优秀的 LAMP 构架设计和规划能力组织的宗旨 : 促进 MySQL 技术的交流和分享, 提供企业 MySQL 培训 ; 推广 MySQL 数据库的广泛使用, 致力于为不同环境下的应用提供贴身全面的解决方案特邀顾问 : 陈吉平 (Piner.chen), 淘宝网首席 DBA,Oracle ACE, 著有构建 Oracle 高可用环境一书 Piner 在大型高可用构架设计有着丰富的经验, 并且能一直保持新技术的跟进 mysqlmeg@mysqlmeg.cn 网站 :

PowerPoint Presentation

PowerPoint Presentation MySQL Monitoring ChinaUnix 网友技术交流曹金成 NetSeek MySQL Monitoring 一如何有效监控? 监控的目的二基本监控解决方案 ( 基础数据收集 ) 三高级解决方案 ( 数据库健康状态, 优化 ) 四 MySQL 性能相关交互式监控工具五相关资源参考一如何有效监控? 一如何有效监控? 监控的目的? 1 服务健康监测( 存活, 故障告警..)