MySQL MHA 运行状态监控介绍

吾爱主题阅读：122 2024-04-02 08:06:24 评论：0

一项目描述

1.1 背景

mha（master ha）是一款开源的 mysql 的高可用程序，它为 mysql 主从复制架构提供了 automating master failover 功能。mha 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点。自动failover的前置条件一定是mha是启动运行的状态。在生产环境中，有时会因为没有及时开启或者运行异常停止而不知，导致mysql主节点异常时，没有自动failover，影响了生产，或延长了处理时间，使故障升级。

此外，mha发生failover后，mha的运行状态会由 is running(0:ping_ok) 变更为stopped(2:not_running)，从运行反馈结果变化上，可以判断是否可能发生了主从切换。可以作为一个warning处理。

综上，对mha的运行状态的监控很有必要。

1.2 实现设计

mha是运行在manager 节点上的，一个manager 节点可以管理数十个集群。目前，我们的监控体系是telegraf + influxdb + grafana，所以，需要在manager 节点部署telegraf，去收集mha的运行状态，保存到 influxdb。在既有的grafana mysql dashboard中，添加一个关于 masterha_check_status 的panel 即可。

1.2.1 之前的方法

在《以实现mongodb副本集状态的监控为例，看telegraf系统中exec输入插件如何编写部署》一文中的第七部分，我们有介绍一种方法实现mysql mha的监控，但这种方法是每一个集群都需要手动维护，自动发现的功能不够好，增加维护成本，特别是集团的mha集群比较多时。

1.2.2 优化后的方法

manager 节点为每个监控的mha集群提供一个专用的配置文件，优化后的监控方法，根据配置文件自动发现、自动调整监控，不再需要逐一配置和维护。

部署的步骤如下：

二.实现详情

2.1 编辑python可执行文件

可执行文件为telegraf_checkmhastatus.py

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 #!/usr/bin/python # -*- coding: utf-8 -*- import os import io import re import configparser path= '/cnf/mhacnf' #fout= open ( '输出文件名' , 'w' ) for name in os.listdir(path) : pathname= os.path. join (path, name ) ## print(pathname) ## print( name ) config =configparser.configparser() try: config. read (pathname) server_item = config.sections() server1_host = '' ##mha cnf 配置文件中的节点1 server2_host = '' ##mha cnf 配置文件中的节点2 server3_host = '' ##mha cnf 配置文件中的节点3 mha_cnf_remark = '' if 'server1' in server_item: server1_host = config.get( 'server1' , 'hostname' ) else : server1_host = '' mha_cnf_remark = mha_cnf_remark + 'server1未配置;' if 'server2' in server_item: server2_host = config.get( 'server2' , 'hostname' ) else : server2_host = '' mha_cnf_remark = mha_cnf_remark + 'server2未配置;' if 'server3' in server_item: server3_host = config.get( 'server3' , 'hostname' ) ##print(mha_cnf_remark) except exception as e: print(e) mha_status_result = '' if server1_host <> '' and server2_host <> '' : cmd_mha_status = '/usr/local/bin/masterha_check_status --conf=' +pathname with os.popen(cmd_mha_status) as mha_status: mha_status_result = mha_status. read () if 'running(0:ping_ok)' in mha_status_result: print( 'masterha_check_status,server=' +server1_host+ ' status=1i' ) print( 'masterha_check_status,server=' +server2_host+ ' status=1i' ) if 'stopped(2:not_running)' in mha_status_result: ## else : print( 'masterha_check_status,server=' +server1_host+ ' status=0i' ) print( 'masterha_check_status,server=' +server2_host+ ' status=0i' )

说明:

（1）遍历 /cnf/mhacnf目录下的文件（假设mha配置文件的配置文件在此目录下）；
（2）对每个文件执行masterha_check_status --cong = xxxx，xxxx为具体的配置文件；判断运行结果；
（3）获取mha集群节点；
（4）因为我们mha集群都是一主一从，所以，只 if server1_host <> '' and server2_host <> '':一种情况，大家可根据需要，根据具体的场景，变更。
（5）数据保存到名叫masterha_check_status的measurement中，tag key 有 host 和 server；当运行ok时，status=1，否则，status=0。
（6）server对应的数据为server ip（注意，会在grafana配置时以此关联）。

2.2 修改 telegraf 文件

文件默认目录为/etc/telegraf/，默认文件为telegraf.conf。

将执行文件嵌入到telegraf.conf中，由python驱动。

代码如下:

1 2 3 4 5 [[inputs. exec ]] ##commands array commands = [ "python /data/check_mha_status/check_mha_status.py" ,] timeout= '60s' data_format= "influx"

2.3 修改telegraf service的运行账号

telegraf服务的启动账号默认为telegraf，但是，其中调用了python和python的可执行文件，需要修改权限。为了简便，升级telegraf service的运行账号，修改成root。

修改telegraf.service，默认路径为/usr/lib/systemd/system/telegraf.service。

修改后的代码如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 [unit] description=the plugin-driven server agent for reporting metrics into influxdb documentation=https://github.com/influxdata/telegraf after =network.target [service] environmentfile=-/etc/ default /telegraf ## user =telegraf user =root execstart=/usr/bin/telegraf -config /etc/telegraf/telegraf.conf -config-directory /etc/telegraf/telegraf.d $telegraf_opts execreload=/bin/kill -hup $mainpid restart= on -failure restartforceexitstatus=sigpipe killmode=control- group [install] wantedby=multi- user .target

2.4 启动telegraf 服务

1 2 3 service telegraf start ####启动服务 service telegraf status ####服务状态查看 service telegraf stop ####关闭服务

2.5 配置grafana，增加panel

因为mysql实例节点的telegraf也会汇报各自的数据，例如mysql连接数、tps、qps、主从状态、延迟、资源（cpu、内存、磁盘、iowait）等等，这些指标在一个dashboard上，而新收集的mha运行状态是新增的的一个mysql指标，所以，应该将mha运行状态作为既有mysql dashboard的一个panel。

在mysql实例节点上汇报的数据是各个节点的host 和 instance(server ip:端口)；而mha 运行状态汇报的数据是manager节点的host 和各个实例server ip。所以，依据host 关联，整合到一个dashboard是实现不了的（因为没有关联性）。只能通过 instance(server ip:端口) 和 server ip 进行关联了。

首先，将instance(server ip:端口) 正则下，去除端口数据，实现方式，增加一个grafana变量--server_ip，如下：

注意上面的数据源来自measurement为mysql。

然后，再增加一个grafana变量--mha_server,注意，会依赖上面的变量server_ip。

这样 mysql 和 masterha_check_status 两个measurement就关联起来了，可以联动了。

最后，增加 panel设置下，就可以了，如下。

sql 语句如下:

1	`select` `mean(` `"status"` `)` `from` `"masterha_check_status"` `where` `(` `"server"` `=~ /^$mha_server$/)` `and` `$timefilter` `group` `by` `time` `(1m) fill(` `null` `)`