使用 Python 监控 MySQL 慢查询日志

生产环境里有时会出现一些比较耗时的查询，我们希望能在第一时间知道具体是哪些查询拖慢数据库。当检测到有慢查询日至产生的时候，就发送邮件通知管理员。因此我的一个想法就是去轮询MySQL慢查询日志。当然，这么做的前提是慢查询日志是打开的。当时花了 2 个小时实现的这个功能，现在看起来还是比较有用的，现在把我饿方法贴出来，如果谁有更好的方法，可一起交流一下。

这个后台监控脚本分为 3 个模块来实现：

日至检测模块
邮件发送模块
计时模块，同时把上面两个模块整合在一起

先看日至检测模块：

# 传入文件的路径，以及上次读区日志的位置
# 返回一条慢SQL和本次读取日志的位置
def read_file(file_path, pre_pos=0):
    next_pos = pre_pos + 1
    cur_pos = 0
    slow_sql = ''
    with open(file_path, 'r') as f:
        for line in f:
            if re.match('^#', line) and re.search('Time', line):
                cur_pos = cur_pos + 1
                if cur_pos == next_pos:
                    slow_sql = slow_sql + line
                    for line in f:
                        if re.match('^#', line) and re.search('Time', line):
                            cur_pos = cur_pos + 1
                            slow_sql = slow_sql + line
                        else:
                            slow_sql = slow_sql + line
                    return slow_sql, cur_pos
        return None

# 统计慢SQL的行数
def sql_count(file_path):
    row_cnt = 0
    with open(file_path, 'r') as f:
        for line in f:
            if re.match('^#', line) and re.search('Time', line):
                row_cnt = row_cnt + 1
        return row_cnt

接下来是邮件发送模块，这里我使用了第三方封装好的邮件发送的模块，系统原生的比较难用：

from envelopes import Envelope

def send_mail(mail_list, subject, mail_body):
    envelope = Envelope(
        from_addr=('abc@abc.com', 'MySQL数据库监控'),
        to_addr=(mail_list),
        cc_addr=(['abc@abc.com']),
        subject=subject,
        text_body=mail_body
    )
    # 发送附件
    # envelope.add_attachment('/Users/light.zhang/test.jpg')
    envelope.send('smtp.abc.com', login='abc@abc.com', password='lumulu2tipep', tls=True)

最后一个地方是把这连个模块融合到一起，同时又计时功能：

# 主程序
def main():
    # configure the logging system
    logging.basicConfig(
        filename='app.log',
        level=logging.INFO,
        format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s %(funcName)s',
        filemode='w'
    )
    assert slow_log_path != ''
    mail_list = collect_mail_address('./mail_address.txt')
    log_pos = 0
    while True:
        return_val = rl.read_file(slow_log_path, log_pos)
        logging.info('logging')
        if return_val is not None:
            slow_sql, log_pos = return_val
            now = int(time.time())
            timeArray = time.localtime(now)
            str_time = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
            subject = 'SLOW SQL Statement %s' % str_time
            sd.send_mail(mail_list, subject, slow_sql)
            print(subject)
        time.sleep(180)

肯定有可以改进的地方，欢迎吐槽。