mysql core文件的正确打开姿势

8469阅读 0评论2017-04-11 飞鸿无痕
分类:Mysql/postgreSQL

     最近两天自己负责的一个实例频繁出现crash的情况,分析了日志,大致明白了crash的原因,但是没有定位到具体的SQL,也没有找到很好的规避的办法,因此想在mysql出现crash的时候自动将内存堆栈相关的信息保存到core文件,然后通过gdb分析再结合源码来确定导致mysql crash的根本原因。
     因为之前在linux下操作过core文件的设置,因此想当然地通过ulimit -c unlimited打开linux的core文件设置,然后喝茶,静静等待core文件的产生。终于等到实例出现crash,但是core文件并没有如期产生。查了下mysql的官方文档,发现还需要通过 --core-file启动或者将core_file配置到配置文件,然后重启实例。如下图的官方文档所示:
这次涉及到实例重启,多少会影响业务,为了谨慎期间,特地找了个测试环境,按照如下配置进行操作:
1、打开linux的core文件配置
    ulimit -c unlimited
2、添加mysql的core_file配置(备注:配置在[mysqld]下面),并重启测试实例
3、模拟mysql的crash场景,执行如下命令
    kill -SEGV  `pidof mysqld`
操作完成后并未如期出现core文件,通过google发现有人遇到了和我一样的困惑,发现还有几个地方需要设置了,继续测试,这次按照如下步骤进行操作:
1、打开linux的core文件配置
    ulimit -c unlimited
2、添加mysql的core_file配置(备注:配置在[mysqld]下面),并重启测试实例
3、配置 suid_dumpable( mysql 通常会以 suid 方式启动
    echo 2 >/proc/sys/fs/suid_dumpable
4、设置core文件存放的目录并且设置完全控制权限
    mkdir /data/core && chmod 777 /data/core && echo "/data/core/core" > /proc/sys/kernel/core_pattern
5、模拟mysql的crash场景,执行如下命令
    kill -SEGV  `pidof mysqld`
kill操作执行完成后,终于看到了久违的core文件。总结mysql的core文件正确打开方式如下:
1、打开linux的core文件配置
    ulimit -c unlimited
2、添加mysql的core_file配置(备注:配置在[mysqld]下面),并重启测试实例
3、配置 suid_dumpable( mysql 通常会以 suid 方式启动
    echo 2 >/proc/sys/fs/suid_dumpable
4、设置core文件存放的目录并且设置完全控制权限
    mkdir /data/core && chmod 777 /data/core && echo "/data/core/core" > /proc/sys/kernel/core_pattern

注意:打开core配置后会有如下两个风险
1、磁盘空间可能会满
    ----因为会将mysql server的所有内存信息导出到core文件中,包括buffer pool中的内容,可能会有几十上百G大小
2、mysql出现crash后启动速度会慢
    ----因为要导出大量的数据到core文件中,因此启动速度会慢很多。

参考资料:
https://dev.mysql.com/doc/refman/5.5/en/server-options.html#option_mysqld_core-file
https://www.percona.com/blog/2011/08/26/getting-mysql-core-file-on-linux/
上一篇:2017小目标
下一篇:定投我们自己