日志

错误日志

错误日志是MySQL中最重要的日志之一,记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。

日志默认开启,存放目录:/var/log/,默认日志名称:mysqld.log

查看日志:

show variables like '%log_error%' 
二进制日志

二进制日志(BINLOG)记录了所有的DDL语句和DML语句,但不包括数据查询语句

作用:

  • 灾难时的数据恢复
  • MySQL的主从复制
show variables like '%log_bin%' 

日志格式,多种格式记录二进制日志

日志格式 含义
STATEMENT 基于SQL语句的日志记录,记录的是SQL语句,对数据进行修改的SQL都会记录在日志文件中
ROW 基于行的日志记录,记录的是每一行的数据变更
MIXED 混合了STATEMENT和ROW两种格式,默认采用STATEMENT,某些情况切换ROW
show variables like '%binlog_format%' 
查询日志

查询日志中记录了客户端的所有操作语句。默认关闭。

show variables like '%general%' 

修改MySQL的配置文件/etc/my.cnf文件

该选项用来开启查询日志
general_log=1
设置日志的文件名,默认host_name_log
general_log_file = mysql_query.log
慢查询日志

慢查询日志记录了所有执行时间超过参数设置值并且扫描记录数不小于min_examined_row_limit的所有的SQL语句的日志,默认未开启,

long_query_time默认为10秒,最小为0,精度可到微秒

慢查询日志
slow_query_log=1
执行时间参数
long_query_time=2

主从复制

概述

主从复制是指将主数据库的DDL和DML操作通过二进制日志传到服务器中,然后在从库上对这些日志重新执行,从而使从库和主库的数据保持一致

MySQL支持一台主库同时向多台从库进行复制,从库同时可以作为其他服务器的主库,实现链状复制

  • 主库出现问题,可以快速切换到从库提供服务
  • 实现读写分离,降低主库的访问压力
  • 可以在从库中执行备份,以避免备份期间影响主库服务
原理
  1. Master主库在事务提交时,会把数据变更记录在二进制日志文件Binlog中
  2. 从库读取主库的二进制日志文件Binlog,写入到从库的中继日志Relay Log
  3. slave重做中继日志中的事件吗,将改变反映它自己的数据

分库分表

介绍

问题分析:数据量指数式增长,单数据库以下性能瓶颈:

  • IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络IO瓶颈
  • CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源,请求数太多,CPU出现瓶颈

分库分表中心思想都是将数据分散存储,使得单一数据库的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的

拆分策略

垂直拆分:

  • 垂直分库:以表为依据,根据业务将不同表拆分到不同的库中
    • 每个库的表结构不一样
    • 每个库的数据不一样
    • 所有库的并集是全量数据
  • 垂直分表:以字段为依据,根据字段属性将不同的字段拆分带不同的表中
    • 每个表的结构不一样
    • 每个表的数据不一样,一般通过一列(主键/外键)关联
    • 所有库的并集是全量数据

水平拆分:

  • 水平分库:以字段为依据,将一个库的数据拆分到多个库中
    • 每个库的表结构都一样
    • 每个库的数据不一样
    • 所有库的并集是全量数据
  • 水平分表:以字段为依据,将一个表的数据拆分到多个表中
    • 每个库的表结构都一样
    • 每个库的数据不一样
    • 所有库的并集是全量数据

读写分离