Mysql读写分离原理

发布时间：2023-01-13 11:30

Mysql读写分离原理
简单的来说，读写分离就是只在mysql主服务器上写，只在mysql从服务器上读。基本原理是让主数据库处理事务性查询，而从数据库处理select查询。数据库复制被用来把事务性查询导致的变更同步到集群中的数据库。

目前较为常见的mysql读写分离有两种：

1、基于程序代码的内部实现

在代码中根据select、insert进行路由分类，这类方法也是目前生产环境中较为常用的，优点是性能较好，因为在程序代码中实现，不需要增加额外的设备作为硬件开支；缺点是需要研发人员来实现，运维人员无从下手。

2、基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接收到客户端请求后通过判断后转发到后端数据库。如下有两个常用代理：

Mysql-proxy：其为mysql的开源项目，通过其自带的lua脚本进行sql判断，虽然是mysql官方产品，但是mysql官方并不建议其使用到生产环境中。

Amoeba：由陈思儒开发，该程序由Java语言进行开发。这个软件致力于mysql的分布式数据库前端代理层，它主要为应用层访问mysql的时候充当sql路由功能。Amoeba能够完成多数据源的高可用、负载均衡、数据切片等功能。

常用的mysql连接工具：

phpMyAdmin

phpMyAdmin是我们常用的MySQL管理工具之一，它是用PHP开发的基于Web方式架构在网站主机上的MySQL管理工具，支持中文，管理数据库也十分方便。主要缺点在对大数据库的备份和恢复不是十分方便。

Navicat

Navicat是一款桌面版MySQL管理工具，它和微软的SQLServer的管理器很像，简单易用。Navicat的优势在于使用图形化的用户界面，可以让用户管理更加轻松。

一、
两台机器都需同样安装

源码编译安装MySQL5.7.9
1.安装依赖包

yum -y install gcc-c++ ncurses-devel cmake make perl gcc autoconf automake zlib libxml libgcrypt libtool bison

清理环境
检查boost版本：

 rpm -qa boost*

卸载boost-*等库：

yum -y remove boost-*

mysql源码包下载（不详述）
4.创建mysql用户，组及目录

 groupadd mysql
 mkdir /opt/mysql
mkdir /opt/mysql/data
useradd -r -g mysql mysql

5.注意事项
从MySQL 5.7.5开始Boost库是必需的，下载Boost库，在解压后复制到/usr/local/boost目录下，然后重新cmake并在后面的选项中加上选项-DWITH_BOOST=/usr/local/boost
（下载：http://sourceforge.net/projects/boost/files/boost/）

需求boost1.57.0

wget -c http://liquidtelecom.dl.sourceforge.net/project/boost/boost/1.57.0/boost_1_57_0.tar.gz

新版本的mysq用cmake编译安装
解压mysql源码包mysql-5.7.9.tar

tar -xzvf mysql-5.7.9.tar

以下操作在解压后的源码包的根目录执行

cmake编译

cmake-DCMAKE_INSTALL_PREFIX=/opt/mysql -DMYSQL_DATADIR=/opt/mysql/data-DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci-DMYSQL_TCP_PORT=3306 -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1-DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1-DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1-DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost

常用参数：

CMAKE_INSTALL_PREFIX：指定MySQL程序的安装目录，默认/usr/local/mysql
DEFAULT_CHARSET：指定服务器默认字符集，默认latin1
DEFAULT_COLLATION：指定服务器默认的校对规则，默认latin1_general_ci
ENABLED_LOCAL_INFILE：指定是否允许本地执行LOADDATA INFILE，默认OFF
WITH_COMMENT：指定编译备注信息
WITH_xxx_STORAGE_ENGINE：指定静态编译到mysql的存储引擎，MyISAM，MERGE，MEMBER以及CSV四种引擎默认即被编译至服务器，不需要特别指定。
WITHOUT_xxx_STORAGE_ENGINE：指定不编译的存储引擎
SYSCONFDIR：初始化参数文件目录
MYSQL_DATADIR：数据文件目录
MYSQL_TCP_PORT：服务端口号，默认3306
MYSQL_UNIX_ADDR：socket文件路径，默认/tmp/mysql.sock
编译安装
make && makeinstall
出错后重新运行配置，需要删除CMakeCache.txt文件

make clean

rm -f CMakeCache.txt

设置权限并初始化MySQL系统授权表
设置权限

cd /opt/mysql
chown -R mysql.mysql  mysql/

以root初始化操作时要加–user=mysql参数，生成一个随机密码（注意保存登录时用）

cd /hadata/mysql
bin/mysqld --initialize --user=mysql --basedir=/opt/mysql--datadir=/opt/mysql/data

创建配置文件
将默认生成的my.cnf备份

 mv /etc/my.cnf/etc/my.cnf.bak

cd/opt/mysql/support-files

拷贝配置文件模板为新的mysql配置文件,

cp my-default.cnf/etc/my.cnf

可按需修改新的配置文件选项，不修改配置选项，mysql则按默认配置参数运行.
如下是我修改配置文件/etc/my.cnf，用于设置编码为utf8以防乱码

[mysqld]

character_set_server=utf8
init_connect='SET NAMES utf8'

[client]

default-character-set=utf8

配置mysql服务开机自动启动
拷贝启动文件到/etc/init.d/下并重命令为mysqld

cp/opt/mysql/support-files/mysql.server /etc/init.d/mysqld

增加执行权限

chmod 755/etc/init.d/mysqld

检查自启动项列表中没有mysqld这个，如果没有就添加mysqld：

chkconfig --listmysqld
chkconfig --add mysqld

用这个命令设置开机启动：

chkconfig mysqld on

Vim .bashrc

最后插入两行如下

PATH=/opt/mysql/bin:/opt/mysql/lib:$PATH
export PATH

mysql服务的启动/重启/停止
启动mysql服务

 service mysqld start

重启mysql服务

service mysqld restart

停止mysql服务

 service mysqld stop

访问mysql数据库
连接mysql，输入初始化生成的随机密码

mysql -uroot -p

修改root新密码如 123456

mysql> alter user'root'@'localhost' identified by '123456';
mysql> quit; 
mysql> exit;(与上等效，都是退出mysql连接)

使用新密码重新连接mysql

 grant all privileges on *.* to root@'%'identified by '123456' with grant option;
flush privileges;

二、主从同步

实现步骤：

1.首先修改mysql的配置文件，使其支持二进制日志功能。

打开主服务器的mysql配置文件：my.conf

代码：# vi /etc/my.cnf

加入如下三行代码：

参数解释：

log-bin=mysql-bin //将mysql二进制日志取名为mysql-bin

 binlog_format=row //二进制日志的格式，有三种：statement/row/mixed,具体分别不多做解释，这里使用mixed

 server-id=1 //为服务器设置一个独一无二的id便于区分，这里使用ip地址的最后一位充当server-id

配置完成，:wq 保存，重启mysql

重启mysql命令：# service mysqld restart

同样的，进入从服务器，配置从服务器的my.cnf,重复步骤1即可，

唯一的区别是，server-id要改成从服务器的ip尾位，即server-id=2;其他两项是一样的，保存，并重启mySQL

2.在主服务器上为从服务器分配一个账号，就像一把钥匙，从服务器拿着这个钥匙，才能到主服务器上来共享主服务器的日志文件。

mysql> create user admin identified by 'admin';
mysql> grant all on *.* to admin@'%'identified by 'admin';

进入主服务器的mysql界面，

命令： # mysql -u root-p 123456 //我这里mysql账号是root，密码是123456

在mysql操作界面下，输入下面一行命令：

GRANT replication slave ON *.* TO 'admin'@'%'IDENTIFIED BY 'admin';

3.查看主服务器BIN日志的信息（执行完之后记录下这两值，然后在配置完从服务器之前不要对主服务器进行任何操作，因为每次操作数据库时这两值会发生改变）.

4.设置从服务器

进入从服务器mysql

命令： # mysql -u root-p123456

关闭slave（如果你以前配置过主从的话，一定要先关闭）

命令：stop slave;

开始配置：

输入下面代码即可：

CHANGE MASTER TO
MASTER_HOST='masterip', 
MASTER_USER='admin',
MASTER_PASSWORD='admin',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=1146;

参数解释：MASTER_HOST : 设置要连接的主服务器的ip地址

MASTER_USER : 设置要连接的主服务器的用户名

MASTER_PASSWORD : 设置要连接的主服务器的密码

MASTER_LOG_FILE : 设置要连接的主服务器的bin日志的日志名称，即第3步得到的信息

MASTER_LOG_POS : 设置要连接的主服务器的bin日志的记录位置，即第3步得到的信息，（这里注意，最后一项不需要加引号。否则配置失败）

先在从服务器配置完成，启动从服务器：

命令： start slave;

5.查看是否配置成功：

命令： show slavestatus;

上面两项均为yes，说明配置成功，否则，请重复前面的步骤。

三、安装配置mysql-proxy

tar zxfmysql-proxy-0.8.5-linux-el6-x86-64bit -C /usr/local/

ln -smysql-proxy-0.8.5-linux-el6-x86-64bit/ mysql-proxy ##简化路径
mkdir/usr/local/mysql-proxy/conf
mkdir/usr/local/mysql-proxy/log
vim mysql-proxy/conf/mysql-proxy.conf##编译配置文件

[mysql-proxy]

daemon=true #打入后台

user=root #操作用户

keepalive=true

plugins=proxy,admin

log-level=debug #日志级别

log-file=/usr/local/mysql-proxy/log/mysql-proxy.log ##proxy日志地址

proxy-address=10.7.8.127:3306 #本机ip地址

proxy-backend-addresses=10.7.8.59:3306 ##backend主注意addresses

proxy-read-only-backend-addresses=10.7.8.62:3306 ##backend从

proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua ##lua脚本地址

admin-address=10.7.8.127:4041 ##proxy的管理用户adminiphe端口

admin-username=admin #共同用户

admin-password=admin #共同用户的密码

admin-lua-script=/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua#admin的lua脚本地址；

更改lua脚本

vim/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua

使其快速进入读写分离状态

– connection pool if notproxy.global.config.rwsplit then proxy.global.config.rwsplit = {min_idle_connections = 1, ##最小连接数 max_idle_connections= 2, ##最大连接数后实现读写分离 is_debug = false }

开启proxy控制

 /usr/local/mysql-proxy/bin/mysql-proxy--defaults-file=/usr/local/mysql-proxy/conf/mysql-proxy.conf

启动MySQL Proxy进行测试，注意：使用配置文件的形式启动，注意配置文件必须是660权限，否则无法启动。如果有多个Slave的话，proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表。

更改配置文件权限在重新以守护进程的方式启动，监测MySQL Proxy的日志可以发现MySQL Proxy已成功启动了端口，（注意之前要成功启动Master和Slave上的mysqld服务）但是试了很多次，admin模块都无法启动，只能正常启动proxy

MySQL Proxy很容易的利用Lua脚本实现读写分离功能，停掉Master上的MySQL时发现，MySQLProxy直接不允许连接数据了。
MySQL Proxy启动后，如果看到网站页面全是乱码，可在主从数据库的配置文件my.cnf加进如下代码以避免这个问题：

[mysqld]

skip-character-set-client-handshake

init-connect=‘SET NAMES utf8’

default-character-set=utf8

查看日志状态：

[root@server1 mysql-proxy]#catlog/mysql-proxy.log

他人经验分享：
1、当MySQL主从复制在 show slave status\G 时出现Slave_IO_Running或Slave_SQL_Running 的值不为YES时，需要首先通过 stop slave 来停止从服务器，然后reset slave，再重新执行命令

change master tomaster_host=‘hostname’,master_user=‘username’,master_password=‘passwd’,matser_auto_position=1；

proxy启动脚本

vi /etc/init.d/mysql-proxy
``

#!/bin/sh

exportLUA_PATH=/usr/local/share/mysql-proxy/?.lua

mode=$1

if [ -z “$mode” ] ;then

mode=“start”

case $mode in

‘start’)

#/usr/local/mysql-proxy/bin/mysql-proxy–daemon \

#–proxy-address=10.7.8.127:3306\

#–proxy-backend-addresses=10.7.8.59:3306\

#–proxy-read-only-backend-addresses=10.7.8.62:3306\

#–proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua

/usr/local/mysql-proxy/bin/mysql-proxy–defaults-file=/usr/local/mysql-proxy/conf/mysql-proxy.conf

;;

‘stop’)

killall -9 mysql-proxy

;;

‘restart’)

if $0 stop ; then

  $0 start

else

  echo "retart failed!!!"

  exit 1

fi

;;

esac

exit 0


/etc/init.d/mysql-proxy start 添加到rc.Local 就可以自启动了。

Mysql读写分离原理

相关推荐