Mysql读写分离原理

发布时间:2023-01-13 11:30

Mysql读写分离原理
简单的来说,读写分离就是只在mysql主服务器上写,只在mysql从服务器上读。基本原理是让主数据库处理事务性查询,而从数据库处理select查询。数据库复制被用来把事务性查询导致的变更同步到集群中的数据库。

目前较为常见的mysql读写分离有两种:

1、 基于程序代码的内部实现

在代码中根据select、insert进行路由分类,这类方法也是目前生产环境中较为常用的,优点是性能较好,因为在程序代码中实现,不需要增加额外的设备作为硬件开支;缺点是需要研发人员来实现,运维人员无从下手。

2、 基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接收到客户端请求后通过判断后转发到后端数据库。如下有两个常用代理:

Mysql-proxy:其为mysql的开源项目,通过其自带的lua脚本进行sql判断,虽然是mysql官方产品,但是mysql官方并不建议其使用到生产环境中。

Amoeba:由陈思儒开发,该程序由Java语言进行开发。这个软件致力于mysql的分布式数据库前端代理层,它主要为应用层访问mysql的时候充当sql路由功能。Amoeba能够完成多数据源的高可用、负载均衡、数据切片等功能。

常用的mysql连接工具:

phpMyAdmin

phpMyAdmin是我们常用的MySQL管理工具之一,它是用PHP开发的基于Web方式架构在网站主机上的MySQL管理工具,支持中文,管理数据库也十分方便。主要缺点在对大数据库的备份和恢复不是十分方便。

Navicat

Navicat是一款桌面版MySQL管理工具,它和微软的SQLServer的管理器很像,简单易用。Navicat的优势在于使用图形化的用户界面,可以让用户管理更加轻松。

一、
两台机器都需同样安装

源码编译安装MySQL5.7.9
1.安装依赖包

yum -y install gcc-c++ ncurses-devel cmake make perl gcc autoconf automake zlib libxml libgcrypt libtool bison
  1. 清理环境
    检查boost版本:
 rpm -qa boost*

卸载boost-*等库:

yum -y remove boost-*
  1. mysql源码包下载(不详述)
    4.创建mysql用户,组及目录
 groupadd mysql
 mkdir /opt/mysql
mkdir /opt/mysql/data
useradd -r -g mysql mysql 

5.注意事项
从MySQL 5.7.5开始Boost库是必需的,下载Boost库,在解压后复制到/usr/local/boost目录下,然后重新cmake并在后面的选项中加上选项-DWITH_BOOST=/usr/local/boost
(下载:http://sourceforge.net/projects/boost/files/boost/)

需求boost1.57.0

wget -c http://liquidtelecom.dl.sourceforge.net/project/boost/boost/1.57.0/boost_1_57_0.tar.gz
  1. 新版本的mysq用cmake编译安装
    解压mysql源码包mysql-5.7.9.tar
tar -xzvf mysql-5.7.9.tar

以下操作在解压后的源码包的根目录执行

cmake编译

cmake-DCMAKE_INSTALL_PREFIX=/opt/mysql -DMYSQL_DATADIR=/opt/mysql/data-DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci-DMYSQL_TCP_PORT=3306 -DMYSQL_USER=mysql -DWITH_MYISAM_STORAGE_ENGINE=1-DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_ARCHIVE_STORAGE_ENGINE=1-DWITH_BLACKHOLE_STORAGE_ENGINE=1 -DWITH_MEMORY_STORAGE_ENGINE=1-DDOWNLOAD_BOOST=1 -DWITH_BOOST=/usr/local/boost

常用参数:

CMAKE_INSTALL_PREFIX:指定MySQL程序的安装目录,默认/usr/local/mysql
DEFAULT_CHARSET:指定服务器默认字符集,默认latin1
DEFAULT_COLLATION:指定服务器默认的校对规则,默认latin1_general_ci
ENABLED_LOCAL_INFILE:指定是否允许本地执行LOADDATA INFILE,默认OFF
WITH_COMMENT:指定编译备注信息
WITH_xxx_STORAGE_ENGINE:指定静态编译到mysql的存储引擎,MyISAM,MERGE,MEMBER以及CSV四种引擎默认即被编译至服务器,不需要特别指定。
WITHOUT_xxx_STORAGE_ENGINE:指定不编译的存储引擎
SYSCONFDIR:初始化参数文件目录
MYSQL_DATADIR:数据文件目录
MYSQL_TCP_PORT:服务端口号,默认3306
MYSQL_UNIX_ADDR:socket文件路径,默认/tmp/mysql.sock
编译安装
make && makeinstall
出错后重新运行配置,需要删除CMakeCache.txt文件

make clean
rm -f CMakeCache.txt 
  1. 设置权限并初始化MySQL系统授权表
    设置权限
cd /opt/mysql
chown -R mysql.mysql  mysql/

以root初始化操作时要加–user=mysql参数,生成一个随机密码(注意保存登录时用)

cd /hadata/mysql
bin/mysqld --initialize --user=mysql --basedir=/opt/mysql--datadir=/opt/mysql/data
  1. 创建配置文件
    将默认生成的my.cnf备份
 mv /etc/my.cnf/etc/my.cnf.bak

进入mysql的安装目录支持文件目录

cd/opt/mysql/support-files

拷贝配置文件模板为新的mysql配置文件,

cp my-default.cnf/etc/my.cnf

可按需修改新的配置文件选项,不修改配置选项,mysql则按默认配置参数运行.
如下是我修改配置文件/etc/my.cnf,用于设置编码为utf8以防乱码

[mysqld]

character_set_server=utf8
init_connect='SET NAMES utf8'

[client]

default-character-set=utf8
  1. 配置mysql服务开机自动启动
    拷贝启动文件到/etc/init.d/下并重命令为mysqld
cp/opt/mysql/support-files/mysql.server /etc/init.d/mysqld

增加执行权限

chmod 755/etc/init.d/mysqld

检查自启动项列表中没有mysqld这个,如果没有就添加mysqld:

chkconfig --listmysqld
chkconfig --add mysqld

用这个命令设置开机启动:

chkconfig mysqld on
Vim .bashrc

最后插入两行如下

PATH=/opt/mysql/bin:/opt/mysql/lib:$PATH
export PATH
  1. mysql服务的启动/重启/停止
    启动mysql服务
 service mysqld start

重启mysql服务

service mysqld restart

停止mysql服务

 service mysqld stop
  1. 访问mysql数据库
    连接mysql,输入初始化生成的随机密码
mysql -uroot -p

修改root新密码如 123456

mysql> alter user'root'@'localhost' identified by '123456';
mysql> quit; 
mysql> exit;(与上等效,都是退出mysql连接)

使用新密码重新连接mysql

 grant all privileges on *.* to root@'%'identified by '123456' with grant option;
flush privileges;

二、主从同步

实现步骤:

1.首先修改mysql的配置文件,使其支持二进制日志功能。

打开主服务器的mysql配置文件:my.conf

代码:# vi /etc/my.cnf

加入如下三行代码:

参数解释:

log-bin=mysql-bin //将mysql二进制日志取名为mysql-bin

 binlog_format=row //二进制日志的格式,有三种:statement/row/mixed,具体分别不多做解释,这里使用mixed

 server-id=1 //为服务器设置一个独一无二的id便于区分,这里使用ip地址的最后一位充当server-id

配置完成,:wq 保存,重启mysql

重启mysql命令:# service mysqld restart

同样的,进入从服务器,配置从服务器的my.cnf,重复步骤1即可,

唯一的区别是,server-id要改成从服务器的ip尾位,即server-id=2;其他两项是一样的,保存,并重启mySQL

2.在主服务器上为从服务器分配一个账号,就像一把钥匙,从服务器拿着这个钥匙,才能到主服务器上来共享主服务器的日志文件。

mysql> create user admin identified by 'admin';
mysql> grant all on *.* to admin@'%'identified by 'admin';

进入主服务器的mysql界面,

命令: # mysql -u root-p 123456 //我这里mysql账号是root,密码是123456

在mysql操作界面下,输入下面一行命令:

GRANT replication slave ON *.* TO 'admin'@'%'IDENTIFIED BY 'admin'; 

3.查看主服务器BIN日志的信息(执行完之后记录下这两值,然后在配置完从服务器之前不要对主服务器进行任何操作,因为每次操作数据库时这两值会发生改变).

4.设置从服务器

进入从服务器mysql

命令: # mysql -u root-p123456

关闭slave(如果你以前配置过主从的话,一定要先关闭)

命令:stop slave;

开始配置:

输入下面代码即可:

CHANGE MASTER TO
MASTER_HOST='masterip', 
MASTER_USER='admin',
MASTER_PASSWORD='admin',
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=1146;

参数解释:MASTER_HOST : 设置要连接的主服务器的ip地址

MASTER_USER : 设置要连接的主服务器的用户名

MASTER_PASSWORD : 设置要连接的主服务器的密码

MASTER_LOG_FILE : 设置要连接的主服务器的bin日志的日志名称,即第3步得到的信息

MASTER_LOG_POS : 设置要连接的主服务器的bin日志的记录位置,即第3步得到的信息,(这里注意,最后一项不需要加引号。否则配置失败)

先在从服务器配置完成,启动从服务器:

命令: start slave;

5.查看是否配置成功:

命令: show slavestatus;

上面两项均为yes,说明配置成功,否则,请重复前面的步骤。

三、安装配置mysql-proxy

tar zxfmysql-proxy-0.8.5-linux-el6-x86-64bit -C /usr/local/

ln -smysql-proxy-0.8.5-linux-el6-x86-64bit/ mysql-proxy ##简化路径
mkdir/usr/local/mysql-proxy/conf
mkdir/usr/local/mysql-proxy/log
vim mysql-proxy/conf/mysql-proxy.conf##编译配置文件

[mysql-proxy]

daemon=true #打入后台

user=root #操作用户

keepalive=true

plugins=proxy,admin

log-level=debug #日志级别

log-file=/usr/local/mysql-proxy/log/mysql-proxy.log ##proxy日志地址

proxy-address=10.7.8.127:3306 #本机ip地址

proxy-backend-addresses=10.7.8.59:3306 ##backend主注意addresses

proxy-read-only-backend-addresses=10.7.8.62:3306 ##backend从

proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua ##lua脚本地址

admin-address=10.7.8.127:4041 ##proxy的管理用户adminiphe端口

admin-username=admin #共同用户

admin-password=admin #共同用户的密码

admin-lua-script=/usr/local/mysql-proxy/lib/mysql-proxy/lua/admin.lua#admin的lua脚本地址;

更改lua脚本

vim/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua 

使其快速进入读写分离状态

– connection pool if notproxy.global.config.rwsplit then proxy.global.config.rwsplit = {min_idle_connections = 1, ##最小连接数 max_idle_connections= 2, ##最大连接数后实现读写分离 is_debug = false }

开启proxy控制

 /usr/local/mysql-proxy/bin/mysql-proxy--defaults-file=/usr/local/mysql-proxy/conf/mysql-proxy.conf

启动MySQL Proxy进行测试,注意:使用配置文件的形式启动,注意配置文件必须是660权限,否则无法启动。如果有多个Slave的话,proxy-read-only-backend-addresses参数可以配置多个以逗号分隔的IP:Port从库列表。

更改配置文件权限在重新以守护进程的方式启动,监测MySQL Proxy的日志可以发现MySQL Proxy已成功启动了端口,(注意之前要成功启动Master和Slave上的mysqld服务)但是试了很多次,admin模块都无法启动,只能正常启动proxy

MySQL Proxy很容易的利用Lua脚本实现读写分离功能,停掉Master上的MySQL时发现,MySQLProxy直接不允许连接数据了。
MySQL Proxy启动后,如果看到网站页面全是乱码,可在主从数据库的配置文件my.cnf加进如下代码以避免这个问题:

[mysqld]

skip-character-set-client-handshake

init-connect=‘SET NAMES utf8’

default-character-set=utf8

查看日志状态:

[root@server1 mysql-proxy]#catlog/mysql-proxy.log

他人经验分享:
1、当MySQL主从复制在 show slave status\G 时出现Slave_IO_Running或Slave_SQL_Running 的值不为YES时,需要首先通过 stop slave 来停止从服务器,然后reset slave,再重新执行命令

change master tomaster_host=‘hostname’,master_user=‘username’,master_password=‘passwd’,matser_auto_position=1;

proxy启动脚本

vi /etc/init.d/mysql-proxy
``
 

#!/bin/sh

exportLUA_PATH=/usr/local/share/mysql-proxy/?.lua

mode=$1

if [ -z “$mode” ] ;then

mode=“start”

fi

case $mode in

‘start’)

#/usr/local/mysql-proxy/bin/mysql-proxy–daemon \

#–proxy-address=10.7.8.127:3306\

#–proxy-backend-addresses=10.7.8.59:3306\

#–proxy-read-only-backend-addresses=10.7.8.62:3306\

#–proxy-lua-script=/usr/local/mysql-proxy/share/doc/mysql-proxy/rw-splitting.lua

/usr/local/mysql-proxy/bin/mysql-proxy–defaults-file=/usr/local/mysql-proxy/conf/mysql-proxy.conf

;;

‘stop’)

killall -9 mysql-proxy

;;

‘restart’)

if $0 stop ; then

  $0 start

else

  echo "retart failed!!!"

  exit 1

fi

;;

esac

exit 0


/etc/init.d/mysql-proxy start 添加到rc.Local 就可以自启动了。



ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号