mg娱乐电子4355_mg娱乐电子游戏平台
做最好的网站

JAVAEE——宜立方商城13:Mycat数据库分片、主从复制、读写分离、100%Linux中成功安装Mysql的方法

时间:2019-11-11 08:26来源:计算机数据
1  海量数据的存储问题 如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB。对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数

海量数据的存储问题

如今随着互联网的发展,数据的量级也是撑指数的增长,从GB到TB到PB。对数据的各种操作也是愈加的困难,传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性,减少对事务的支持,减少对复杂查询的支持,来获取性能上的提升。

但是,在有些场合NoSQL一些折衷是无法满足使用场景的,就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的,所以还是需要使用关系性数据库。如果使用关系型数据库解决海量存储的问题呢?此时就需要做数据库集群,为了提高查询性能将一个数据库的数据分散到不同的数据库中存储。

【分布式架构初探】

1.1 什么是数据库分片

简单来说,就是指通过某种特定的条件,将我们存放在同一个数据库中的数据分散存放到多个数据库(主机)上面,以达到分散单台设备负载的效果。

数据的切分(Sharding)根据其切分规则的类型,可以分为两种切分模式。

(1)一种是按照不同的表(或者Schema)来切分到不同的数据库(主机)之上,这种切可以称之为数据的垂直(纵向)切分

图片 1

 

 

 

(2)另外一种则是根据表中的数据的逻辑关系,将同一个表中的数据按照某种条件拆分到多台数据库(主机)上面,这种切分称之为数据的水平(横向)切分。

 图片 2

 

第五节-猫从哪里来,要到哪里去(Mycat的前世今生)

5.1 MyCAT猫的前世
5.2 MyCAT猫的今生
5.3 十分钟安装使用
5.4 MYCAT下实现读写分离
5.5 切!切!切!MyCAT中分表分库策略
5.6 MyCAT的五脏六腑
5.7 课后作业

1.2 如何实现数据库分片

当数据库分片后,数据由一个数据库分散到多个数据库中。此时系统要查询时需要切换不同的数据库进行查询,那么系统如何知道要查询的数据在哪个数据库中?当添加一条记录时要向哪个数据库中插入呢?这些问题处理起来都是非常的麻烦。

这种情况下可以使用一个数据库中间件mycat来解决相关的问题。接下来了解一下什么是mycat。

5.1 MyCAT猫的前世##


最近猫为什么这么火,Apache的猫,MyCAT的猫。
差不多都长这个样

5.1-01.png

MyCAT原来本没有想着来生做猫的,因为他的前世是阿里的Cobar,
转世之后,成为了MyCAT,并且开源了,就立志做一个中国的Apache猫.

说道他的前世是阿里的Cobar, Cobar的作者离职了以后,Cobar就几乎没有进行后续开发和维护了,
后来转为开源的MyCAT,又进行了迅速的发展,现在初步统计有超过300个项目使用mycat,其中包括:
中国电信/中国联通/蒲公英传媒/天狮集团等等

5.1-02.png

为什么有这么多的知名公司使用mycat 呢, 我们看看他们的业务量,
1.安智账户系统, 数据量单表6000万条,20多张表,上亿条数据, 系统运行良好,偶尔有SQL操作迟缓的现象。
2.公安项目,20个表,30多亿条数据,选取适合的业务使用mycat

从这些项目中我们可以看出,mycat擅长对上亿条单表数据量的处理,并提供良好的实时查询服务。
而我们知道,MYSQL的库中很难处理上亿条数据的查询工作,MYCAT提高了MYSQL数据库的处理能力,
从官方的解释来看,MYCAT适合处理千亿条以下的数据,千亿条以上的数据更适合HADOOP这些系统来处理。

说了半天,什么是MYCAT呢?
MYCAT就是一个虚拟的MYSQL SERVER, 这么说可能不太理解, 但是对于应用来说,他就是一个MYSQL SERVER,
应用就像连接普通的MYSQL数据库一样的 去连接他,SQL查询、操作等等一模一样。

而MYCAT把数据库复杂的架构,以及背后复杂的分表分库的逻辑全部透明化了,MYCAT中间件连接多个MYSQL数据库,
多个数据库之间还可以做主从同步,而这一切的一切,对应用来说,只有一个数据库,那就是MYCAT。

Mycat介绍

5.2 MyCAT猫的今生##


MYCAT发展到现在已经不仅仅是MYSQL的代理了,它还支持SQLSERVER/ORACLE/DB2/POSTGRESQL等主流数据库。
MYCAT还可以将一个表定义为任何一种MYCAT支持的存储方式,比如MySQL的MyISAM 表、内存表、或者MongDB这种
内存数据库上。

MYCAT这么强大,那么他的原理是不是特别的复杂,非也,Mycat 的原理可以用一个动词来形容:”拦截“
它拦截应用发送过来的SQL, 并对SQL语句进行一些特定的分析:分片分析、路由分析、读写分离分析、缓存分析等,然后将
分析后的SQL分别发送到不同的真实数据库,最后对数据库返回的结果进行处理,返回给用户。

5.2-01.png

下面列举几个MYCAT 典型的应用场景:

  • 单纯的读写分离,在下面我们会有讲解如何进行Mycat下面的读写分离的配置
  • 分表分库,对于超过1000万的表进行分片,最大支持1000亿的单表分片
  • 多租户应用,每个应用一个库,但应用程序只连接MYCAT ,从而不改变程序本身,实现多租户
  • 报表系统,借助于MYCAT的分表能力,处理大规模报表的统计
  • 替代HBase, 分析大数据
  • 作为海量数据实时查询的一种简单有效的解决方案, 比如100亿条数据需要在3秒内实时查询出来,此时可以考虑MYCAT

现在MYCAT社区活跃,MYCAT 周边的系统也慢慢衍生出来,慢慢的形成了MYCAT生态圈了,像MYCAT-WEB 监控,MYCAT-HA
高可用方案等等,所以MYCAT还是很值得我们学习和研究的。

2.1 什么是Mycat?

 

Mycat 背后是阿里曾经开源的知名产品——Cobar。Cobar 的核心功能和优势是 MySQL 数据库分片,此产品曾经广为流传,据说最早的发起者对 Mysql 很精通,后来从阿里跳槽了,阿里随后开源的 Cobar,并维持到 2013 年年初,然后,就没有然后了。

Cobar 的思路和实现路径的确不错。基于 Java 开发的,实现了 MySQL 公开的二进制传输协议,巧妙地将自己伪装成一个 MySQL Server,目前市面上绝大多数 MySQL 客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多,因为生态环境在哪里摆着。

 

Mycat 是基于 cobar 演变而来,对 cobar 的代码进行了彻底的重构,使用 NIO 重构了网络模块,并且优化了 Buffer 内核,增强了聚合,Join 等基本特性,同时兼容绝大多数数据库成为通用的数据库中间件。

简单的说,MyCAT就是:

·一个新颖的数据库中间件产品支持mysql集群,或者mariadb cluster,提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。

 图片 3

5.3 十分钟安装使用##


MYCAT虽然强大,但是他的安装却十分简单, 下面我们进入我们十分钟安装教程:

2.2 Mycat支持的数据库

 图片 4

 

1.下载MYCAT安装包###

在GitHub 的 MyCATApache项目下,我们找到
https://github.com/MyCATApache/Mycat-download/tree/master/1.5-RELEASE
选取 Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz
linux 版本进行 下载

目前1.6版本部分功能还在开发中,1.5版本比较稳定,建议下载1.5用于生产环境使用

2.3 Mycat的分片策略

 图片 5

 

 

 

2. 解压运行MYCAT安装包###

下载文件是一个tar的linux压缩包,用解压命令
tar -zxvf Mycat-server-1.5.1-RELEASE-20160929233042-linux.tar.gz

5.3-01.png

启动命令
./mycat start|restart|stop|console 常用几项内容

5.3-02.png

日志文件
logs/wrapper.log mycat服务器日志
logs/mycat.log 数据库操作日志,分析数据库操作路由使用。

启动MyCat最主要的几个配置文件:
conf/server.xml 服务器用户、虚拟Sechma、端口等配置信息。
conf/sechma.xml 物理数据库映射。

使用MyCAT来说的话,最主要的就是修改这两个文件,接下来我们实现MYCAT下的读写分离。

2.4 概念说明

5.4 MYCAT下实现读写分离##


首先参考上一节MYSQL配置主从复制,配置好主从数据库之间的数据复制功能。

2.4.1 逻辑库(schema) :

前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道数据库的概念,所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

1.登录主服务器的mysql,查询master的状态###

mysql> show master status;
+------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000010 | 106 | db1,db2,db3 | mysql |
+------------------+----------+--------------+------------------+
Master 重启后会修改mysql-bin(序号加1)

2.4.2 逻辑表(table):

既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。逻辑表,可以是数据切分后,分布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。

分片表:是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的数据。 总而言之就是需要进行分片的表。

非分片表:一个数据库中并不是所有的表都很大,某些表是可以不用进行切分的,非分片是相对分片表来说的,就是那些不需要进行数据切分的表。

2.查看Slave机有没有配置成功:###

mysql> show slave statusG
以下两个参数必须为YES:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

2.4.3 分片节点(dataNode)

数据切分后,一个大表被分到不同的分片数据库上面,每个表分片所在的数据库就是分片节点(dataNode)。

3.MyCAT的配置###

不使用Mycat托管的 MySQL主从服务器

schema.xml
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost1" database="db2" />
<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456"></writeHost>
</dataHost>

支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost1" database="db2" />

<dataNode name="dn3" dataHost="localhost1" database="db3" />
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="hostM" url="172.19.4.239:3306" user="root" password="123456">
<readHost host="hostS" url="172.19.4.240:3306" user="root" password="123456" />
</writeHost>
</dataHost>

设置 balance="1"与writeType="0"
Balance参数设置:

  1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。
  2. balance=“1”,所有读操作都随机的发送到readHost。
  3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置:

  1. writeType=“0”, 所有写操作都发送到可用的writeHost上。
  2. writeType=“1”,所有写操作都随机的发送到readHost。
  3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。

这样配置了以后,就已经实现了读写分离的功能, 还可以对数据库进行负载均衡
启动mycat , 用应用或者Navicat等工具 连接mycat ,端口是 8066
insert , select 进行测试。

2.4.4 节点主机(dataHost)

数据切分后,每个分片节点(dataNode)不一定都会独占一台机器,同一机器上面可以有多个分片数据库,这样一个或多个分片节点(dataNode)所在的机器就是节点主机(dataHost),为了规避单节点主机并发数限制,尽量将读写压力高的分片节点(dataNode)均衡的放在不同的节点主机(dataHost)。

5.5 切!切!切!MyCAT中分表分库策略##


上面只是实现了如何进行读写分离,基于数据库的主从同步复制的原理, 我们在之前的课程里已经知道,
主从同步复制的数据是 ,保证从数据库和主库的数据一模一样,也就是说数据是多复制了一份出来,

而MYCAT 只所以能支持上百亿的数据量,在于他的另一个功能:分表分库策略
分表分库简单来说,就是MYCAT 下面连接的数据库节点,打比方说有dn1,dn2,dn3, 他们每个库中的数据
是各不相同的。
把MYCAT当做一个虚拟数据库来看,travelrecord 是MYCAT下面建的一张表, 应用调用MYCAT
库可以调用到整张表的数据, 但是如果查询某一个节点dn1 , 则只能查询到一部分数据(通常是1/3)的数据
dn1, dn2 , dn3 各自存储了一部分的数据, 但是可以通过MYCAT 来查询到整张表的数据,
这样增强了每个数据库的数据存储处理能力, 这就是MYCAT的高明之处,也就是为什么他能够处理上百亿条数据的奥妙。

这里列出一个简单的分表分库的配置:
schema.xml
<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
在schema中 我们需要配置mycat 中的虚拟表table ,以及他的rule ,分表规则
auto-sharding-long 的意思是 事先已经定义好每个dn的 范围,根据范围划分,这个规则在rule.xml中进行配置.

datanode 的配置:
<dataNode name="dn1" dataHost="localhost1" database="db1" />
<dataNode name="dn2" dataHost="localhost2" database="db2" />
<dataNode name="dn3" dataHost="localhost3" database="db3" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select user()</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="172.19.4.3:3306" user="root" password="123456"></writeHost>
</dataHost>

<dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"
          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select user()</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="172.19.4.201:3306" user="root" password="123456"></writeHost>
</dataHost>

<dataHost name="localhost3" maxCon="1000" minCon="10" balance="0"
          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select user()</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="172.19.4.86:3306" user="root" password="123456"></writeHost>
</dataHost>

这样数据就是自动切分到这3个不同的datanode中了, select 取出来也是完整的数据。

分表分库还有一点窍门就是,你的数据是纵向来切,还是横向来切,
上面讲的那个是 横向来切:就是把一张表的数据 切到不同的 数据库中。

纵向切更简单,就是以表来分库, 不同的表 放到不同的库中, 表中的数据在某个库中是完整的。

2.4.5 分片规则(rule)

前面讲了数据切分,一个大表被分成若干个分片表,就需要一定的规则,这样按照某种业务规则把数据分到某个分片的规则就是分片规则,数据切分选择合适的分片规则非常重要,将极大的避免后续数据处理的难度。

5.6 MyCAT的五脏六腑##


学会了MYCAT来做读写分离和分表分库的使用以后,我们应该更深入MYCAT的五脏六腑,了解MYCAT的运行机制,这样对线上的应用处理一些
应急事故,以及解决一些问题提供思路,非常的有帮助,有能力的童鞋还可以参与到MYCAT的后续开发中来。

5.6-01.png

MYCAT 的后端通信采用了NIO非阻塞 和AIO 异步通信方式, 使得通信效率更高
SQL解析这一块用到了阿里的Druid进行解析
协议这一块,对于MYSQL数据库采用原生的二进制协议,还支持驱动方式的连接
并且MYCAT还增加order by , group by ,limit 等聚合功能的支持

有兴趣的童鞋可以对 MYCAT线程池、网络通信、路由分发、事务管理、缓存等模块做输入的学习和分析。

Mycat的下载及安装

5.7 课后作业##


  1. 用MYCAT 实现上一节中的 读写分离案例
  2. 用MYCAT 实现一个分表分库的应用

更多课程关注公众号【小张网校】
公众号里有微信群加入交流,有大牛亲自指导实战!

barcode.jpg

3.1 安装环境

1、jdk:要求jdk必须是1.7及以上版本

2、Mysql:推荐mysql是5.5以上版本

3、Mycat:

Mycat的官方网站:

http://www.mycat.org.cn/

下载地址:

https://github.com/MyCATApache/Mycat-download

 

3.2 安装步骤

Mycat有windows、linux多种版本。本教程为linux安装步骤,windows基本相同。

第一步:下载Mycat-server-xxxx-linux.tar.gz

第二步:将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步:进入mycat目录,启动mycat

./mycat start

停止:

./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }

Mycat的默认端口号为:8066

Mycat的分片

编辑:计算机数据 本文来源:JAVAEE——宜立方商城13:Mycat数据库分片、主从复制、读写分离、100%Linux中成功安装Mysql的方法

关键词: