Mysql资料档案库分区方案Mysql资料档案库分区方案
1 .为什么要分表格：
一张表的数据达到几千万的话，你一次查询所需的时间就会变多。 如果有联合咨询的话，我想有可能会死在那里。 分表的目的是减轻数据库负担，缩短查询时间。
mysql有一种称为表锁和行锁的机制，以保证数据的完整性。 表的锁表明你们不能操作这块表。 你必须等到我把表操作完。 行锁定也是如此，另一个sql必须在我操作完此数据后再操作此数据。
2.mysqlproxy:amoeba
制作mysql集群，使用amoeba。
从上层的java程序不需要知道主服务器和从服务器的源，即主从数据库服务器对上层是透明的。 可以用amoeba配置。
3 .大数据量，将频繁访问的表分成几个表
例如，某个站点平台的数据库表-公司表中的数据量很大。 在这种可以预想到的大数据量表中，要先划分n个表。 这个n是多少取决于实际情况。
一个站点的当前数据量最多可达5000万个，存储在一个表中的数据量可分为500万个，即10张表。
那么，如何判断某个表的数据是否满容量呢？ 对于段中添加数据的表，可以在插入前在统计表中进行记录数量的操作，有500万条数据直接插入，达到阈值时，在段中新建(或提前编制)数据库表，执行插入操作。
4 .使用4.mergestorageengine进行评分
如果分离现有的大数据尺度很痛苦的话，更改代码是最痛苦的。 因为程序中的sql语句已经写好了。 使用mergestorageengine实现表的方法更好。
示例：
---------华丽的分割线---------
数据库架构
1、简单的MySQL主从复制：
MySQL的主从复制解决了数据库读写分离，很好地提高了读取性能。 那张图如下。
主从复制的过程如下图所示。
但是，主从式复制还存在以下性能瓶颈：
1 .写操作无法扩展
2 .无法缓存写入
3 .复制延迟
4 .链表率提高
5 .表变大，高速缓存率下降
那个问题必须解决。 这产生了下一个优化方案。 一起看看吧。
2、MySQL垂直分区
在业务充分独立的情况下，将不同业务的数据放在不同的数据库服务器上是个好方案。 另外，万一其中一个业务崩溃，也不会影响其他业务的正常进行，还起到负载平衡的作用，大幅提高数据库的吞吐量能力。 垂直分区的数据库方案图示如下：
虽然业务之间充分独立，但是也有像用户那样，每个业务基本上相关的业务。 另外，这种分割方式不能解决一张表的数据量急剧增加的问题。 因此，为什么不尝试水平分割呢？
3、MySQL水平切片(Sharding ) )。
这是一个非常好的想法，将用户按规则(按idjqdcc )分组，并将该组用户的数据存储在一个数据库片(即一个sharding )中。 这样，随着用户数量的增加，配置服务器就更容易了。 原理图如下。
如何确定某个用户所在的shard呢？ 您可以创建与用户和shard相对应的数据表，为每个请求在此表中查找用户的shardid，然后从相应的shard中查找相关数据。 下图：
单库表
单库单表是最常见的数据库设计。 例如，一个位于数据库db中的用户(user )表，所有用户都可以在数据库的user表中进行搜索。
jxdym表
随着用户数的增加，用户表中的数据量增加，当数据量达到一定程度时，对用户表的查询逐渐变慢，从而影响数据库的整体性能。 使用mysql会有更严重的问题。 如果需要添加列，mysql只能锁定表，并在此期间等待所有读/写操作。
通过某种方式水平分割user，两个表的结构完全相同的user_0000、user_0001等表、user_0000 user_0001 …的数据正好是完整的数据。
多库多表
随着数据量的增加，一个数据库的存储容量可能不足，随着查询量的增加，一个数据库服务器不再能够支持。 此时，可以水平区分数据库。
分库明细表规则
在设计表时，需要确定此表按什么规则分类。 例如，如果有新用户，则程序必须确定将此用户信息添加到哪个表中
中；同理，当登录的时候我们得通过用户的账号找到数据库中对应的记录，所有的这些都需要按照某一规则进行。路由
通过分库分表规则查找到对应的表和库的过程。如分库分表的规则是user_id mod 4的方式，当用户新注册了一个账号，账号id的123,我们可以通过id mod 4的方式确定此账号应该保存到User_0003表中。当用户123登录的时候，我们通过123 mod 4后确定记录在User_0003中。
分库分表产生的问题，及注意事项
1. 分库分表维度的问题
假如用户购买了商品,需要将交易记录保存取来，如果按照用户的纬度分表，则每个用户的交易记录都保存在同一表中，所以很快很方便的查找到某用户的 购买情况，但是某商品被购买的情况则很有可能分布在多张表中，查找起来比较麻烦。反之，按照商品维度分表，可以很方便的查找到此商品的购买情况，但要查找 到买人的交易记录比较麻烦。
所以常见的解决方式有：
a.通过扫表的方式解决，此方法基本不可能，效率太低了。
b.记录两份数据，一份按照用户纬度分表，一份按照商品维度分表。
c.通过搜索引擎解决，但如果实时性要求很高，又得关系到实时搜索。
2. 联合查询的问题
联合查询基本不可能，因为关联的表有可能不在同一数据库中。
3. 避免跨库事务
避免在一个事务中修改db0中的表的时候同时修改db1中的表，一个是操作起来更复杂，效率也会有一定影响。
4. 尽量把同一组数据放到同一DB服务器上
例如将卖家a的商品和交易信息都放到db0中，当db1挂了的时候，卖家a相关的东西可以正常使用。也就是说避免数据库中的数据依赖另一数据库中的数据。
一主多备
在实际的应用中，绝大部分情况都是读远大于写。Mysql提供了读写分离的机制，所有的写操作都必须对应到Master，读操作可以在 Master和Slave机器上进行，Slave与Master的结构完全一样，一个Master可以有多个Slave,甚至Slave下还可以挂 Slave,通过此方式可以有效的提高DB集群的 QPS.
所有的写操作都是先在Master上操作，然后同步更新到Slave上，所以从Master同步到Slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增加也会使这个问题更加严重。
此外，可以看出Master是集群的瓶颈，当写操作过多，会严重影响到Master的稳定性，如果Master挂掉，整个集群都将不能正常工作。
所以，1. 当读压力很大的时候，可以考虑添加Slave机器的分式解决，但是当Slave机器达到一定的数量就得考虑分库了。 2. 当写压力很大的时候，就必须得进行分库操作。
---------------------------------------------
MySQL使用为什么要分库分表
可以用说用到MySQL的地方,只要数据量一大, 马上就会遇到一个问题,要分库分表.
这里引用一个问题为什么要分库分表呢?MySQL处理不了大的表吗?
其实是可以处理的大表的.我所经历的项目中单表物理上文件大小在80G多,单表记录数在5亿以上,而且这个表
属于一个非常核用的表:朋友关系表.
但这种方式可以说不是一个最佳方式. 因为面临文件系统如Ext3文件系统对大于大文件处理上也有许多问题.
这个层面可以用xfs文件系统进行替换.但MySQL单表太大后有一个问题是不好解决: 表结构调整相关的操作基
本不在可能.所以大项在使用中都会面监着分库分表的应用.
从Innodb本身来讲数据文件的Btree上只有两个锁, 叶子节点锁和子节点锁,可以想而知道,当发生页拆分或是添加
新叶时都会造成表里不能写入数据.
所以分库分表还就是一个比较好的选择了.
那么分库分表多少合适呢?
经测试在单表1000万条记录一下,写入读取性能是比较好的. 这样在留点buffer,那么单表全是数据字型的保持在
800万条记录以下, 有字符型的单表保持在500万以下.
如果按 100库100表来规划,如用户业务:
500万*100*100 = 50000000万 = 5000亿记录.
心里有一个数了,按业务做规划还是比较容易的. 用知识的力量武装，把生活的绚烂点亮！
转载于:https://www.cnblogs.com/w84036937/p/5337969.html