mysql 上亿级web应用的数据库设计方案

最近研究mysql数据库设计,收获不少(这里我要感谢xiuno作者)。

今天看到微博有朋友转载《mysql sql 百万级数据库优化方案》,我看到这篇文章时,发现有些地方会误导人(毕竟是三年前的文章)。所以我觉得网上的很多文章最好仅供参考比较好,具体情况最好还是以自己测试的结果为准,自己测试也能提高理解的深度。

在大数据、大访问量的web应用程序中,瓶颈一般在数据库和IO方面,所以数据库设计至关重要。有人说mysql上千万级数据量,就不行了,其实不然,很多大型互联网公司都大量使用mysql,如:目前淘宝主要核心业务就大量使用的mysql分布式集群。如果现在你还认为mysql不能支持亿级数据量,那只能说明你还不够了解mysql。

(数据库环节主要核心:不要把逻辑处理交给数据库,数据库只负责最省资源的读写环节,如果做到这点,单服务器都能负载亿级的数据量)

我简单分享一下最近对大数据数据库设计理解总结吧:

第一阶段:

1,一定要正确设计索引

2,一定要避免SQL语句全表扫描,所以SQL一定要走索引(如:一切的 > < != 等等之类的写法都会导致全表扫描)

3,一定要避免 limit 10000000,20 这样的查询

4,一定要避免 LEFT JOIN 之类的查询,不把这样的逻辑处理交给数据库(主要方便转换成NoSql数据库)

5,每个表索引不要建太多,大数据时会增加数据库的写入压力

第二阶段:

1,采用分表技术(大表分小表)

a)垂直分表:将部分字段分离出来,设计成分表,根据主表的主键关联

b)水平分表:将相同字段表中的记录按照某种Hash算法进行拆分多个分表

2,采用mysql分区技术(必须5.1版以上,此技术完全能够对抗Oracle),与水平分表有点类似,但是它是在逻辑层进行的水平分表

第三阶段(服务器方面):

1,采用memcached之类的内存对象缓存系统,减少数据库读取操作

2,采用主从数据库设计,分离数据库的读写压力

3,采用Squid之类的代理服务器和Web缓存服务器技术(做好分布式服务器群)

PS:由于篇幅问题,我只简单说一些基本概念,其实里面每个知识点关系到的内容都很多。特别是第一阶段,很多工作几年的程序员,都不能完全理解。我觉得要真正理解索引,最好的办法就是在1000W-亿级以上的数据,进行测试SQL语句,再结合 explain 命令进行查看SQL语句索引情况。

未经允许不得转载:SuperMan's blog » mysql 上亿级web应用的数据库设计方案

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址