如何在一个千万级的数据库查询中提高查询的效率?

 更?#29575;?#38388;2019年03月27日 17:11:24   作者徐刘根   我要评论

今天小编就为大家分享一篇关于如何在一个千万级的数据库查询中提高查询的效率?小编觉得内容挺不错的现在分享给大家具有很好的参考价值需要的朋友一起跟随小编来看看吧

在?#23548;?#39033;目中当数据库的数据达到千万级别时候普通查询效率直线下降而且当使用的where条件较多其查询效率是让人无法容忍的假如一个taobao订单查询详情要几十秒可想而知的用户体验是多差

下面是一些优化方法

一数据库设计方面

1对查询进行优化应尽量避免全表扫描首先应考虑在 where order by 涉及的列上建立索引

2应尽量避免在 where 子句中对字段进行 null 值判断否则将导致引擎放弃使用索引而进行全表扫描如 select id from t where num is null 可以在num上设置默?#29616;?确保表中num列没有null值然后这样查询 select id from t where num = 0

3并不是所有索引对查询都有效SQL是根据表中数据来进行查询优化的当索引列有大量数据重?#35789;保?#26597;询可能不会去利用索引如一表中有字段sexmalefemale几乎各一半那么?#35789;?#22312;sex上建了索引也对查询效率起不了作用

4索引并不是越多越好索引固然可以提高相应的 select 的效率但同时也降低了 insert update 的效率因为 insert update 时有可能会重建索引所以怎样建索引需要慎重考虑视具体情况而定一个表的索引数最好不要超过6个若太多则应考虑一些不常使用到的列上建的索引是否有必要

5应尽可能的避免更新索引数据列因为索引数据列的顺序就是表记录的物理存储顺序一旦该列值改变将导致整个表记录的顺序的调整会耗费相当大的资源若应用系统需要频?#22791;?#26032;索引数据列那么需要考虑是否应将该索引建为索引

6尽量使用数?#20013;?#23383;段若只含数值信息的字段尽量不要设计为字符型这会降低查询和连接的性能并会增加存储开销这?#19988;?#20026;引擎在处理查询和连接时会逐个比较字符串中每一个字符而对于数?#20013;投?#35328;只需要比较一次就够了

7尽可能的使用 varchar/nvarchar 代替 char/nchar 因为首先变长字段存储空间小可以节省存储空间其次对于查询来说在一个相对较小的字段内搜索效率显然要高些

8尽量使用表变量来代替临时表如果表变量包含大量数据请注意索引非常有限只有主键索引

9避免频繁创建和删除临时表以减少系统表资源的消耗

10临时表并不是不可使用?#23454;?#22320;使用它们可以使某些例程更有效例如当需要重复引用大型表或常用表中的某个数据集时但是对于一次性事件最好使用导出表;

11在新建临时表时如果一次性插入数据量很大那么可以使用 select into 代替 create table避免造成大量 log 以提高速度如果数据量不大为了缓和系统表的资源应先create table然后insert

12如果使用到了临时表在存储过程的最后务必将所有的临时表显式删除先 truncate table 然后 drop table 这样可以避免系统表的较长时间锁定

二SQL语句方面

1应尽量避免在 where 子句中使用!=<>操作符否则将引擎放弃使用索引而进行全表扫描

2应尽量避免在 where 子句中使用 or 来连接条件否则将导致引擎放弃使用索引而进行全表扫描如 select id from t where num=10 or num=20 可以这样查询 select id from t where num=10 union all select id from t where num=20;

3in not in 也要慎用否则会导致全表扫描如 select id from t where num in(1,2,3) 对于连续的数值能用 between 就不要用 in select id from t where num between 1 and 3

4下面的查询也将导致全表扫描 select id from t where name like %abc%'

5如果在 where 子句中使用参数?#19981;?#23548;致全表扫描因为SQL只有在运行时才会解析局部变量但优化程序不能将访?#22987;?#21010;的选择推迟到运行时它必须在编译时进行选择然而如果在编译时建立访?#22987;?#21010;变量的值还是未知的因而无法作为索引选择的输入项如下面语句将进行全表扫描 select id from t where [email protected] 可以改为强制查询使用索引 select id from t with(index(索引名)) where [email protected]

6应尽量避免在 where 子句中对字段进行表达式操作这将导致引擎放弃使用索引而进行全表扫描如 select id from t where num/2=100 应改为: select id from t where num=100*2

7应尽量避免在where子句中对字段进行函数操作这将导致引擎放弃使用索引而进行全表扫描如 select id from t where substring(name,1,3)='abc'Cname以abc开头的idselect id from t where datediff(day,createdate,'2005-11-30)=0C2005-11-30'生成的id 应改为: select id from t where name like abc%' select id from t where createdate>='2005-11-30 and createdate<'2005-12-1

8不要在 where 子句中的=左边进行函数算术运算或其他表达式运算否则系统将可能无法正确使用索引

9不要写一些没有意义的查询如需要生成一个空表结构 select col1,col2 into #t from t where 1=0 这类代码不会返回任何结果集但是会消耗系统资源的应改成这样 create table #t()

10很多时候用 exists 代替 in 是一个好的选择 select num from a where num in(select num from b) 用下面的语句替换 select num from a where exists(select 1 from b where num=a.num)

11任何地方都不要使用 select * from t 用具体的字段列表代替*?#20445;?#19981;要返回用不到的任何字段

12尽量避免使用游标因为游标的效率较差如果游标操作的数据超过1万行那么就应该考虑改?#30784;?/p>

13尽量避免向客户端返回大数据量若数据量过大应该考虑相应需求是否合理

14尽量避免大事务操作提高系统并发能力

三Java方面重点内容

1尽可能的少造对象

2合理摆正系统设计的位置大量数据操作和少量数据操作一定是分开的大量的数据操作肯定不是ORM框架搞定的

3使用JDBC链接数据库操作数据

4控制好内存让数据流起来而不是全部读到内存再处理而是边读取边处理

5合理利用内存有的数据要缓存

四如何优化数据库如何提高数据库的性能?

1硬件调整性能

最有可能影响性能的是磁盘和网络吞吐量,解决办法扩大虚拟内存并保证有足够可以扩充的空间把数据库服务器上的不必要服务关闭掉把数据库服务器和主域服务器分开把SQL数据库服务器的吞吐量调为最大在具有一个以上处理器的机器上运行SQL

2调整数据库

若对该表的查询频率比较高则建立索引建立索引时想尽对该表的所有查询搜索操作 按照where选择条件建立索引尽量为整型键建立为有且只有一个簇集索引数据在物理上按顺序在数据页上缩短查找?#27573;?#20026;在查询经常使用的全部列建立非簇集索引能最大地覆盖查询但是索引不可太多执行UPDATE DELETE INSERT语句需要用于维护这些索引的开销?#32771;本?#22686;加避免在索引中有太多的索引键避免使用大型数据类型的列为索引保证每个索引键值有少数?#23567;?/p>

3使用存储过程注意阿里巴巴开发规范中已经明?#26041;?#27490;使用存储过程了这里只是列出不作为优化方法

应用程序的实现过程中能够采用存储过程实现的对数据库的操作尽量通过存储过程来实现因为存储过程是存放在数据库服务器上的一次性被设计编码测试并被再次使用需要执行该任务的应用可以简单地执行存储过程并且只返回结果集或者数值这样不仅可以使程序模块化同时提高响应速度减少网络流量并且通过输入参数接受输入使得在应用中完成逻辑的一致性实现

4应用程序结构和算法

建立查询条件索引仅仅是提高速度的前提条件响应速度的提高还依赖于?#36816;?#24341;的使用因为人们在使用SQL时往往会陷入一个误区即太关注于所得的结果是否正确特别是对数据量不是特别大的数据库操作时是否建立索引和使用索引的好坏对程序的响应速度并不大因此程序员在书写程序?#26412;?#24573;略了不同的实现方法之间可能存在的性能差异这?#20013;?#33021;差异在数据量特别大时或者大型的或是复杂的数据库环境中如联机事务处理OLTP或决策支持系统DSS中表现得尤为明显在工作?#23548;?#20013;发现不良的SQL往往来自于不恰当的索引设计不充份的连接条件和不可优化的where子句在对它们进行?#23454;?#30340;优化后其运行速度有了明显地提高

总结

以上就是这篇文章的全部内容了希望本文的内容对大家的学习或者工作具有一定的参考学习价值谢谢大家对脚本之家的支持如果你想了解更多相关内容请查看下面相关链接

相关文章

  • SunlightDB 2017新型区块链数据库

    SunlightDB 2017新型区块链数据库

    这篇文章主要为大家详细介绍了SunlightDB 2017新型区块链数据库的相关资?#24076;?#20855;有一定的参考价值?#34892;?#36259;的小伙伴们可以参考一下
    2018-01-01
  • 有效防止SQL注入的5种方法总结

    有效防止SQL注入的5种方法总结

    SQL注入是比较常见的网络攻击方式之一它不是利用操作系统的BUG来实现攻击而是针对程序员编程时的疏忽通过SQL语句实现无帐号登录甚?#38142;?#25913;数据库下面这篇文章主要给大家介绍了关于防止SQL注入的5种方法教大家有效的防止sql注入需要的朋友可以参考学习
    2017-03-03
  • MySQL与Oracle 差异比较之七用户权限

    MySQL与Oracle 差异比较之七用户权限

    这篇文章主要介绍了MySQL与Oracle 差异比较之七用户权限,需要的朋友可以参考下
    2017-04-04
  • mssql注入躲避IDS的方法

    mssql注入躲避IDS的方法

    可能这个?#35760;?#26089;有人已经会了就是利用openrowset发送本地命令通常我们的用法是包括MSDN的列子
    2008-06-06
  • sql语句中where 1=1的作用

    sql语句中where 1=1的作用

    在看程序时时发现基本只要是?#21019;?#30340;SQL语句基本上都会这样写
    2008-08-08
  • Linux下 mysql oracle 简单使用手册

    Linux下 mysql oracle 简单使用手册

    1.linux?#29575;?#29992;Mysql与oracle的 简单?#24471;?/div> 2009-06-06
  • 简单分析SQLite4的一些设计改变

    简单分析SQLite4的一些设计改变

    这篇文章主要介绍了SQLite4的一些设计改变,SQLite作为内嵌式数据库使用起来非常轻便,需要的朋友可以参考下
    2015-07-07
  • 最新评论

    常用在线小工具

    35ѡ7