`
k_lb
  • 浏览: 796546 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论
  • kitleer: 据我所知,国内有款ETL调度监控工具TaskCTL,支持ket ...
    kettle调度

从数据库中加载大量数据的方法

 
阅读更多

禁止使用如下方法:

select * from table_name limit $start_pos,$page_size

提倡做法:

select sql_no_cache col1,col2,col3 from table_name where id>$start_pos order by id limit $page_size

默认是每个表都有一个自增的主键id

原因: limit操作在start_pos比较大的时候,会花费很大的精力扫描表记录以找到这个位置

对于那些肯定要实时的从表中获取数据的查询,或者对于那些一天只执行一次的查询,我们都可以指定不进行查询缓存,使用 SQL_NO_CACHE 选项。

对于那些变化不频繁的表,查询操作很固定,我们可以将该查询操作缓存起来,这样每次执行的时候不实际访问表和执行查询,只是从缓存获得结果,可以有效地改善查询的性能,使用 SQL_CACHE 选项。

下面是使用 SQL_NO_CACHE 和 SQL_CACHE 的例子:

mysql> select sql_no_cache id,name from test3 where id > 2 limit 5;

mysql> select sql_cache id,name from test3 where id > 2 limit 1,3;

注意:查询缓存的使用还需要配合相应得服务器参数的设置。

分享到:
评论

相关推荐

    数据库数据实时加载显示

    该示例使用C#2.0控件DataGridView实现数据库数据实时加载显示,加快显示速度明显,主要适用于要显示编辑大量数据的情况,效率相当高.该示例不同于一般的分页数据显示在于使用滚动条分屏显示,自动加载下页数据.有兴趣的...

    echarts+Servlet+mysql从数据库获取数据实现简单图表展示

    文件中包含项目源码,对应的数据库,以及项目运行后实现的图表截图(含url)。项目本人亲测,可完美展示图表,若有疑问,可Email我,Email:bpcforevery@gmail.com 。(ps:本人在另一个上传的文件中实现了用SSM框架...

    如何优化大数据量加载DataGrid

    如何优化大数据量加载DataGrid

    C#不同的数据加载方式

    及早加载可以提高查询性能,但是也会增加数据传输量,因为可能会一次性加载大量数据。 显式加载 显式加载是指在需要时手动加载导航属性,适用于在已经查询到主实体的情况下,需要加载其关联实体的场景。这种方式...

    在QTableWidget中显示大数据量

    在访问数据库后,在本地得到包含了数据的集合,然后获取数据总量;之后tableWidget的滑动条的滑动长度可以定义成 tableWidget的每行row的宽度 * 数据总量;再运动滑动条以定位到应显示的部分的第一个的行在...

    Python从数据库读取大量数据批量写入文件的方法

    下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件,方便我们做数据的预处理和训练机器学习模型。 #%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话,import MySQLdb #数据库连接...

    大数据量数据库优化.

    1) 在处理大数据量时,会有大量的数据缓冲保存在Session的一级缓存中 2) 对大数据量查询时,慎用list()或者iterator()返回查询结果, 3) 对于关联操作,Hibernate虽然可以表达复杂的数据关系 4) 对含有关联的PO...

    论文研究-基于子模式的关系数据到图数据ETL方法研究.pdf

    然而目前大量的数据以关系数据的形式存储,如何高效完整地进行关系数据到图数据的ETL,即抽取、转换、加载,是图数据库应用领域研究的重要问题。国内外对该问题有了一些研究,但存在转换后的图数据质量不高、转换...

    海量(大量)数据GridView显示高效率分页实现方法

    GridView显示海量数据时效率极其低,每次要从数据库从取出海量数据,这明显不现实。 显示多少,就从数据库中读取多少数据,即每次取GridView显示的一个页面数据,点击下一页是,再取下一页相应的数据。

    大量数据显示处理控件

    控件功能:具有datagrid的编辑功能和msflexgrid的显示功能,主要用于大量数据显示和编辑(包括添加,删除,修改功能) 代码编写:王新良 编写时间:2002-12-5 修改时间:2002-12-18

    利用pandas将excel中数据抽取,以三元组形式加载到neo4j数据库中构建相关知识图谱.zip

    知识图谱的不断完善有助于实现从海量信息中挖掘深层次、有价值的知识,从而推动人工智能向着更加理解人类世界的智慧方向发展。 总之,知识图谱是一个大规模、多领域、多源异构知识集成的载体,是实现智能化信息系统...

    数据库索引,到底是什么

    • 数据库索引用于加速查询 • 虽然哈希索引是O(1),树索引是O(log(n)),但SQL有很多“有序”...(2)很低的树高度,能够存储大量数据; (3)索引本身占用的内存很小; (4)能够很好的支持单点查询,范围查询,有序性查询;

    jdbc连接数据库的方式2

    只有locator本身中的方法才能够从数据库中获取LOB类型的值。可以使用PreparedStatement对象插入或更新LOB,但需要使用locator才能获取LOB的值。由于存在这二个问题,因此,我建议使用locator的方法来插入、更新或...

    云数据库方案设计.doc

    对数据库的操作特点 是:大量数据入库,大量复杂查询。 云上的数据库需要有这两种数据库,来应对更多的用户应用需求。 与大数据平台的互访 大数据计算平台,例如Spark、HIVE等,需要支持大数据计算平台与数据库互访...

    云数据库方案设计.docx

    对数据库的操作特点是:大量数据入库,大量复杂查询。 云上的数据库需要有这两种数据库,来应对更多的用户应用需求。 与大数据平台的互访 云数据库方案设计全文共6页,当前为第4页。大数据计算平台,例如Spark、HIVE...

    基于Geodatabase的地籍数据库系统.doc

    标签:地籍 数据库 Geodatabase 0前言 地籍管理中涉及大量的档案、图纸、账册,有着管理复杂、负担重的特点,因此通过 数据库进行地籍管理是常用的高效方法。目前最常用的是关系型数据库,其属性数据通 过商业...

    云数据库方案设计(1).doc

    对数据库的操作特点 是:大量数据入库,大量复杂查询。 云上的数据库需要有这两种数据库,来应对更多的用户应用需求。 与大数据平台的互访 大数据计算平台,例如Spark、HIVE等,需要支持大数据计算平台与数据库互访...

    myeclipse乱码

    在国内外大中型数据库管理系统中,把ORACLE作为数据库管理平台的...其次是加载到ORACLE数据库的数据字符集必须与服务器指定字符集一致。因此,把用户存在的问题归纳分类,产生汉字显示异常的原因大致有以下几种:  

    数据仓库调研.docx

    (2)集成:指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不一致性。 (3)相对稳定:指一旦某个数据进入数据仓库以后只需要定期的加载、刷新。 (4)反映历史变化:指通过这些信息,对企业的...

Global site tag (gtag.js) - Google Analytics