一、当输入对象为CSV文件时,将NIO Buffer Size从默认的50000改到最佳的200000。
二、当输出对象为表输出时,将提交记录数量从默认的1000改到最佳的4000。
三、尽可能关闭转换过程中一切与数据库相关的日志,如表日志、索引日志等。
四、在数据库去重时,使用普通索引而不是唯一性索引。
五、在插入数据之前,先使索引unusable,数据导完之后再rebuild索引。需要注意的是,像数据库去重这种需要索引来优化查询速度的情况可以排除在外。
六、索引和表数据使用不同的表空间,尽可能的减少IO争用。
七、Kettle所在操作系统优先选择Windows,在有些情况下Linux的插入速度明显偏低。
分享到:
相关推荐
PDI Kettle 最权威的最佳实践,让你的ETL 开发少走弯路
大数据ETL工具 Kettle 入门实践.docx
内容概要:ETL之kettle包含26张PPT,kettle安装、使用、如何连接等,使用PDI9.2演示、什么是ETL、什么是Kettle、kettle安装、kettle目录结构、转换和作业、kettle操作、数据库连接、注意事项。 适合人群:具备一定...
kettle实践经验总结.doc
我自己编写的KETTLE6.1与KETTLE7.1版本之间的差距比较
kettle7.1下载资源
本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例.zip本地简单kettle抽MySQL数据到ES中 案例.zip 本地简单kettle抽MySQL数据到ES中 案例....
这个kettle 的插件,它可以从一个或多个 PDF 文件中抽取文本内容,抽取后的文本一页作为一行记录,便于后续处理,如写入数据库等等。 帮助手册 http://www.xgndata.com/resources/kettle/PFR_UserGuide_zh_CN.pdf ...
kettle 9.2 各版本 drivers
kettle使用事务的转换
kettle相关jar包,kettle相关jar包,kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包kettle相关jar包
kettle设置循环变量,控制循环作业;kettle设置循环变量,控制循环作业.
适配了达梦数据库的kettle核心代码。
BI Kettle中文文档汇集 ELT平台操作手册-KETTLE.pdf ETL工具kettle.pdf etl工具kettle公司学习文档.pdf ETL工具kettle学习总结.pdf ETL工具Kettle用户手册3.0.pdf ETL工具Spoon 2.5.0用户手册.pdf KETTLE.pdf...
kettle-core-7.1.0.0-12.jar kettle-dbdialog-7.1.0.0-12.jar kettle-engine-7.1.0.0-12.jar pentaho-metadata-7.1.0.0-12.jar
20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_kettle抽取mysql增量到ES中.zip20210511_...
全网最详细的kettle教程
kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 ! kettle - JOB循环 , 用于kettle失败后重试 ! 具体内容请下载查看!这里不多做解析 !
kettle jar在官方或很多镜像仓库中都没有,需要手动下载。 本文提供了kettle 8.2相关的5个jar,进行kettle相关插件的开发完成够用了。 如下为本kettle压缩包包含的文件: kettle-core-8.2.0.0-342.jar kettle-dbdialog...
kettle增量抽取数据