首页 > 编程知识 正文

kettle抽取oracle很慢,数据抽取工具kettle

时间:2023-05-04 10:13:30 阅读:130375 作者:3126

Kettle总量提取入门教程(源数据-ODS层) 这次操作的数仓分为ODS层和DW两层,ODS层用O_表名来命名,DW层用D_模块名_表名命名。一般情况下都是在服务器下完成Kettle的操作,今天只分享在本地环境下的操作。服务器上的操作只需登录Kettle账号,配上服务器地址即可。(本文使用的是Oracle数据库,和MySQL数据库略微不同)

源数据-ODS层

在本地安装Kettle后,打开安装目录,然后双击Spoon.bat运行; 打开速度有点慢

创建新转换,然后直接双击,或单击文件-新建-转换;

新建转换后,单击左侧列表中的第一个“输入”,找到表输入,双击表输入,或者向右拖动表输入;

双击表并按照输入说明进行操作

单击新建以创建新的数据库连接。 (此处的数据库不是ODS层数据库,而是将源数据库(源数据库)中的数据提取到ODS层数据库中。 如果源数据、ODS层数据和DW层数据都是相同的数据库连接,请忽略括号)如果使用的是MySQL数据库,则必须为表类型选择MySQL。 注意:在这里,您必须自己下载JDBC驱动程序。 如果不下载,则无法连接到数据库将报告错误

写SQL语句,获取需要提取到ODS层的数据; 注意:此处需要增加红框内容,即etl时间,便于后期定时增量操作

这是甲骨文的,MySQL自行百度。

to_char(sysdate,' yyyy-mm-dd hh24:mi:ss ' )编写asETL_datetimeSQL语句后,提示SQL语句执行是否成功,以及是否可以查找数据成功执行了SQL语句,并找到了数据。 单击“关闭”。

单击“确定”完成输入表的步骤;

在左侧列表中找到表的输出,直接双击或向右拖动。 双击可以让Kettle直接连接。 拖动时,必须在连接线条之前单击并输入表格,然后按住shift键并将鼠标拖动到表格输出。

连接表输入和表输出后,双击表输出配置信息。

这样,目标表的制作成功了。 最后单击“运行”。 也可以保存后运行;

执行成功ODS层-DW层的操作一样,只是表输入的SQL语句和转换的命名不一样。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。