Kettle是一款功能强大的数据集成工具,提供了一站式的ETL(提取、转换和加载)解决方案。它具有直观的界面和丰富的组件库,使得用户可以轻松构建复杂的ETL流程,从而实现对数据的抽取、清洗、转换和加载。
打开Kettle点击文件。
点击新建,选择转换。
在左侧DB连接处点击新建。
根据提示配置数据库,配置完成后可以点击测试进行验证。
在左侧找到表输入(核心对象-输入-表输入),拖到右方。
双击右侧表输入,进行配置,选择数据源,并输入SQL。 可以点击预览进行预览数据。
在左侧找到插入/更新(核心对象-输出-插入/更新),拖到右方。
按住Shift键,把表输入和插入/更新用线连接起来。
双击插入/更新进行配置。
点击运行,就可以运行转换。
运行结束后,在下方可以看到运行结果。
1、打开kettle
首先解压下载下来的压缩包如:pdi-ce-6.1.0.1-196.zip
然后打开Spoon.bat,如图所示:
打开后请耐心等待一会儿时间。
建立转换。
在文件-》新建装换。
新建转换后在左边的主对象树中建立DB连接用以连接数据库。如图所示:
建立数据库连接的过程与其他数据库管理软件连接数据库类似。
注意:在数据库链接的过程中,Kettle Spoon官方版可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动,请下载对应驱动后,放入kettle的lib文件夹。
简单的数据表插入更新
(1)新建表插入
在左边的面板中选择“核心对象”,在核心对象里面选择“输入-》表输入”,用鼠标拖动到右边面板。如图所示:
双击拖过来的表,可以编辑表输入。
选择数据库连接和编辑sql语句,在这一步可以点击预览,查看自己是否连接正确。
(2)通过插入更新输出到表。
在左边面板中选择核心对象、选择“输出-》插入更新”如图所示:
编辑插入更新:
首先:表输入连接插入更新。
选中表输入,按住shift键,拖向插入更新。
然后:双击插入更新,编辑它。
到这里基本上,这个转换就要做完了,可以点击运行Kettle Spoon中文版查看效果,看是否有误,这个要先保存了才能运行,可以随意保存到任何一个地方。
使用作业控制上面装换执行。
使用作业可以定时或周期性的执行转换,新建一个作业。并从左边面板拖入start 和转换。
双击start可以编辑,可以设置执行时间等等。
点开装换,可以设置需要执行的转换任务,比如可以执行上面我们做的转换,XXX.ktr,
最后点击运行即可。
1、表视图模式:这种情况我们经常遇到,就是在同一网络环境下,我们对各种数据源的表数据进行抽取、过滤、清洗等,例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式;传统的实现方式一般都要进行研发(一小部分例如两个相同表结构的表之间的数据同步,如果sqlserver数据库可以通过发布/订阅实现),涉及到一些复杂的一些业务逻辑如果我们研发出来还容易出各种bug;
2、前置机模式:这是一种典型的数据交换应用场景,数据交换的双方A和B网络不通,但是A和B都可以和前置机C连接,一般的情况是双方约定好前置机的数据结构,这个结构跟A和B的数据结构基本上是不一致的,这样我们就需要把应用上的数据按照数据标准推送到前置机上,这个研发工作量还是比较大的;
3、文件模式: 数据交互的双方A和B是完全的物理隔离,这样就只能通过以文件的方式来进行数据交互了,例如XML格式,在应用A中我们开发一个接口用来生成标准格式的XML,然后用优盘或者别的介质在某一时间把XML数据拷贝之后,然后接入到应用B上,应用B上在按照标准接口解析相应的文件把数据接收过来
1、海外开源系统的ETL专用工具,纯java撰写;
2、翠绿色不用安装,数据抽取高效率平稳;
3、能够在Window、Linux、Unix上运作,平稳顺畅;
4、集群容许转换及其转换中的流程在好几个网络服务器上高并发实行;
5、能够用于完成数据信息的分析、清理、校检、抽取、转换和载入等各种普遍的ETL类工作中;
6、数据处理功能也很强劲,特别适合于各种各样数据处理功能。
能够轻松帮助用户进行数据的整理,使用简单。
宝藏级开源软件合集:一股强大的技术洪流,汇聚了全球开发者们的智慧与创造力。这些开源软件在各自的领域内展现出卓越的性能、强大的功能和无与伦比的灵活性,成为众多用户、开发者和企业的首选。