ETL工具Kettle使用总结
好久没有发布文章了，就用最近工作常用的kettle工具做为素材写一下随笔，方便以后碰到相同的问题快速解决。
kettle的简介我就不介绍了，大家随便百度一下就可以查到，
主要作用就是用于从一个或多个数据源中提取数据，对数据进行转换和清洗（这个过程就是ETL），然后加载到目标数据存储中，以支持数据分析、报表生成、业务决策等需求。
1.1 Kettle使用的优点：
1、Kettle提供了直观的图形化界面。
2、Kettle可以满足大部分数据处理需求，包括数据格式转换、数据过滤、数据合并、数据计算等。
3、Kettle支持多种数据源和目标，包括关系型数据库、文件、API、Hadoop等，可以方便地集成不同类型的数据。
注意：kettle安装之前需要安装java的jdk，否则有可能闪退
此处附上jdk安装：https://blog.csdn.net/qq_48052049/article/details/126766806
1.2 下载安装
链接: https://www.hitachivantara.com/en-us/products/pentaho-plus-platform/data-integration-analytics/pentaho-community-edition.html
往下划，找到pdi
windows点以下文件运行
（linux点spoon.sh运行）
1.3 【Spoon.bat 双击后闪退】解决办法
1、检查jdk和系统变量是否配置正确:cmd下java、javac、iava-version 三个命令都能执行说明没问题;
2、修改spoon.bat里内存配置，这也是能百度到的大多数答案，比如:https://www.cnblogs.com/espookv/p/6007326.html
大多数人到这一步应该就可以了，但是我的还是不行!
3、增加系统变量:kettle_home 变量值为kettle文件位置:D:\install\kettle\data-integration 仍然不起作用
4、更换idk版本，kettle-8.2我把idk换成了1.8:仍然不起作用:
5、增加系统变量:PENTAHO_JAVA_HOME 变量值为idk下的jre录:D:\install\java8\jre
可以按1-2-5-3-4的顺序进行排查!
打开界面
1.4 数据库配置
1.打开Kettle，创建新的工作空间
2.在工作空间中，右击“数据库连接”，选择“新建数据库连接”
3.填写连接信息，包括数据库类型、主机名、端口号、数据库名、用户名和密码等，然后点击“测试连接”按钮进行连接验证
4.连接验证通过后，点击“保存”按钮保存连接信息
1.5 EXCEL 输入
双击打开，需要操作的部分红框标出
1.6 表关联注意事项
1.6.1 表关联之前排序
在两张表关联之前需要对数据进行排序，关联什么字段就用什么字段排序，并且关联的字段在排序中也需要出现否则关联结果会出现差异
1.6.2 关联维度表
1.6.3 数据同步并标记删除旧数据
如果需要对数据进行同步最好使用以下2方法，1方法同数据可能会出现数据多数据的情况
1.6.4 多张表数据关联一个同一张表
这种情况下步骤之间的分割线有两种模式一种是复制，一种是分发。多数情况下我们需要选择复制就行
原文地址：https://blog.csdn.net/weixin_44616592/article/details/139448325
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！