ETL数据同步之DataX，附赠一套DataX通用模板
今天跟大家分享数据同步datax的模板，小伙伴们简单直接借鉴使用。
还记得上一篇关于大数据DS调度工具的分享嘛？
主流大数据调度工具DolphinScheduler之数据ETL流程-CSDN博客
里面的核心就是采用了DATAX的数据同步原理。
一，什么是DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、HDFS、Hive、ADS、HBase、Kingbase 等各种异构数据源之间的数据同步功能。
二，DataX模板
这个模板是把hive的表数据同步到kingbase数据库。
如果你要操作其他数据库之间的同步，可以借鉴，都一样。
这个模板怎么来的？？
当然是上次成功调度数据实现同步，从日志中copy来的。
所以，正确性大家毋庸置疑。
如图，JSON里包括两个对象，
一个是content（包括了reader，writer ，connection 等等），
一个是setting。
注意这里的写入模式 writemode 是 upddate，
这里就是在（人大金仓数据库）该表设置的主键。
主流大数据调度工具DolphinScheduler之数据ETL流程-CSDN博客
截取上次链接里面的一张图片来解释一下：
那么设置主键的意义何在呢？
当然是不能同时存在两个相同主键的数据了。
就如同你在咱中国，你的身份证就只能是唯一的一样。
如果一次性多条相同主键的数据，从hive同步kingbase数据库，会随机同步任一一条数据。
如果下次同步的数据里存在与数据库同主键的数据，同步过去会进行数据的更新。
上面的jdbcURL和密码都被我隐藏了哈哈哈。
欢迎大家点赞收藏关注，会不时分享实际工作中的知识点，让智慧不浮于表面。
下次再见！
原文地址：https://blog.csdn.net/wowulita123/article/details/140441479
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！