大数据之Oracle同步Doris数据不一致问题
数据同步架构如下：
出现的问题：
doris中的数据条数
源库中的数据条数
总数完全不一致。
出现问题的原因：
在Dinky中建立表结构时，缺少对主键属性的限制
primary key(ID) not enforced
加上如上语句，数据条数解决一致
第二：数据完整性内容不一致
方案一虽然解决了数据总数的问题，但是数据完整性的方案解决因为如下原因：
原本的数据推送kafka中的before和after字段为表字段，类似与如下：
但是在oracle中数据推送的过程中，after中少了字段，导致数据不全
解决方案：
oralce重新推送相关表数据的数据结构，保证数据字段的完整性，参考ogg官网
原文地址：https://blog.csdn.net/wb_zjp283121/article/details/140668063
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！