spark connector部分更新写starrocks 出现磁盘暴涨
问题描述：
对starrocks中的主键模型表中的亿级大表中的部分字段进行更新操作，但是更新过程中发现sr集群磁盘出现暴涨，直接导致其他业务数据写入报错。
基础信息：
spark: 3.3.2
starrocks: 3.2
更新字段数：5列+4亿行
数据量：4G
spark 写入配置
put("starrocks.write.properties.partial_update", xxx);
put("starrocks.write.properties.partial_update_mode", "column");
put("starrocks.columns", xxx);
dataset.write()
.format("starrocks")
.options(option)
.mode("append")
.save();
观察sr监控出现磁盘暴涨
550G --> 600G --> 800G -->1.2T
解决方案：
增加写入配置
put("write.mode", "upsert")
原文地址：https://blog.csdn.net/qq_40839450/article/details/144451618
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！