Spark_跑批__.checkpoint()为什么比.persist()快
昨天同事和我讨论了一个情况，情况是这样的：
他在跑一个spark程序，跑的时候差不多五六分钟（加了persist的情况），如果不加persist，改为..checkpoint()缓存，速度基本维持在三四分钟左右，速度提升了不少，查了源码和资料，理解了些，先放着，后面再研究吧
例如：
Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云
https://blog.csdn.net/liuyunshengsir/article/details/112647292
原文地址：https://blog.csdn.net/qq_52128187/article/details/143422415
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！