Spark_累加器
分布式共享只写变量
实现原理：
累加器用来把Executor端变量信息聚合到Driver端，在Driver程序中定义的变量，在Executor端的每个Task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回Driver端进行merge
// Spark默认就提供了简单数据聚合的累加器
val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("spark")
val sc = new SparkContext(sparkConf)
val rdd = sc.makeRDD(List(1,2,3,4))
val sumAcc: LongAccumulator = sc.longAccumulator("sum")
rdd.foreach(
num => {
sumAcc.add(num)
}
)
val value: lang.Long = sumAcc.value
print(value)
还有double,collection类型累加器
少加的情况：
转换算子中调用累加器，如果没有行动算子的话，那么不会执行
多加的情况：
转换算子中调用累加器，行动算子多次执行导致多加
一般情况下，累加器会放置在行动算子中
原文地址：https://blog.csdn.net/qq_43494013/article/details/142818149
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！