【大数据学习 | Spark】RDD的概念与Spark任务的执行流程
1. RDD的设计背景
在实际应用中，存在许多迭代式计算，这些应用场景的共同之处是，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，目前的MapReduce框架都是把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。显然，如果能将结果保存在内存当中，就可以大量减少IO。RDD就是为了满足这种需求而出现的，它提供了一个抽象的数据架构，我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换处理，不同RDD之间的转换操作形成依赖关系，可以实现管道化，从而避免了中间结果的落地存储，大大降低了数据复制、磁盘IO和序列化开销。
2. RDD的概念
RDD（Resilient Distributed Datasets，弹性分布式数据集）代表可并行操作元素的不可变分区集合。
一个RDD就是一个分布式对象集合，本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段（HDFS上的块），并且一个RDD的不同分区可以被保存到集群中不同的节点上，从而可以在集群中的不同节点上进行并行计算。
RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改，只能基于稳定的物理存储中的数据集来创建RDD，或者通过在其他RDD上执行确定的转换操作（如map、join和groupBy）而创建得到新的RDD。
RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”（Action）和“转换”（Transformation）两种类型，前者用于执行计算并指定输出的形式，后者指定RDD之间的相互依赖关系。两类操作的主要区别是，转换操作（比如map、filter、groupBy、join等）接受RDD并返回RDD，而行动操作（比如count、collect等）接受RDD但是返回非RDD（即输出一个值或结果）。
RDD典型的执行过程
Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作。RDD典型的执行过程如下：
1）RDD读入外部数据源（或者内存中的集合）进行创建；
2）RDD经过一系列的“转换”操作，每一次都会产生不同的RDD，供给下一个“转换”使用；
3）最后一个RDD经“行动”操作进行处理，并输出到外部数据源（或者变成Scala/JAVA集合或变量）。
需要说明的是，RDD采用了惰性调用，即在RDD的执行过程中，真正的计算发生在RDD的“行动”操作（行动算子底层代码调用了runJob函数），对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹，即相互之间的依赖关系，而不会触发真正的计算。
val conf = new SparkConf
val sparkContext = new SparkContext(conf)
val lines :RDD = sparkContext.textFile(logFile)
//lines.filter((a:String) => a.contains("hello world"))
val count = lines.filter(_.contains("hello world")).count()
println(count)可以看出，一个Spark应用程序，基本是基于RDD的一系列计算操作。
第1行代码用于创建JavaSparkContext对象；
第2行代码从HDFS文件中读取数据创建一个RDD；
第3行代码对fileRDD进行转换操作得到一个新的RDD，即filterRDD；
count()是一个行动操作，用于计算一个RDD集合中包含的元素个数。
这个程序的执行过程如下：
1）创建这个Spark程序的执行上下文，即创建SparkContext对象；
2）从外部数据源（即HDFS文件）中读取数据创建fileRDD对象；
3）构建起fileRDD和filterRDD之间的依赖关系，形成DAG图，这时候并没有发生真正的计算，只是记录转换的轨迹；
4）执行action代码时，count()是一个行动类型的操作，触发真正的计算，开始执行从fileRDD到filterRDD的转换操作，并把结果持久化到内存中，最后计算出filterRDD中包含的元素个数。
3. spark任务的执行过程
每一个应用都是由driver端组成的，并且driver端可以解析用户的代码，并且在集群中并行执行，spark给大家提供了一个编程对象，它是一个抽象的，叫做弹性分布式数据集，这个数据集和一堆数据的集合并且是被分区的，因为分区的数据可以被并行的进行操作，rdd的创建方式有两种 1.读取hdfs的文件 2.在driver的一个集合可以转换为rdd，rdd可以被持久化到内存中，并且rdd可以实现更好的失败恢复容错。
为什么rdd是抽象的呢？因为rdd并不存在数据，它是虚拟的，我们在定义逻辑的时候要标识一个节点，表示数据在流动到此处的时候要进行什么样的处理，我们可以理解rdd是一个代理对象。
上述任务执行过程可以划分为两个stage，从创建rdd开始到groupBy的shuffle，划分为一个stage，然后该shuffle到任务执行结束，又是一个stage。后面读源码我们会发现，当出现shuffle时，就要划分出一个阶段。
rdd并不存储数据，是数据流动过程中的计算逻辑。我们知道发往executor的数据是一条一条的，并且在不同executor的数据会并行计算。在遇到shuffle过程前，我们需要等待前面所有的数据都计算完毕（即前面的每条数据都必须经过flatMap和map），才可以数据打散进行shuffle阶段。为了减少内存损耗，shuffle是需要进行落盘操作的。
原文地址：https://blog.csdn.net/2301_80912559/article/details/143897638
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！