Spark 核心概念解析：DAG、分布式部署模式与共享变量
DAG 解决了什么问题？
DAG (有向无环图) 是 Spark 的核心架构之一，它的引入主要解决了 Hadoop MapReduce 框架的以下局限性：
- MapReduce 的独立性问题
在 Hadoop MapReduce 中，任务的每一步（Map 和 Reduce）是独立的，系统无法提前知道后续的计算计划。这种方式无法对整个计算流程进行全局优化。
Spark 的 DAG 允许系统通过解析操作链，提前构建完整的计算图，优化整个执行流程。 - 高频硬盘读写的性能瓶颈
在 MapReduce 中，每一步计算的中间结果都会写入硬盘或 HDFS。频繁的磁盘 I/O 操作会导致性能的大幅降低。
Spark 使用内存计算，并通过 DAG 优化操作顺序，避免不必要的磁盘操作，显著提升性能。
DAG 是如何工作的？
DAG 通过以下步骤优化计算和任务调度：
- 操作解析
Operator Graph：当代码被提交到 Spark 的解释器时，系统会生成一个操作图，称为 Operator Graph。它记录了所有的 Transformation 操作及其依赖关系。 - DAG Scheduler
分解阶段 (Stage)：当一个 Action 操作（如 collect 或 save）被触发时，DAG Scheduler 会将 Operator Graph 分解为多个 Stage（阶段）。
- 窄依赖（Narrow Dependency）：操作如 map 和 filter 不需要数据重新分区，属于同一阶段。
- 宽依赖（Wide Dependency）：操作如 reduceByKey 需要数据 Shuffle，不同阶段之间以宽依赖为界。
- Task Scheduler
每个 Stage 会被拆分为多个基于数据分区的 Task（任务）。
Task Scheduler 将这些 Task 分发到集群的 Worker 节点上执行。 - 执行与结果
每个 Worker 节点执行分配的 Task，并将结果返回给 Driver 程序。
DAG 确保各个阶段按依赖顺序执行，并通过内存优化中间结果存储，最大限度减少 I/O 和通信开销。
DAG 的核心特性
-
任务依赖分析
每个 RDD 包含父节点的元信息和依赖关系（窄依赖或宽依赖）。
通过这些依赖，DAG Scheduler 能高效地决定任务的执行顺序。 -
内存计算优化
通过减少 Shuffle 和磁盘读写，DAG 提高了计算效率。 -
全局优化
DAG 确保每个 Stage 都包含最少的任务，避免重复计算。
三种 Spark 分布式部署模式
- Standalone 模式
特点：
- Spark 自带的资源管理器，无需依赖其他系统。
- 支持集群的基本功能，易于部署和维护。
适用场景：
- 小型测试环境或开发环境。
- 不需要与其他框架共享资源。
- Spark on Mesos 模式
特点：
官方推荐，灵活性更高。
支持两种资源分配模式：
- 粗粒度模式 (Coarse-grained)：一次性申请资源，适用于长时间运行的任务。
- 细粒度模式 (Fine-grained)：按需动态分配资源，适用于短作业任务。
适用场景：
- 需要高效的资源共享和管理。
- 与 Docker 等资源管理工具结合更自然。
- Spark on YARN 模式
特点：
利用 Hadoop YARN 管理资源，适用于 Hadoop 集群。
支持两种模式：
- YARN-cluster：适合生产环境，所有作业运行在集群中。
- YARN-client：适合调试和交互式作业，Driver 在客户端运行。
适用场景：
- 同时运行 Spark 和 Hadoop。
- 对 YARN 的兼容性要求较高。
Spark 共享变量
在Spark中，通常当一个函数被分配到集群中的远程节点执行时，Spark会在每个节点上创建这个函数的独立副本。这样，每个节点都会处理这个函数的副本，而不会与驱动程序或其他节点共享变量。为了优化这种情况，Spark提供了两种共享变量的机制：广播变量（Broadcast Variables）和累加器（Accumulators）。
- 广播变量（Broadcast Variables）
广播变量允许在集群中的每个节点上缓存一个只读变量的副本，而不是在每个任务中传递变量的完整拷贝。这样，能够有效地减少数据传输的开销。
使用场景：当你有一个大数据集，并且希望在多个节点中共享该数据集时，可以使用广播变量。比如，在分布式计算中，每个节点需要访问同一份数据，但不需要重复传输这份数据。
创建广播变量：可以通过SparkContext.broadcast(v)方法创建广播变量。广播变量是原始变量v的包装，创建之后，可以通过.value方法访问广播的内容。
示例代码：
val broadcastVar = sc.broadcast(Array(1, 2, 3)) // 创建广播变量
println(broadcastVar.value) // 输出广播变量的值：Array(1, 2, 3)
注意：广播变量一旦创建后，其值是不可修改的，确保集群中所有节点看到相同的值。
- 累加器（Accumulators）
累加器是专为并行计算设计的变量，它只能通过累加操作进行更新。累加器非常适用于执行计数或求和等任务。Spark原生支持数值类型的累加器，也支持开发者通过自定义类型来扩展累加器。
使用场景：累加器常用于计算任务中，需要对某些值进行统计或累加时。
创建累加器：可以通过SparkContext.accumulator(v)方法创建累加器，其中v是初始值。累加器的值只能通过add方法或+=操作符进行更新，且只能由驱动程序（driver）读取其值。
示例代码：
val accum = sc.accumulator(0) // 创建一个初始值为0的累加器
sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x) // 在每个任务中累加
println(accum.value) // 输出累加器的总值：10
自定义累加器：可以通过实现AccumulatorParam接口来自定义累加器的行为。例如，定义一个向量累加器来处理向量类型的数据。
object VectorAccumulatorParam extends AccumulatorParam[Vector] {
def zero(initialValue: Vector): Vector = {
Vector.zeros(initialValue.size) // 返回一个零向量
}
def addInPlace(v1: Vector, v2: Vector): Vector = {
v1 += v2 // 累加操作
}
}
val vecAccum = sc.accumulator(new Vector(...))(VectorAccumulatorParam) // 创建向量累加器
注意：在Python中，累加器目前还不被完全支持。
总结
广播变量：适用于在多个节点之间共享大型只读数据，避免重复传输。
累加器：用于并行计算中的求和或计数，只能通过“加法”操作更新值，并且只能由驱动程序访问其最终值。
原文地址：https://blog.csdn.net/qq_42952637/article/details/143911640
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！