2023_Spark_实验九：编写WordCount程序（Scala版）

需求：

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤：

1. 文件单词规律（空格分开）
2. 单词切分
3. 单词的统计（k,v）->(k:单词，V：数量）
4. 打印

框架：

1. 单例对象，main()
2. 创建CONF
3. 创建SC-->读取文件的方式--》RDD
4. RDD进行处理
5. 闭资源关

一、新建object类取名为WordCount

2、编写如下代码

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
    def main(args: Array[String]): Unit = {
        System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.8.0")
        val sparkConf= new SparkConf().setAppName("WordCount").setMaster("local") //设置为本地模式

        val sc = new SparkContext(sparkConf)
        sc.setLogLevel("WARN")
        val resultArray = sc.textFile(path = "file:///d:/temp/a.txt")
            .flatMap(_.split(" "))
            .map((_,1))
            .reduceByKey(_+_)
            .collect()
        resultArray.foreach(println )
        sc.stop()
    }

}

3、本地运行，查看运行结果如下：

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址：

链接：百度网盘 请输入提取码

提取码：jnta

解决步骤：

到网盘下载maven打包插件与spark依赖，网盘吗中的内容如下：

1. 将下载的插件plugins.rar解压，并复制插件文件夹到你本地maven仓库下
2. 将下载的spark依赖spark.rar解压，并复制spark文件夹到你本地maven仓库下
3. 重启idea，重新build下工程

将下载的插件plugins.rar解压，并复制插件文件夹到你本地maven仓库下

将下载的spark依赖spark.rar解压，并复制spark文件夹到你本地maven仓库下

重启idea，重新build下工程

原文地址：https://blog.csdn.net/pblh123/article/details/142577595

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！