（PySpark）RDD实验实战——取一个数组的中间值
实验环境：
提前准备好findspark，pyspark，py4j等库
import findspark
from pyspark import SparkContext, SparkConf
findspark.init()#初始化spark，默认为你所设定的环境变量
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")#创建一个SparkConf对象，用于配置Spark应用程序，用setAppName来设置程序名称， #用setMaster来设置运行模式和线程数，这里为本地模式，4个线程
sc = SparkContext(conf=conf)#创建一个SparkContext对象，它是与Spark集群通信的主要接口 # sc.stop() #关闭spark上下文
data = [(1),(5),(7),(10),(23),(20),(6),(5),(10),(7),(10)]#创建所需的数据集
rdd = sc.parallelize(data)#用parallelize方法将data中的数据结构并行化成RDD
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()#rdd.sortBy()用于对RDD中的元素按照指定的排序键进行排序 #rdd.sortBy(keyfunc, ascending=True, numPartitions=None) #keyfunc,是从 RDD 的每个元素中提取用于排序的键，多分区的话可以通过指定key的排序，来达到操作目的 #ascending表示排序的顺序。 True为升序，False为降序。 #numPartitions表示最终返回结果RDD的分区数。
ysj=int(rdd.count()/2)#取data的数据长度并取中间值
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()##把最终排序导入ss数组中
print(ss[ysj])#输出结果
最终全代码演示如下：
import findspark
from pyspark import SparkContext, SparkConf
findspark.init()
conf = SparkConf().setAppName("jsytest").setMaster("local[4]")
sc = SparkContext(conf=conf)
data = [(1),(5),(7),(10),(23),(20),(6),(5),(10),(7),(10)]
rdd = sc.parallelize(data)
rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
ysj=int(rdd.count()/2)
ss=rdd.sortBy(lambda x:x, ascending=True,numPartitions=1).collect()
print(ss[ysj])运行结果演示
7原文地址：https://blog.csdn.net/m0_75208179/article/details/142322546
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！