pyspark统计指标计算
下面介绍如何使用pyspark处理计算超大数据的统计指标，主要为：最大值、最小值、均值、方差、标准差、中位数、众数、非重复值等。
# 加载稽核数据
rd_sql = f"select * from database.table"
spark_data = spark.sql(rd_sql)
# 计算众数 由于spark 2.4版本未内置相关函数 需要自定义
import pyspark.sql.functions as F
# 自定义mode的计算
def sparkdf_mode(df, cols):
# 构建一个空数据框
mode_df = pd.DataFrame()
# 循环每一列
for col in cols:
# 先过滤空值
filtered_df = df.filter(F.col(col).isNotNull())
# 加个判断 防止数据全空置时报错
if filtered_df.count()>0:
# 统计出现次数 排序
grouped_counts = filtered_df.groupBy(col).count().orderBy(F.col("count").desc())
# 获取计数值最大的第一行
first_row = grouped_counts.first()
# 转sparkdf
pdf = spark.<原文地址：https://blog.csdn.net/LLMUZI123456789/article/details/136235264
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！