PySpark任务提交
一般情况下，spark任务是用scala开发的，但是对于一些偏业务人员，或者是基于上手的来说python的API确实降低了开发前置条件的难度，首当其冲的就是能跳过Java和Scala需要的知识储备，但是在提交任务到集群的时候就很麻烦了，不只是spark自身pyspark提交时不同参数导致的大小写等问题，最麻烦的是spark和python版本上的兼容与否，2.x的spark一般用3.7以下的，3.x需要3.8以上的python，还有各种小毛病都是细节上的问题。
第一步：需要下载anaconda。
清华源-》https://mirrors.tuna.tsinghua.edu.cn/#
最终下载路径-》https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2022.10-Linux-x86_64.sh
下载后，在linux上运行脚本
sh Anaconda3-2022.10-Linux-x86_64.sh
第二步：将需要的环境打包成一个压缩包
创建一个python3.x的环境，{name} 自定义，后面是包含一个python3.9的包
conda create -n {name} python=3.9 --offline
激活这个环境，并安装需要的python第三方类库，比如pyspark
conda activate {name}
conda install pip --offline
pip install pyspark==3.2.1
当你安装完所有的需要库之后，把环境打包
conda env list
看到环境所在的地址
cd {环境名}
zip -r {包名}.zip {环境名}
第三步：用你的环境包去提交任务
# client 模式
$SPARK_HOME/spark-submit \
--master yarn \
--deploy-mode client \
--num-executors 2 \
--conf "spark.yarn.dist.archives=<Python包路径>/Python包名字.tgz#Python别名" \
--conf "spark.yarn.appMasterEnv.PYSPARK_PYTHON=./Python别名/bin/python" \
本地python路径比如Hello.py
# cluster 模式
$SPARK_HOME/spark-submit \
--master yarn \
--deploy-mode cluster \
--num-executors 2 \
--conf "spark.yarn.dist.archives=<Python包路径>/Python包名字.tgz#Python别名" \
--conf "spark.yarn.appMasterEnv.PYSPARK_PYTHON=./Python别名/bin/python" \
本地python路径比如Hello.py
这里要注意的是一个大坑点！！！！，spark引擎在提交pyspark任务的参数上有其他的，比如--archives、spark.yarn.appMasterEnv.PYSPARK_DRIVER_PYTHON等，这些参数慎用！有兼容性问题。从使用经验上来说上面的两个就够了。
conda其他命令：
1、创建环境：conda create --name 环境名称
用途：用于创建一个新的Conda环境，可以指定环境的名称。
2、激活环境：conda activate 环境名称
用途：用于激活指定名称的Conda环境。
3、停用环境：conda deactivate
用途：用于停用当前激活的Conda环境。
4、删除环境：conda remove --name 环境名称 --all
用途：用于删除指定名称的Conda环境，--all参数表示删除环境及其所有安装的包。
5、安装包：conda install 包名称
用途：用于在当前环境中安装指定的包。
6、升级包：conda update 包名称
用途：用于更新已安装包的版本。
7、卸载包：conda remove 包名称
用途：用于从当前环境中卸载指定的包。
8、查看已安装的包：conda list
用途：用于列出当前环境中已安装的包。
9、搜索包：conda search 包名称
用途：用于在Conda仓库中搜索指定的包。
10、创建环境配置文件：conda env export > environment.yaml
用途：用于将当前环境的配置导出到一个YAML文件中，以便在其他地方进行复制或重建环境。
11、查看配置信息：conda config --show
显示当前的Conda配置信息，包括通用配置、环境配置和用户配置。
12、查看某个配置项的值：conda config --show 配置项
显示特定配置项的当前值，例如：conda config --show channels用于显示当前配置的通道列表。
13、设置配置项的值：conda config --set 配置项=值
例如：conda config --set channels conda-forge用于将通道设置为conda-forge。
14、添加通道：conda config --add channels 通道名称
向配置中添加一个新的通道，使Conda在包搜索和安装时优先考虑该通道。
15、移除通道：conda config --remove channels 通道名称
从配置中移除指定的通道，使Conda不再使用该通道。
16、列出所有通道：conda config --get channels
列出当前配置中所有配置的通道。
17、重置配置项：conda config --remove-key 配置项
重置指定配置项的值为默认值。
18、编辑配置文件：conda config --edit
打开配置文件以进行手动编辑，可以修改各种配置选项。
19、创建具有指定版本的环境：
conda create --name myenv python=3.10.6
20、从环境中导出和导入环境配置
导出环境配置
conda env export --name myenv --file environment.yaml
导入环境配置
conda env create --file environment.yaml
21、创建一个虚拟环境的克隆：
conda create --name myclone --clone myenv`
原文地址：https://blog.csdn.net/dudadudadd/article/details/143371880
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！