提交PySpark任务

步骤命令中mlpy_env.zip为举例说明，实际使用时酌情修改。
任务脚本“/opt/test_spark.py”为举例脚本，可用其它PySpark任务替代。

将Python虚拟环境压缩包mlpy_env.zip上传到Python集群中（以“/opt”目录说明）。
1

/opt/mlpy_env.zip

提交PySpark任务到混合部署集群。

       
            PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python --conf spark.executorEnv.PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python --master yarn-cluster --archives /opt/mlpy_env.zip#ANACONDA /opt/test_spark.py

观察任务运行结果。

Executor分布情况：

其中，agent1为x86服务器，agent2为ARM服务器。

父主题： 使用方法（以Anaconda为例说明）