提交PySpark任务

  1. 步骤命令中mlpy_env.zip为举例说明,实际使用时酌情修改。
  2. 任务脚本“/opt/test_spark.py”为举例脚本,可用其它PySpark任务替代。
  1. 将Python虚拟环境压缩包mlpy_env.zip上传到Python集群中(以“/opt”目录说明)。

    1
    /opt/mlpy_env.zip
    

  2. 提交PySpark任务到混部集群。

    1
    PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python spark-submit --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python --conf spark.executorEnv.PYSPARK_PYTHON=./ANACONDA/mlpy_env/bin/python --master yarn-cluster --archives /opt/mlpy_env.zip#ANACONDA /opt/test_spark.py
    

  3. 观察任务运行结果。

    Executor分布情况:

    其中,agent1为x86服务器,agent2为ARM服务器。