Spark执行报错,HAF日志没有报错的解决方法

问题现象描述

Spark执行报错,HAF日志没有报错,报错信息如下。

1
Failed to create task.

关键过程、根本原因分析

worker/executor的环境变量没有配置。

结论、解决方案及效果

  1. 打开Spark配置文件。

    1
    vi /usr/local/spark/conf/spark-defaults.conf
    

  2. “i”进入编辑模式,在文件中添加spark.executorEnv.HAF_CONFIG_PATH path,其中path为HAF主机节点安装路径下的“etc/”目录。

    1
    spark.executorEnv.HAF CONFIG PATH /home/omm/omnidata-install/haf-host/etc/
    

  3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。