EN
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
鲲鹏小智

Spark执行报错,HAF日志没有报错的解决方法

问题现象描述

Spark执行报错,HAF日志没有报错,报错信息如下。

1
Failed to create task.

关键过程、根本原因分析

worker/executor的环境变量没有配置。

结论、解决方案及效果

  1. 打开Spark配置文件。
    1
    vi /usr/local/spark/conf/spark-defaults.conf
    
  2. “i”进入编辑模式,在文件中添加spark.executorEnv.HAF_CONFIG_PATH path,其中path为HAF主机节点安装路径下的“etc/”目录。
    1
    spark.executorEnv.HAF CONFIG PATH /home/omm/omnidata-install/haf-host/etc/
    
  3. “Esc”键,输入:wq!,按“Enter”保存并退出编辑。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词