Spark执行报错,HAF日志没有报错的解决方法
问题现象描述
Spark执行报错,HAF日志没有报错,报错信息如下。
1
|
Failed to create task. |
关键过程、根本原因分析
worker/executor的环境变量没有配置。
结论、解决方案及效果
- 打开Spark配置文件。
1
vi /usr/local/spark/conf/spark-defaults.conf
- 按“i”进入编辑模式,在文件中添加spark.executorEnv.HAF_CONFIG_PATH path,其中path为HAF主机节点安装路径下的“etc/”目录。
1
spark.executorEnv.HAF CONFIG PATH /home/omm/omnidata-install/haf-host/etc/
- 按“Esc”键,输入:wq!,按“Enter”保存并退出编辑。
父主题: OmniData算子下推