鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

故障排除

问题1:Spark作业异常终止

  • 问题现象

    Spark作业异常终止,日志中有错误信息“ERROR: The software cannot run normally, please confirm the processor model.”。

  • 问题原因

    算法加速库只支持鲲鹏体系架构,请勿在非鲲鹏体系架构的机器上运行,否则会产生意外报错:“The software cannot run normally”。

  • 处理步骤

    请检查运行环境是否为鲲鹏处理器环境,算法加速库只能运行在鲲鹏处理器的服务器中。

问题2:在使用spark-submit的方式提交随机森林、决策树、GBDT算法任务时报错

  • 问题现象

    在使用spark-submit的方式提交随机森林、决策树、GBDT算法任务时,配置“spark.driver.userClassPathFirst=true”或“spark.executor.userClassPathFirst=true”,会导致算法异常终止,并报ClassCastException异常或loader constraint violation错误。

  • 问题原因

    这两个参数为实验参数,会改变spark任务jar包加载顺序,导致类冲突。

  • 处理步骤

    在spark-submit提交任务时,去掉“spark.driver.userClassPathFirst=true”或“spark.executor.userClassPathFirst=true”配置。