机器学习算法参数值解析报错的解决方法
问题现象描述
机器学习算法加速库运行过程中,日志中提示前缀为“spark.boostkit”的参数解析错误,之后程序便自动终止。例如,PrefixSpan算法若参数设定错误,会出现如下日志。
1 | parse boostkit parameter(spark.boostkit.ml.ps.localTimeout) failed, Error reason: …… |
关键过程、根本原因分析
加速库算法新增的spark conf参数,参数名称统一以“spark.boostkit”作为前缀。参数值不符合要求,会导致解析错误。
父主题: 故障排除