导出机器算法加速库的日志
- 设置运行日志保存到本地只能获取到本节点driver端的日志,并不是整个任务的日志,可以通过以下命令获取整个执行任务的日志。
1yarn logs -applicationId
 - 获取任务ID(以下两种方式二选一即可,推荐第二种)。
- 已启动historyserver时,可以通过以下命令查询任务列表获取任务ID。
1yarn application -list
 - 当执行任务过多,不方便识别哪个任务是我们需要的。这时可以通过设置运行日志保存到本地获取到的日志,使用以下命令获取任务ID。
1cat /home/test/boostkit/spark_algorithm.log |grep "Submitting application"
 
 - 已启动historyserver时,可以通过以下命令查询任务列表获取任务ID。
 - 导出任务日志到本地。例如任务ID是application_XXX_XXX,可以通过以下命令导出整个任务的日志。
1yarn logs -applicationId application_XXX_XXX > /home/test/boostkit/all.log
 - 使用以下命令导出机器算法加速库的日志。
1cat /home/test/boostkit/all.log |grep KunpengAlgorithmLibrary > ml.log
 - 上述命令中“ml.log”就是最后导出的日志文件,日志文件名称可以根据实际情况修改,这里只是用“ml.log”举例。
 - 机器学习算法加速库的日志与Spark开源版本算法的日志融合在一起,当出现问题时,需要与开源版本算法的日志一起定位分析。
 
 
父主题: 日志管理